如何将模型从磁盘流式传输到 VRAM?

有几个新模型需要比我的 72GB VRAM 更多的 VRAM。有没有人有过在 nvme 上运行 gguf 模型的经验？是的，我的 RAM 确实不足，只有 32GB。但我记得 LLaMA.ccp 可以做到这一点，只需要一个小缓存来进行缓存。有没有人知道如何在 Oobabooga 中设置这个？