hypura

Hypura 是一个存储层感知的 LLM 推理调度程序,适用于 Apple Silicon。它根据访问模式、带宽成本和硬件能力,将模型张量分布到 GPU、RAM 和 NVMe 层,从而使超出物理内存的模型能够正常运行,而不会导致系统崩溃。

Hypura 通过了解模型架构来解决这个问题:

• 规范和嵌入 非常小，但每个 token 都会访问它们 - 固定到 GPU 上
• MoE 专家路由 利用稀疏性 - 每个 token 只有 8 个专家中的 2 个会触发。 路由拦截器在评估回调中识别出选定的专家，然后只从 NVMe 中加载所需的专家步长（减少 75% 的 I/O）。神经元缓存跟踪了跨 token 加载的专家片段，从而实现了 99.5% 的命中率，来自时间局部性。 共同激活跟踪可预测下一个会被触发的专家，以进行预测性预取。

结果是，原本在 naive mmap 下会导致机器崩溃的模型现在可以运行。内存中能容纳的模型以全速运行，没有任何开销。