MLX 引擎: 在 macOS 27 中,每次请求后约 2 秒钟权重都会断开连接,因此在空闲页面恢复后的第一次请求中,权重会重新连接。

问题是什么？

在 MLX 引擎上，加载的模型的权重在请求运行期间才被保持有线。大约两秒钟后，macOS 释放它们，它们就变成普通的可分页内存。在受到任何内存压力的机器上，它们会被压缩或交换，下一个请求会等待它们恢复。在 OLLAMA_KEEP_ALIVE=-1 和 load_duration 为零的情况下，模型在整个时间内都看起来是加载的。