[功能请求] 使用稳定的 GGML CPU 线程池,而不是为每个请求重新创建
作者: Digipom创建于 2026年9月14日更新于 2026年9月14日
**动机:** 目前看来,每个 GGML 图形计算都在 CPU 路径上获得了一个新的线程池。我们运行了一些基准测试,使用稳定的线程池在 Android 上提高了约 5% 的性能。我们的假设是,这可能是由于操作系统对线程使用情况有更好的统计数据,并将它们放置在合适的核上。我们已经有一个线程数量启发式算法,该算法也尝试通过将线程数与高性能核心数量相匹配来实现此目标,但使用稳定的线程池仍然会带来一些性能提升。我们避免了直接锁定线程,以便让操作系统根据当前设备状态做出最佳决策。
内容来源: ggml-org/ggml