macOS/Metal 推理支持
作者: hodlen创建于 2023年12月26日更新于 2026年3月28日
标签tracker
要充分利用 Mac 的强大功能,尤其是在 M 晶片上,集成 Metal 后端是关键。接下来的核心任务是将我们的关键稀疏运算符(包括 `mul_mat_sparse` 和 `axpy`)适应 Metal,以反映它们当前的 CUDA 实现。然而,Metal 与 CUDA 的不同编程模型带来了独特的挑战。我们热烈欢迎社区加入我们的这项工作。无论您对 Metal 有什么见解,对 CUDA 有什么经验,还是对此迁移有什么建议,您的专业知识都将对 PowerInfer 在 Mac 上的性能产生重大影响!
内容来源: Tiiny-AI/PowerInfer