元数据: 为 PowerInfer 提供更广泛的模型支持

作者: hodlen创建于 2023年12月27日更新于 2025年7月10日
标签tracker

目前,PowerInfer 专注于优化使用 ReLU 激活函数的大型语言模型 (LLM),充分利用它们的内部激活局部性。然而,许多流行的模型并不使用 ReLU 激活,这导致了 PowerInfer 的适用性存在明显的缺陷。

内容来源: Tiiny-AI/PowerInfer