请不要放弃这个项目!
作者: oobabooga创建于 2023年11月27日更新于 2024年5月12日
今年早些时候,我对 FlexGen 的卸载性能印象深刻,我想知道它与 LLaMA.cpp 目前为 LLaMA 和 LLaMA-2 模型在 CPU 卸载场景中提供的性能相比有何不同。LLaMA 支持是否可以添加到 FlexGen 中 @Ying1123 @keroro824?
内容来源: FMInference/FlexLLMGen
今年早些时候,我对 FlexGen 的卸载性能印象深刻,我想知道它与 LLaMA.cpp 目前为 LLaMA 和 LLaMA-2 模型在 CPU 卸载场景中提供的性能相比有何不同。LLaMA 支持是否可以添加到 FlexGen 中 @Ying1123 @keroro824?
内容来源: FMInference/FlexLLMGen