KV_cache 分担负载
作者: yuzhenmao创建于 2024年12月15日更新于 2025年6月12日
你好,我正在使用最新的 huggingface transformers (版本为 4.48.0.dev0)。当我尝试从 这里 运行示例时,我遇到了这个错误: AttributeError: 'LlamaForCausalLM' 对象没有属性 'set_kv_cache_offload'。 有人知道解决这个问题的方法吗?谢谢!
内容来源: deepspeedai/DeepSpeedExamples