返回工具页/返回 Issues 列表

#187·nano-vllm

潜在的 TP 正确性问题: BlockManager 的容量可能依赖于每个排名的本地 KV 缓存估计

作者: lllloowwoollll创建于 2026年3月20日更新于 2026年8月26日

Hi, 感谢您开源此项目。我正在阅读 TP/KV 缓存初始化路径时注意到一个潜在的正确性问题。该初始化路径似乎是:

内容来源: GeeeekExplorer/nano-vllm

查看 GitHub 原文在 GitHub 查看讨论