MP 模式 (LMCacheMPConnector) 忽略了 save_decode_cache, 并存储了解码 KV, 导致 L1/L2 写入无限制且过早地被驱逐

摘要 在 MP 模式下, vLLM 端的 LMCacheMPConnector 存储了每个完整的提示 + 生成的 token, 没有保存解码缓存门槛, 也没有提示长度的上限。在提示→输出边界的区域中, 由采样 (非确定性) 的输出 token 完成解码, 因此每次请求都会产生不同的哈希值。结果是, 即使提示集固定且完全缓存, 但每次请求中都会存储一个全新的 KV 片段 — 因此缓存在热启动、L1 填充和移除后仍会持续写入, 共享 L2 (例如 S3) 也会填满。文档中指定的 save_decode_cache = false (这是默认值) 由进程内的 LMCacheConnectorV1 执行, 但 LMCacheMPConnector 不执行。