在路由决策响应中暴露 prefix_hash
作者: adilhafeez创建于 2026年7月21日更新于 2026年7月21日
标签enhancementarea/routing
跟进 #982,目的是为自主托管多副本后端的决策端点消费者提供支持。在全代理路径上,brightstaff 会在上游请求上标记 `x-plano-prefix-hash` 并将 `prefix_affinity: true` 标记一致哈希到该请求上(STRICT_DNS + RING_HASH),因此相同的提示前缀会落在持有其热 KV 缓存的 vLLM 复制副本上。
内容来源: katanemo/plano