提高切换成本精度: 模型间标记器差异
作者: adilhafeez创建于 2026年7月21日更新于 2026年7月21日
标签enhancementarea/routing
#982 评论的后续工作 (由 @knn-do 提出)。切换成本门将切换的价格定为 `context_tokens x (candidate_uncached_rate - anchor_cached_rate)`, 使用单个上下文标记计数。但不同模型族的标记器在性能上有很大差异 (OpenAI 的性能明显优于 Anthropic 和大多数开源模型), 因此切换的两侧上下文标记数可能相差 10-30% 。
内容来源: katanemo/plano