#992·plano

表面定价反馈的恶化会默默削弱路由预算

作者: adilhafeez创建于 2026年7月21日更新于 2026年7月21日
标签enhancementarea/routing

#982 的后续工作。路由预算的好坏取决于定价源,目前有两种退化模式对运营商来说是看不见的: 1. **空的费率映射。**如果启动或刷新时无法访问成本源(models.dev/ DO 目录),则费率映射为空,每个交换机都会失败(`reason="no_pricing"`)。启动受到客户端超时的限制(在 #982 中添加),但唯一的信号是一个检索日志行 - 没有可用的指标来进行警示。 2. **缓存费率回退。**当源不发布缓存读取的费率时,Plano 会默默估算 `cached_rate = input_rate x cache_read_discount`(默认为 0.1)。如果提供者的实际折扣不同,交换机成本和永不切换的基准都会被错误定价,没有任何指示。 (DO 目录现在发布了 `cache_read_input_price_per_million`,因此这主要影响 models.dev 条目和缺少该字段的 DO 模型。) 提出的建议: - 一个用于成本源健康状况(已加载的模型、最后一次成功检索的时间戳)的指标,适用于警示。 - 一个计数器或每个决策范围属性,标记出交换机成本计算时是使用回退折扣而不是已发布的缓存费率。 - 文档:在路由预算配置参考中提及这两种模式。 这里值得考虑的相关想法:一个静态/本地定价覆盖(JSON/YAML 文件通过源合并),以消除对外部定价服务的硬件运行时依赖 - 这对于自主托管的模型非常有用,这些模型的 ID 没有公共源知道。