用一美元上限而不是一个百分比来打开你的CI —— 您的财务团队实际上要求给代理商/LLM工作流程的Most Cost Cates 检查三角洲的号码:这个PR是否使运行比上一个更昂贵, 超过QQ?
这是一个很好的回归警报。
但是它回答了一个开发商的问题("我让情况更糟了吗?"),而不是预算所有者的问题("我们是不是要吹掉月号?").
这些门确实不同,一个只有百分比的球队却一直感到惊讶。
一个工作流程可以通过每个百分数检查——每个公关增加一个无害的外观3%——并且仍然跨越绝对月支出停止正常的线.
百分比比较安静;美元是发票上显示的。
因此,我想在任何代理工作流程上的第二个闸门是绝对的上限:"这个工作的一次运行费用不得超过$N",全站停站,不管它从昨天起是上是下.
有三件事使得大门实际上可以使用,而不是剧院:
1.
天花板是定价的,而不是象征性的. "2M符号下"对于在支出上签名的人来说是毫无意义的,因为Opus输出的符号和缓存的Haiku输入的符号在价格上相差~100×.
闸口需要将每个信使桶(输入,输出,缓存-写于~1.25×,缓存-读于~0.1×)乘以该型号的实际每桶价格并等于实际美元数字.
如果你的门报了信物 并让一个人皈依, 没有人皈依, 天花板漂移。
2.
上限为每运行和每工作流量,而不是全球上限。
夜间的全重置审计和每PR lint 代理 合法成本大相径庭; 一个全球数字对小工作来说太松或对大工作来说太紧。
你要设定具体的工作流程,所以每个工作都带有与它的目的相符的上限.
3.
它显示的是头室,而不仅仅是通过/失败.
每跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑跑 第一次穿越时只说"被封锁"的城门 就是有人闯出城门 百分率门和美元门并不是竞争对手——我兼管两者.
百分率捕捉到突然回落(有人将50k-tok的固定点贴入快板);一美元捕捉到慢板(工作流程总是有点昂贵,最后跨越了预算所能承受的范围)。
不同的失败模式, 第二种模式是, 你的财务所有者会问你。
如果你想把它从架子上移出:是Apache-2.0 GitHub Action(建于上),每跑一次将象征性的用法定价为实际美元,并且可以在绝对的上限和三角洲上开闸——这样你就可以将"每跑一次不要超过$N"直接输入需要它的工作流程.
但精神模型是任何工具的所在:一个百分比回答开发者的问题,一个美元上限回答预算所有者的问题.
对于你们中那些已经有食用剂的人来说,费用是:你们在相对三角洲上的大门,一个绝对的美元上限,还是两者兼而有之——如果你们必须先选一个,那又有什么问题?