当一个自由端点返回429时,大多数代理都做了最昂贵的事情:再试.
重试看起来无害 一个200毫秒的请求变成了2秒的等待,然后又一次尝试.
但是,在峰值负载下,这个回路变成了30秒的停顿,而您的代理点击一个空回音刷新.
如果配额窗口在摊位里重新打开 每一次重试都会烧掉你本可以花在实际工作上的活物 重试回环假设失败是暂时的.
对于利率限制,这种假设通常是错误的.
定额计数器重设在固定的日程上,而不是在你的方便上.
你不只是在等;你正在烧墙钟的时间本来可以去别的地方。
Cascade Pattle A级联路由器是替代品.
它向自由端点发送请求,在速率限制信号上后退,然后优雅地降解为备份端点.
自由级承载负载;备份仅在需要时存在.
您可获得免费等级的成本优势和付费等级的可靠性。
该设计有三个部分:一个端点抽象层,一个速率限制探测器,和一个当自由端点反复出故障时行走的断路器.
以下是核心代码: 后退计算是关键细节.
它以5秒起跑,每接连出一败涂地,60分封顶.
这可以防止暴风雨的重试 同时让自由终点恢复 断路器是隐含的:一旦冷却后超过60秒,自由端被有效绊倒到窗口重置. 60秒上限是故意的。
除此之外,等待免费终点的费用超过了仅仅使用付费终点的费用。
断路器说:我给了你一分钟,现在我要继续前进。
错误和配额窗口 并非所有错误都是相等的 。 429表示"你受利率限制,以后再试"——冷却是有道理的.
A 5xx表示"某事损坏了的服务器-侧"——一次快速重试再继续是更好的策略,因为服务器可能正在重启并会在秒后恢复.
你的路由器应该对他们不同对待.
您的配额窗口形状决定您的后退盖 。
如果配额每分钟重置一次 5秒冷却就足够了 如果按小时重排,60秒的盖子意味着你会被绊倒 剩下的时间。
在配置路由器前先了解您的配额窗口 。
一个快速的卷曲测试会告诉你:发送请求直到击中了429,然后测量恢复需要多长时间.
号码是你的后退帽 一个天真是灾难性的,有60秒的配额窗口。
你的经纪人在1,3和5秒——全部在窗口内——重试,然后放弃,而窗口在40秒后重排.
如果它在45秒内重新试了,它就会成功.
天真循环从来就没有到过那里.
级联路由器是。
质量和可观察性 现在的质量陷阱。
免费模型和付费模型产生不同的产出.
如果免费模型为7B参数模型而付费模型为70B,则回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回 对于归纳或分类,这是好的。
对于精确的代码生成来说,这可能是个问题.
缓解:将退缩限制在无国籍人的请求,或者接受上下文切换.
伐木是图案被低估的部分.
路由器已经在响应中返回了字段,因此可以记录.
这不仅仅是成本跟踪,而是在调试。
当一个输出看起来很奇怪时,你需要知道是哪个模型产生的.
一个简单的结构化的日志行——时间戳,终点,模型,后期,状态——在死后是宝贵的.
运行它在哪里 这个模式运行在哪里?
在服务器上 你的笔记本电脑睡眠,VPNs焦躁,共享Wi-Fi 增加了耐久性——所有这些污染了测量。
MonkeyCode是一个开源代理工具链,其自由级包含有1000万个托肯模型允许和免费服务器选项.
披露:这篇文章是作为MonkeyCode产品推广的一部分而编写的.
免费服务器是运行此路由器的自然地地地,因为它停留在网络上.
免费津贴为第一级;您已有的带薪津贴