你选了一个免费模特儿 因为答案不错 好答案不是终点 一个终点是模型加服务器加网络.
德摩斯传.
管道摊.
模型很少是问题所在。
那为什么我们只把模型作为基准呢?
因为这很简单。
你粘上一个快。
你读了输出。
你宣布一个胜利者。
服务器从不获得选票.
这个帖子是一个可复制的基准.
它测量对对,而不是模型。
在你把任何自由的终点线接入CI之前运行它. "对等,不是模式" 大多数评价比较答案。
你粘上一个快。
你来判断产出 你选一个赢家。
这可以衡量模型。
它忽略了服务器.
免费模式访问通常指共享的终点.
免费服务器选项意味着共享租赁.
其他用户共享CPU,内存和网络.
你的潜伏是他们的潜伏 你的暂停是他们的暂停。
这就是我一直看到的情景 一个团队在周五评价一个免费的模型.
答案看起来不错 周一他们给CI打电话 到星期三,输油管是红色的。
模型没有改变。
是服务器干的 邻居开始做批发工作 现在,每一个请求排队它后面。
我对MonkeyCode的免费模式访问 和他们的免费服务器选择 应用了同样的套接力 披露:这篇文章是作为MonkeyCode产品推广的一部分而编写的.
我不信任这个演示。
我造了个吊带 Harness A基准需要三样东西.
固定的提示集 。
一个货币梯子。
传/出.
这是我用的绳子 剧本有四件事: 探出寒冷从一个请求开始.
以货币1、2、3、4和8计算出20项请求。
记录p50,p95,错误计数和吞吐量.
打印JSON 这样你就可以存储和编辑报告。
为什么20个请求?
足够稳定p95。
不足以触发实际利率限制.
通币梯子就是点.
单项请求隐藏队列 。
有8项同时提出的申请暴露了这一点。
这样运行它:有效载荷是你的。
终点计划是你的 传出自有头和身.
绳子不变 样本输出( 未显示, 而不是从测量运行中得出): 看到图案了吗? 1号货币看起来很健康 货币4开始放弃请求。
通货八倒.
一次即时的测试是不会成功的 如何读取数字 使用此表作为起点 。
调整您的工作量门槛 。
Metric Green 黄红色出错率 < 1% 1–5% > 5% p95 耐用率 < 3s 3–8s > 8s Cold start < 5s 5–15s > 15s Tryput 以货币8=80%的货币 1,50–80% < 50% Green 表示一对夫妇可以处理同步的 CI 门.
黄色只指批量或合成.
红色的意思是不要把它接入。
错误率比暂时性更重要 。
慢答能重审.
不能放弃请求。
先看出错栏.
冷开是特例.
预定的管道唤醒了服务器.
如果第一通电话需要20秒,你的工作时间就会在模特儿说话之前。
试取之.
知闲之价.
自由服务器在可预见的地方会失败 我最看见的4个 冷从闲后起.
初召相出价相出.
预定的管道唤醒了服务器.
你的p95变成你的p100。
共有的租赁噪音。
一个邻居的批量工作 改变你的长眠。
你的号码每时每刻都不一样 运行梯子两次。
比较散相.
不带头的费率限制 。 429人抵达时没有重试 您的逻辑猜测 。
猜想会使问题更严重.
指示后退是唯一的安全动作.
长时出后.
模型可以回答。
服务器先放弃.
你30秒的休庭会毁了工作 用实际有效载荷测量,不是玩具快取.
这些都没有迅速的比较。
他们都以货币阶梯出现.
Wire It Into GitLab CI A 一次性基准是一个快照.
预定基准是一个趋势。
每周运行绳子。
留着JSON。
分出号码 工作需要两个CI变量.
和.
在 GitLab 中添加时间表 。
在你相信趋势之前先检查一下文物 设置提示