Eval 框架: 技能激活 (触发) evals + eval 所构建的证明需求生命周期 (来自 eliasstravik/skills)

□ 从eliastravik/技能(麻省理工学院,"eval-built Agent工作流程")

与我们的eval框架最接近的公众模拟。 其最可转移的想法,其优先顺序是:

1. 技能激活(触发) evals - " 触发-eval.json " (最高杠杆) 一个平坦的JSON阵列"QQ":"...","应该""触发":真"QQ"false"来测试技能是否在正确的请求上激活并保持对相邻的请求的沉默——独立于行为. 对于一个60+技能市场,路由是我们真正的失败模式(复制与复制编辑与广告与电子邮件;seo-ai-seo与计划;定价与付费墙)。 我们今天没有这个机会。

• 种子60/40正/负,带相邻-技能负片(例如,“写作广告副本”不应发射复制'——它应发射可创造';“是我的定价页AI-可读”大火定价',而不是ai-seo')。
• Elias运行一个触发点,使技能的“描述”与查询集相匹配,并适用“最佳描述”逐字记录。 我们的每个技能的`描述 ' 触发器正是这样会更难的。

1. "Eval-built"证明需要生命周期(用于新技能) "技能不是书写的,而是挣来的" 在建立技能之前,对照无技能基线、记录逐字记录故障证据**、饱和**(当新回合增加零新故障类别时停止)。 如果基线不失败,就不要运送技能. 然后,每个技能线都通过一个失败-上传可追溯表追踪到一个真正的失败,技能开始作为bare核心(H1+一出原始的,XQ20行),细节由所观察到的失败*所汲取. 强烈的编辑过滤器 与bloat 对于一个不断发展的图书馆。

2. 合理性升级

• ** 叙级(工具计数、出错、输出/标记字符)中的执行-成本衡量标准**,因此掌握了通过但代价高昂的技能,而不仅仅是失败的技能。
• 机器可读 " 故障级.json " + " 分级-schema.json " (期望 ' /打出要求 ' /通过-rate ' /eval-feedback ' )——用#484(Magister schema work)加以连接。

obra补充(完成为#479) Elias饱和了NO技能基线(证明技能是需要). obra/超能力** 压力测试 与技能的文物** (证明它是 *robust *). 它们是两分之一——以利亚没有对抗性的"打破被安装的技巧"回合,这正是已经注意到的479号上的压力测试-电压差距. 共同=全景:证明需要 建设 证明力活.

□ 信用/许可证 `eliasstravik/技能'是麻省理工学院——提炼信贷。 采用格式和生命周期,贷记来源。 与#479(框架),#480(基准),#484(schema会合)相伴.