技能创建者:运行 eval.py 并行工作程序,交叉匹配技能 UUID,生成假阴性触发率
作者: liam-ai-reality创建于 2026年6月25日更新于 2026年9月29日
总结 skills/skill-creator/scripts/run_eval.py 会在 --num-workers > 1 (默认值为 10) 时产生系统性错误(接近零)的触发率。这个问题是无声的:每个查询(包括明显应该触发的查询)都返回 trigger_rate ≈ 0,这使得所有 should_trigger: false 案例都“通过”得很容易,而所有 should_trigger: true 案例都“失败”。聚合看起来像是一个糟糕的技能描述,但实际上测量是有问题的。
内容来源: anthropics/skills