百科.dev
全部条目在线工具AI 编程趋势榜开源项目技术资讯提交条目
登录
返回工具页/返回 Issues 列表
#1352·skills

技能创建者:运行 eval.py 并行工作程序,交叉匹配技能 UUID,生成假阴性触发率

作者: liam-ai-reality创建于 2026年6月25日更新于 2026年9月29日

总结 skills/skill-creator/scripts/run_eval.py 会在 --num-workers > 1 (默认值为 10) 时产生系统性错误(接近零)的触发率。这个问题是无声的:每个查询(包括明显应该触发的查询)都返回 trigger_rate ≈ 0,这使得所有 should_trigger: false 案例都“通过”得很容易,而所有 should_trigger: true 案例都“失败”。聚合看起来像是一个糟糕的技能描述,但实际上测量是有问题的。

内容来源: anthropics/skills

查看 GitHub 原文在 GitHub 查看讨论