evals: 固定配置记录器,可将错误报告转换为确定性重现

您的功能请求是否与一个问题有关?请描述。

现在,#2826 重新恢复了对带有分数门槛的拉取请求的回归评估,评估确定性和评估成本已成为每个 PR 的问题,而非偶然的问题。在该基准线上,一个缺口显而易见: 没有从错误报告到固定点的途径。 固定点本身在这里已经确立了。packages/evals/tasks/ 下的 77 个任务文件中,已有 63 个指向锁定的镜像(browserbase.GitHub.io/stagehand-eval-sites/...);只有 13 个仍然访问了活动站点,其中 10 个是 archives.gov。基于它构建的任务声明了确切的后置条件而不是评注 - act/amazon_add_to_cart 仅在确切的最终 URL 上通过 - 这就是使失败归因于 Stagehand 而不是页面漂移的原因。