LLM 在终端复杂任务中的一个基准
Terminal-Bench 是一项基准测试,旨在测量代理工作的前沿,它包含一组多样化、难度大、质量高的任务,这些任务会随着时间的推移而不断变化。所有前沿代理构建者都使用 Terminal-Bench 来跟踪进度并比较功能。
请安装 Harbor 并运行 oracle solutions 5x，以确认所有任务在您的沙箱环境中按预期工作。我们使用 Modal 在我们的 CI/CD 和排行榜实验中开发任务 - 如果您的设置出现问题，请打开一个问题。
我们强烈建议在投入大量时间完成完整提交之前,先就您的任务想法获得 反馈。请阅读 贡献说明 和 [任务提案格式要求](do
暂无开放 Issues，或尚未同步最近议题。