Tau-Bench 的代码和数据
我们提出了 $\tau$-bench,这是一个仿真用户(由语言模型模拟)和语言代理之间动态对话的基准测试,该语言代理配备了特定领域的 API 工具和策略指南。
| 策略 | 通过^1 | 通过^2 | 通过^3 | 通过^4 |
|---|---|---|---|---|
| TC(Claude-3-5-sonnet-20241022) | 0.460 | 0.326 | 0.263 | 0.225 |
| TC(GPT-4o) | 0.420 | 0.273 | 0.220 | 0.200 |
| TC(Claude-3-5-sonnet-20240620) | 0.360 | 0.224 | 0.169 | 0.139 |
| TC(Mistral-large-2407) | ?? | ?? | ?? | ?? |
| TC(GPT-4o-mini) | 0.225 | 0.140 | 0.110 | 0.100 |
| Act (GPT-4o) | 0.365 | 0.217 | 0.160 | 0.140 |
| React (GPT-4o) | 0.325 | 0.233 | 0.185 | 0.160 |
暂无开放 Issues，或尚未同步最近议题。