工具介绍
TAG-Bench: 一种用于表格增强生成 (TAG) 的基准
Text2SQL 还不够: 利用 TAG 统一 AI 和数据库
TAG v1 基准测试 TAG v1 基准测试基于 BIRD Text2SQL 基准测试。为了提高查询的复杂度并挑战 LLM 的能力，我们对 TAG 基准测试中的查询进行了修改，要求模型要么具备世界知识，要么进行超出数据库中明确可用信息的语义推理。我们使用并修改了 BIRD 中基于匹配、比较、排名和聚合的查询的一部分。总共有 80 个查询，每种类型 20 个。其中 40 个查询需要模型具备参数化知识，另外 40 个查询需要模型进行推理。
设置步骤 以下是重现论文中结果的步骤。
[][#arxiv-paper-package]
[][#license-gh-package]
[#license-gh-package]: https://lbesson.mit-license.org/
[#arxiv-paper-package]: https://arxiv.org/abs/2408.14717