auto-evaluator

自动评估器 :brain: :memo:

上下文 文档 问答 是一个受欢迎的 LLM 用例。LangChain 可让您轻松将 LLM 组件(例如模型和检索器)组合成支持问答的链:将输入文档分割成片段并存储在检索器中,根据用户的"问题"检索相关的片段,并将其传递给 LLM,以合成"答案"。 挑战

质量检查系统的质量可能会有很大差异;例如,我们曾经看到过由于特定参数设置导致幻觉和答案质量差的情况。但是,要(1) 以系统化的方式评估答案质量,以及(2) 利用此评估来指导改进质量检查链设置(例如,片段大小)或组件(例如,模型或检索器选择)并不总是显而易见。

此应用程序旨在解决上述限制。Anthropic 最近的 研究 使用了模型编写的评估集。OpenAI 等人 已表明 模型评分的评估是一种有效的模型评估方式。此应用程序将这两个想法结合到一个单一工作空间中，自动生成一个问答测试集并自动评分指定的问答链的结果。

• Playground: 输入一组您想要就其提出问题的文档。可选地，还可以包含与这些文档相关的自己的问题-答案对的测试集；请参阅示例 这里。如果您不提供测试集，应用程序将自动生成一个。如果测试集