4/5 文档*评估器在空输入时出现 ZeroDivisionError 错误

文件* 评价员在空输入时与“零分区错误”相撞

错误

5名“海斯塔克/组成部分/评价员/”的检索/回答评价员将每个问题的总分分成一个中分。 其中4个被“len(ground truth documents)”或“len(retrieved documents)”除以,但没有首先检查清单是否为空,因此空出一个输入就会产生“零分区:以零除法”而不是返回一个干净的0.0'(或提出一个有用的Value-Error')。

DocumentNDCGE评价员 ' 已经拥有自己的空投入警卫(Document ndcg.py:148')——其他四个没有。

受影响的评价员(均在“海斯塔克/组成部分/评价员/”):

• 评估员 * * * 文件 * * * 合计行 * * | -- -- -- -- -- -- -- -- -- -- -- -- --

+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++ +++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++

+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++

`文件专家组评价员 ' 已经正确,是应遵循的模式。

• 复制

从干草堆导入文档
从干草堆进口的组件。
文件MAP评估员、文件MRRE评估员、文件NDCGE评估员、
文档召回评价器、 答答ExactMatch评价器、
(中文(简体) ).

名称, ev, kwargs in [
("DocumentMAP评价员","DocumentMAP评价员" (, {"ground  truth documents"): [],"检索到的 documents": []},),
("文档MRRE评价器","文档MRRE评价器" (, {"ground  truth documents"): [],"检索到的 文档": []},
("DocumentNDCGE评价器",DocumentNDCGE评价器 (), {"ground  truth documents": [],"检索到的 documents": []},),
("文件召回评价员","文件召回评价员" (, {"ground  truth documents"): [],"检索到的 documents": []}),
("AnswerExactMatch Evaluator","AnswerExactMatch Evaluator"(,{"地-地-地-地-地-地-地-地-地)": [],"预测-地-地-地": []),,
[ :
尝试 :
打印(名称, ev.run (**kwargs))
例外作为e:
打印(f"{name}:{type (e). name :{e}")

关于 " 主要 " 的产出(2.31.0):

文件地图评价员:零分区错误:除以零
文件评估员:零分区错误:除以零
文件NDCGE评估器: 价值错误: 地面  真相  文档和已检索  文件必须提供 。
文件召回评价员:零分区错误:除以零
AnswerExactMatch 评价员:零分错:除以零

每个问题案([ ]'——一个没有文件的问题)返回0.0'供检索评价员使用,而1.0'供AnswerExactMatch评价员使用(一个空清单,答案是"匹配",因为两者都缺失)。 只有顶层空格断开.

为什么这很重要?

• 评价器组件通常在输油管内运行,该输油管通过一个数据集运行。 一个管道, . . . . . . .