#8276·autogen

当真实值归零时, gaia_question_scorer 会将退化/空的代理答案无意义地评分为正确

作者: shaurya416创建于 2026年9月23日更新于 2026年9月28日

Python/packages/agbench/benchmarks/GAIA/Scripts/custom_tabulate.py:121-122

python
    # if gt is a str
    else:
        return normalize_str(model_answer) == normalize_str(ground_truth)

normalize_str (同一文件,行 57-77) 删除所有空格和标点符号并转换为小写。它没有检查正则化的真实答案是否为空,然后再进行比较。gaia_question_scorer 是实际用于评分的函数: scorer() 在第 157 行直接调用它。

内容来源: microsoft/autogen