opencompass · Issues· 404 开放

`gsm8k_postprocess` 会在千位分隔符处断开数值答案(`\boxed{$9{,}500}` → `500`, `\boxed{8,000}` → `000`)

TopkRetriever 在 transformers 5.x 中崩溃: tokenizer.encode_plus 已被删除

分级完整性:模型代码在三个基准测试中重写真实值;CRUXEval 将预测插入断言;无法解析的判决结果退出分母;LCEvaluator 在原始预测上调用 eval() (对 #2535 的跟进)

[错误] ToxicEvaluator: expected_max_toxicity 使用内置的 max() 函数对包含 NaN 的数组进行操作,因此该指标取决于样本的顺序

OpenAI-compat: OpenAISDK openai_api_base/v1, 而不是请求 OpenAI 全路径默认值

功能请求: 为 CustomDataset 实现 EvalPort 导入/导出 (适配器已构建并测试)

[特性] 用于结构化语言评估的 DIK 结构化土耳其句法依赖标注数据集

CompassAcademic: 7 个目标板中有 4 个没有分出 #1, 另外 2 个是完全相同, 由显示顺序决定胜负。

[错误] 使用 HuggingFacewithChatTemplate 时, Qwen3.5 无法运行

用于临床 AI 安全评估的 MedFailBench 集成建议

[错误] TypeError: 期望的是 datasets.Dataset 或 datasets.DatasetDict 对象,但实际为 {'train': <modelscope.msdatasets.ms_dataset.MsDataset 对象在 xxx>,'test': <modelscope.msdatasets.ms_dataset.MsDataset 对象在 xxx>}

[功能] 目前是否有计划适配Codeforces、SWE Verified、Aider-Polyglot 等在 R1 中出现的数据集？

[功能] 请问主观评测脚本是否支持使用本地模型作为评判模型？

[Bug] 当对DeepSeek-R1-Distill-Qwen-1.5B模型评测livecodebench数据集时，lcb_test_output为什么为0？

[功能] 使用提示完成 API 添加另一个 OpenAISDK 模型