Lighteval 是一个集多种功能于一身的工具包,用于评估多个后端的 LLM。
来自 Hugging Face 积分榜和评测团队的快速灵活的 LLM 评测工具包。
------ **Lighteval** 是您用于在多个领域评估 LLM 的*全能工具包*。 后端 - 无论您的模型是否在某个地方进行 **服务** 或 **已在内存中加载**。 通过保存和探索 *详细的模型性能信息,深入了解模型的表现。 按样本进行的结果* 可用于调试,查看模型的表现情况。 * 任务自定义随手可得*: 让您可以浏览我们现有的所有任务和[指标](https://huggingface.co/docs/lighteval/metric-list),或者轻松创建自己的[自定义任务](https://huggingface.co/docs/lighteval/adding-a-custom-task)和[自定义指标](https://huggingface.co/docs/lighteval/adding-a-new-metric),满足您的需求。 ### **数学和代码** - **数学问题**：GSM8K、GSM-Plus、MATH、MATH500 - **竞赛数学**：AIME24、AIME25 - **多语言数学**：MGSM（10 多种语言的小学数学） - **编码基准**：LCB（LiveCodeBench）
暂无开放 Issues，或尚未同步最近议题。