为本地推理模型定制的MMLU评测方案：解决生成式评估中的答案提取难题

针对MiniMax、DeepSeek-R1、QwQ等推理模型在MMLU基准测试中遇到的答案格式混乱问题，该项目提供了一套完整的生成式评估配置，通过结构化提示词与多模式正则表达式提取答案，显著提升了评测准确性。

随着MiniMax、DeepSeek-R1、QwQ等推理模型（Reasoning Models）的兴起，大语言模型在回答问题时不再直接输出简短答案，而是倾向于生成详细的思维链（Chain-of-Thought）。这种"先思考后回答"的模式虽然提升了答案质量，却给传统的MMLU（Massive Multitask Language Understanding）评测带来了新的技术难题。

标准MMLU评测通常依赖loglikelihood评分机制，要求模型服务器返回log概率值。然而，许多本地推理服务器（如vLLM、llama.cpp、Ollama）并不支持这一功能。当切换到生成式评估（generate_until）时，推理模型往往会输出冗长的解释性文本，而非简洁的A/B/C/D选项，导致传统的答案提取方法失效。

该项目是一套专为本地LLM设计的MMLU评测配置集合，基于EleutherAI的lm-evaluation-harness框架构建。核心创新在于解决了推理模型输出格式不统一的问题，使得开发者能够在本地环境中准确评估MiniMax、QwQ等模型的真实能力。

项目包含两大配置集：

• JANG_RGX：完整MMLU数据集，覆盖57个学科领域，约14,000道题目
• JANG_RGX_20：精简子集，包含10个代表性学科，每科20题，适合快速验证

项目采用精心设计的提示模板，明确要求模型遵循特定输出格式：

Think step by step, then end with ANSWER: X

这种设计既保留了推理模型展示思维过程的能力，又通过格式约束确保最终答案可被程序化提取。配合max_tokens: 4096的设置，为模型提供了充足的生成空间，避免因截断导致答案不完整。

针对推理模型多样化的输出风格，项目实现了八级优先级的正则表达式匹配策略：

优先级	匹配模式	示例
1	ANSWER: X	ANSWER: B
2	answer is X	The answer is C.
3	Answer: X	Answer: C
4	correct answer is X	The correct answer is D.
5	**X**（加粗）	**B**
6	**X. ...**（加粗+句点）	**B. some text**
7	末行裸字母	B 或 B.
8	字母+空白/结尾	A. text...

项目最具技术深度的设计是采用从右向左（Right-to-Left）的匹配策略。通过(?s)DOTALL标志配合贪婪的.*前缀，正则引擎会从响应文本的末尾开始扫描，而非传统的从左到右。

这一设计解决了一个真实而棘手的问题：当模型在推理过程中引用选项时（如"A is incorrect because..."），传统从左匹配会误抓第一个出现的A，而从右匹配则能准确定位到最终答案。

实测数据显示，这一优化将准确率从65.9%提升至73.8%，修正了228个错误匹配案例。

pip install lm-eval

确保本地已部署兼容OpenAI API的推理服务器（vLLM、llama.cpp、Ollama等）。

编辑eval_config.yaml：

model_args:
  model: your-model-name
  base_url: http://127.0.0.1:8080/v1/chat/completions
  num_concurrent: 4
  max_retries: 3
  timeout: 600