MBT：为大语言模型注入元认知能力的后训练框架

MBT（Metacognitive Behavioral Tuning）是一种创新的后训练框架，通过将五阶段元认知结构注入推理轨迹，帮助多跳问答任务中的大语言模型更好地保留有效中间结论，解决推理过程中的“遗忘”问题，提升复杂推理能力。

在多跳问答（Multi-Hop QA）任务中，大语言模型需要在多个信息点之间建立连接，逐步推理出最终答案。然而，一个常见的问题是：模型在探索过程中往往会“遗忘”或覆盖之前已经得出的有效中间结论，导致推理链条断裂或得出错误答案。这种“认知过载”现象类似于人类在解决复杂问题时的情况——当我们同时处理多个信息片段时，容易丢失之前已经验证过的关键结论。

MBT（Metacognitive Behavioral Tuning，元认知行为调优）针对多跳推理的“遗忘”问题提出解决方案，借鉴人类元认知理论，将五阶段元认知结构注入模型的推理轨迹中：

1. 理解与过滤（Understanding & Filtering）：识别问题中的关键信息，过滤无关干扰
2. 规划（Planning）：制定多步推理的整体策略
3. 执行与监控（Execution & Monitoring）：按计划推进推理，同时监控中间结果的有效性
4. 自我纠正（Self-Correction）：发现偏差时及时调整方向
5. 验证（Verification）：最终确认答案的正确性和完整性

MBT提供两种实现方式：

MBT-S（合成模式）

从零开始合成全新的元认知推理轨迹，适用于从头构建训练数据，可基于教师模型生成高质量示范轨迹。

MBT-R（重写模式）

将学生模型自身的推理轨迹重写为元认知形式，更高效，直接利用现有模型输出通过结构化重写注入元认知框架。

MBT项目提供完整工具链支持，统一以下功能：

• 数据生成：在HotpotQA、Musique、2WikiMultiHopQA等多跳问答基准上生成推理轨迹
• 监督微调（SFT）：支持三种蒸馏模式的训练
• 评估体系：基于裁判模型的多维度评分，包括准确率-效率分数（AES）、可达性-冗余度画像（RRP）、元认知质量指数（MQI）

整个框架通过统一的mbt CLI工具编排，支持vLLM、OpenAI API和HuggingFace等多种后端。

MBT引入三个核心评估指标：

• AES（Accuracy-Efficiency Score）：衡量模型在准确率和推理效率之间的平衡
• RRP（Reach-Redundancy Profile）：评估模型探索的覆盖度与冗余度
• MQI（Metacognitive Quality Index）：专门衡量元认知行为的有效性

这些指标共同构成对多跳推理能力的全面评估，而非仅简单正确率判断。

MBT的价值不仅在于提升多跳问答准确率，更展示了新的模型能力提升路径：通过显式注入认知结构改善推理行为，而非单纯依赖规模扩张或数据堆砌。

该方法对以下场景有重要参考价值：

• 复杂知识检索：需在多个文档间建立关联的问答系统
• 数学推理：多步推导中保持中间结论有效性
• 代码生成：长程依赖关系中的逻辑一致性维护
• 科学文献分析：跨论文信息整合与假设验证

MBT代表后训练技术的重要方向：从单纯行为模仿转向认知结构注入。通过将人类元认知理论转化为可计算的训练框架，为提升大语言模型复杂推理能力开辟新路径。随着多模态和工具使用等更复杂场景扩展，这种结构化推理方法的重要性将愈发凸显。