NeuReasoner：通过神经元混合实现可解释、可控且统一的大模型推理框架

NeuReasoner提出基于神经元混合（MoN）的统一推理框架，通过白盒分析识别关键神经元及其波动模式检测修复推理失败。该框架在6个基准测试上实现最高27%性能提升，同时减少19.6%-63.3%的token消耗，解决大型推理模型（LRMs）存在的步骤内错误、步骤间振荡停滞、实例层面过度思考三重困境，兼具可解释性与可控性。

大型推理模型（LRMs）如DeepSeek-R1虽在复杂推理任务进展显著，但存在三重失败模式：步骤内层面的计算/推导错误、步骤间层面的振荡/停滞、实例层面的过度思考。现有研究多针对单一层面优化，且依赖黑盒RL训练，缺乏统一方案，限制可解释性与可控性。

研究团队通过白盒分析识别出与不同失败模式关联的关键神经元群体——神经元混合（MoN）。不同推理失败对应特定神经元集合的独特激活波动模式（如计算错误与数值处理神经元异常激活相关）。基于此提出NeuReasoner框架，通过监测关键神经元活动实时检测并修复推理失败。

NeuReasoner包含两大核心组件：1.轻量级MLP失败检测器：实时监测MoN激活模式，快速识别潜在失败，高效且可解释；2.特殊token触发的自校正机制：检测到失败时插入预定义特殊token，通过监督微调（SFT）让模型执行对应修复策略（如重新计算、改变推理路径），实现实时监控与动态调整。

在6个基准测试（含数学推理、代码生成等）及6个不同规模（8B-70B）主干模型上评估，NeuReasoner相比9个竞争基线最高提升27.0%性能，同时减少19.6%-63.3%token消耗，且跨模型规模结果一致，具有良好扩展性与通用性。

理论上首次系统性关联LRM失败模式与神经元活动，为黑盒模型内部机制研究提供新方向；实践上提供可靠推理技术路径，轻量设计易部署，可控性支持场景定制（如医疗、金融），且通过避免过度思考优化资源消耗，适用于资源受限环境。

NeuReasoner通过白盒分析构建统一可控推理框架，取得优异性能与效率。未来可扩展MoN概念至更多模型/任务，探索不同认知功能对应的神经元群体，深化特殊token控制范式，推动更可靠、高效、可控的智能推理系统发展。