Detecting Right-Answer Wrong-Reason：检测开源推理模型的"答对但理由错误"行为

本研究构建了一套完整框架，用于检测开源权重推理模型中的"捷径驱动推理"现象（即答对但理由错误）。框架结合行为测试与机制可解释性方法，评估模型是通过真正推理还是表面捷径得到正确答案。核心发现：参数少于20亿的小模型推理失败主要源于"困惑推理"而非"捷径依赖"，为理解和改进小模型推理能力提供系统性工具。

随着大语言模型能力提升，社区关注关键问题：模型给出正确答案时，是有效推理还是依赖捷径？"答对但理由错误"现象指模型输出正确答案但推理过程有根本缺陷（如忽略关键信息、依赖表面统计相关性等），在小型开源模型中更常见。本项目旨在构建流水线，系统性检测量化该现象。

项目架构：模块化设计，含数据层（raw/processed/labeled数据）、源代码层（模型工具、评估/分析/可解释性模块）、结果层（评分/报告/图表）。 基准数据集：19个认知问题×3条件（Clean无干扰、Hinted正确提示、Misleading误导提示），对比表现判断是否依赖捷径。 审计评分系统：四维度加权评分（Clean Accuracy 0.2、Misleading Resistance 0.3、Reasoning Faithfulness 0.3、Mechanistic Consistency 0.2）。

测试4个开源小模型：Qwen2.5-1.5B（47.4分）、Qwen2.5-0.5B（43.3）、SmolLM-135M（43.3）、TinyLlama-1.1B（37.6）。 核心发现：

1. Clean条件下Qwen1.5B准确率仅15.8%，其他更低；
2. 正确答案时对误导提示100%脆弱；
3. 81-82%失败案例为"困惑"而非捷径依赖，挑战小模型"作弊"假设。

通过三种方法深入分析模型内部：

• 激活提取：比较不同层级激活模式，识别正确/错误推理的神经活动差异；
• 稀疏自编码器分析：提取解释模型内部表征结构的可解释特征；
• 激活修补：因果干预测试特定层级激活对输出的影响，定位推理关键组件。

应用价值：为研究者/开发者提供模型选择指导、改进方向、安全评估工具；开源社区可复现测试新模型。 局限性：测试集小（57条目）、英文语境、自动标注可能误判。 未来工作：扩展数据集覆盖更多推理类型、人工审核校准标注、探索小模型专门训练方法提升推理忠实度。