模型压缩与推理一致性：蒸馏后的模型是否在"正确推理"？

本研究聚焦知识蒸馏后压缩模型的推理一致性问题，探讨压缩模型给出正确答案时是否真正理解问题本质，而非仅模仿表面模式。通过GradCAM（注意力可视化）、CKA（表征相似性分析）、校准分析等多维度方法评估，发现测试集准确率无法保证推理一致，不同蒸馏策略对一致性影响显著，并提出改进蒸馏流程与模型选择的实践建议，强调在效率提升同时需确保模型推理质量。

大语言模型知识蒸馏技术可在保持性能的同时降低推理成本，但核心问题常被忽视：压缩模型正确答案是否源于真正理解？在医疗诊断、法律分析等高风险场景中，模型需基于正确逻辑与证据决策，若仅靠表面特征"猜对"，可能带来严重后果。因此，推理一致性（答案正确且理由合理）是压缩模型部署的关键考量。

研究构建系统性评估框架，从三维度分析推理行为：

1. GradCAM：对比师生模型注意力热力图，若推理一致则注意力分布相似；
2. CKA：衡量中间层表征相似性，评估学生模型是否内化教师抽象表示；
3. 校准分析：通过可靠性图、ECE指标检查置信度与准确性匹配度，过度自信是推理缺陷信号。

核心发现包括：

1. 答案正确≠推理正确：部分学生模型准确率与教师相当，但注意力分布差异大，依赖虚假相关性或表面特征；
2. 蒸馏策略影响：输出匹配易导致表面学习，特征/关系蒸馏更能保持推理一致；
3. 任务复杂度调节：复杂推理任务中压缩模型更易"断链"，需严格验证机制。

改进建议：

1. 多目标优化：损失函数结合输出匹配、特征对齐、校准约束；
2. 分层蒸馏：差异化设计各层级蒸馏策略；
3. 对抗性验证：用对抗样本测试鲁棒性；
4. 人在回路：人工审核关键样本热力图。

模型选择框架：除准确率外，需检查GradCAM热力图、校准曲线、CKA表征对齐程度。

局限性：聚焦视觉与文本分类任务，生成式任务（如翻译、文本生成）的推理一致性评估待探索；解释工具（GradCAM/CKA）存在局限性。

未来方向：开发精细推理路径追踪工具、应用因果推断方法、建立标准化推理一致性基准测试集。

模型压缩让大模型更易落地，但效率提升不能牺牲推理质量。需审视模型"思考过程"，确保压缩模型基于正确理由做出正确判断，才能放心部署到真实复杂场景中。