知识蒸馏中的推理一致性研究：压缩模型是否在"正确"地思考？

本文聚焦知识蒸馏技术中被忽视的核心问题：压缩后的学生模型与教师模型给出相同答案时，是否基于相同推理逻辑？通过GradCAM显著性图对比、CKA表示对齐、校准分析三大维度，揭示了准确率与推理一致性解耦的关键现象，为边缘AI部署的模型评估提供新视角。

知识蒸馏使大模型压缩为小模型以适配边缘部署，但传统评估仅关注准确率。一个根本性问题被忽视：学生模型可能通过“捷径学习”（如依赖背景纹理而非物体形状）获得高准确率，这种“正确但错误”的推理在实际场景中存在不可预测风险。

研究设计综合评估体系：

1. GradCAM显著性图对比：计算Spearman等级相关性（热力图分布相似度）和Top-20%像素IoU（关注区域重叠度），仅在师生均预测正确的9196张图像上分析；
2. CKA表示对齐：比较师生模型中间层（layer1到pre_fc）表示的相似性；
3. 校准分析：用预期校准误差（ECE）衡量模型置信度与准确率的一致性。

1. 蒸馏提升准确率但损害校准：学生准确率从91.71%升至92.93%，但ECE从0.0325恶化至0.0442；
2. 推理一致性显著低于完美水平：师生均正确时，平均Spearman ρ=0.6976，IoU=0.4426，极端案例ρ达-0.5679；
3. 捷径学习典型类别：汽车、船舶类准确率最高（96.3%/95.2%）但一致性最低（ρ=0.538/0.644）；
4. 压缩对一致性影响更大：从中等模型（24倍压缩）到极小模型（248倍压缩），准确率降8.1个百分点，一致性降18.7个百分点；
5. 温度参数是调节器：

   温度	准确率	ECE	Spearman ρ	IoU
   T=2	92.40%	0.0429	0.672	0.422
   T=4	92.93%	0.0442	0.698	0.443
   T=8	92.93%	0.0454	0.701	0.445
   T=2校准最佳，T=8推理一致性最佳。

• 教师模型：ResNet-50在CIFAR-10微调至97.31%准确率，替换conv1为3×3且无maxpool以保持32×32分辨率；
• 学生模型：
  • 极小模型：95k参数，248倍压缩（3个卷积块，最终块128通道）；
  • 小型模型：242k参数，97倍压缩（4个卷积块，最终块128通道）；
  • 中等模型：982k参数，24倍压缩（5个卷积块，最后两块256通道）。

1. 评估范式转变：关键场景需同时评估准确率与推理一致性；
2. 温度参数选择：低温度（如T=2）优先校准，高温度（如T=8）优先推理一致性；
3. 捷径学习检测：监控高准确率低一致性的类别；
4. 压缩权衡：过度压缩会导致不可预测的推理不一致性，需平衡大小、准确率、一致性。

研究核心结论：正确的答案不等于正确的推理。对于边缘AI部署，需超越准确率指标，关注模型推理过程的一致性。在医疗影像、自动驾驶等关键领域，推理一致性的重要性可能超过单纯预测准确率。