深度神经网络表征稳定性研究：预测模型性能的新视角

这项硕士论文研究探索通过监测深度神经网络内部表征的稳定性来预测模型最终性能，为训练早停策略和模型性能评估提供新思路。核心假设是表征稳定性与浅层替代模型性能相关，实验采用ResNet-18在CIFAR-10数据集验证，结合CKA（几何相似度）和DRS（决策一致性）指标检测表征稳定性。

深度学习训练中，网络内部过程常被视为黑箱。本研究核心洞察：神经网络训练阶段内部表征会显著变化，趋于稳定时意味着学到有效特征。核心假设：表征稳定性与浅层替代模型性能关联——若某时刻表征稳定，用冻结表征训练简单分类器，性能接近完整网络最终表现，为早停和性能预测提供依据。

研究框架用ResNet-18在CIFAR-10实验，采用两个互补指标：

1. CKA（Centered Kernel Alignment）：衡量相邻周期表征几何相似度，连续检查点CKA低位表示几何结构稳定；
2. DRS（Decision Robustness Score）：评估线性探针相邻周期分类决策一致性，关注功能性稳定。 仅当两者同时满足稳定性条件时，认定表征真正稳定。

实验技术细节：

• 训练：ResNet-18用SGD优化器（避免Adam的CKA噪声），每5周期保存检查点和表征；
• 特征提取：聚焦倒数第二层（分类器前的表征层）；
• 稳定性判定：连续5个检查点CKA和DRS均低于0.02时，记为稳定时刻t*。

核心发现支持假设：t*时刻冻结表征训练的替代分类器（如逻辑回归、LightGBM等）准确率接近完整网络最终性能。这意味着表征稳定后继续训练边际收益有限，为早停策略提供理论依据；同时提出新模型选择方法——早期监测表征稳定性预测潜力。此外，CKA（几何）与DRS（功能）互补，避免单一指标偏差。

局限：实验仅在ResNet-18和CIFAR-10开展，结论需验证于更大模型/复杂数据集；稳定性阈值（τ=0.02，K=5）为经验值，可能因任务/架构而异。未来方向：探索自适应阈值策略；应用于迁移学习、持续学习、神经架构搜索等场景。

对从业者启示：监测表征变化（不仅损失/准确率）获更深洞察；简单替代模型可预测复杂网络性能（资源受限场景实用）。对研究者：提供方法论参考（CKA+DRS结合、严格判定标准）。本研究为深度学习可解释性和高效训练方法提供新方向，虽为起点，但激发后续研究，推动领域健康发展。