缺失数据对模型推理的影响：基于可解释AI的稳定性研究

本研究聚焦现实世界中普遍存在的缺失数据问题，通过可解释AI（XAI）技术系统性探索其对机器学习模型决策稳定性的影响。核心观点包括：缺失数据不仅可能降低模型准确性，更会导致推理过程不稳定；高预测准确性未必意味着可靠的解释；缺失模式（而非仅比例）对模型影响更大；不同类型模型对缺失数据的鲁棒性存在显著差异。研究为数据质量评估及可信AI构建提供了理论依据与实用框架。

缺失数据的普遍性

数据缺失原因多样，分为完全随机缺失（MCAR）、随机缺失（MAR）、非随机缺失（MNAR）三类。传统处理方法（删除、均值填充等）侧重补全数据，却忽视缺失对模型推理的影响。

可解释AI的兴起

深度学习在关键领域应用推动XAI技术（如SHAP、LIME）发展，可揭示模型决策逻辑。

研究创新

本研究将XAI从解释单个预测扩展到评估缺失数据下的推理稳定性，填补了相关领域空白。

核心问题

1. 预测准确性变化；2. 特征重要性排序稳定性；3. 决策边界漂移；4. 解释一致性保持。

实验设计

• 数据集：UCI医疗、金融、社会调查数据集（10-100+维，数千至数万样本）；
• 模型类型：传统ML（随机森林、SVM等）、深度学习（MLP等）、集成模型（XGBoost等）；
• 缺失模拟：随机特征缺失（10%/30%/50%/70%）、结构化缺失、渐进式缺失；
• XAI方法：SHAP、Permutation Importance、Partial Dependence Plots。

稳定性指标

• 预测稳定性：预测方差、置信度变化；
• 解释稳定性：Kendall Tau系数（特征排名）、Jensen-Shannon散度（SHAP分布）；
• 决策边界稳定性：几何变化、对抗样本敏感性。

发现一：准确性与解释稳定性解耦

模型可能保持高准确性，但解释不稳定（如医疗模型AUC仅降0.07，特征排序却显著变化），提示模型可能依赖虚假相关性。

发现二：模型鲁棒性差异

• 树集成模型：对随机缺失鲁棒，对结构化缺失敏感，特征重要性易出现尖峰；
• 神经网络：对连续特征缺失敏感，解释稳定性下降更快，但可通过特征表示隐式补偿。

发现三：特征重要性幻觉

关键特征缺失时，模型会转移权重到代理变量或放大噪声特征，产生错误解释（如医疗诊断中依赖非因果特征）。

发现四：缺失模式更重要

10%关键特征缺失影响大于50%边缘特征缺失；结构化缺失>随机缺失；MNAR模式偏差最严重。

对模型开发者

1. 将缺失鲁棒性纳入模型选择标准，模拟缺失场景评估稳定性曲线；
2. 监控XAI稳定性指标，特征排序显著变化时触发警报；
3. 量化不确定性（如贝叶斯NN、MC Dropout）。

对业务应用

1. 建立数据质量仪表板，监控缺失比例与模式；
2. 分层决策：高完整度直接预测，中等需人工复核，低完整度拒绝预测；
3. 标注解释可信度，提醒数据不完整时的潜在风险。

当前局限

1. 静态分析：未涉及训练过程中缺失数据的影响；
2. 特征独立性假设：未充分考虑真实数据的复杂相关性；
3. XAI方法局限：SHAP等存在计算成本与近似误差。

未来方向

1. 主动缺失处理：决定采集哪些特征（平衡成本与增益）；
2. 因果视角：区分相关性与因果性，避免解释幻觉；
3. 动态缺失适应：开发自适应模型调整推理策略；
4. 人在回路：优化特征询问策略（减轻认知负担）。

本研究通过严谨实验揭示了缺失数据对模型推理的深层影响：不仅降低准确性，更破坏推理稳定性。核心结论是高准确性不等于可靠解释，关键应用中需同时监控预测性能与解释稳定性。数据质量应贯穿模型全生命周期，理解模型在信息不完整时的行为是构建可信AI的必要步骤。本研究为相关实践提供了警示与评估框架。