深入理解贝叶斯神经网络与证据深度学习：不确定性量化的双剑合璧

在深度学习模型广泛应用于医疗诊断、自动驾驶、金融风控等高风险领域的今天，"模型知道自己不知道什么"变得至关重要。传统神经网络输出概率分布，但无法区分数据本身模糊性导致的偶然不确定性和模型知识缺失导致的认知不确定性。BNN-EDL项目融合贝叶斯神经网络(BNN)与证据深度学习(EDL)两种方法，为分类任务提供全面的不确定性量化方案，助力深度学习模型的可靠性评估。

以医疗AI诊断罕见疾病为例，90%置信度背后可能是症状典型（数据清晰）或训练数据缺失（模型知识不足），传统模型无法区分。偶然不确定性源于数据噪声/模糊性（无法通过增数据消除），认知不确定性源于模型知识盲区（可通过增数据降低）。区分两者对决策至关重要：高偶然不确定性需人工介入，高认知不确定性需定向收集数据。

BNN核心是将网络权重从固定值变为概率分布，推理时对分布积分得预测边缘分布。项目采用两种MCMC采样：随机梯度朗之万动力学(SGLD)在SGD中注入高斯噪声近似后验采样；随机梯度哈密顿蒙特卡洛(SGHMC)引入动量高效探索参数空间。使用对角正态先验，结合分类似然函数，通过贝叶斯模型平均(BMA)整合多采样网络预测，提升鲁棒性与准确性。

EDL将网络输出视为Dirichlet分布的集中参数α（伪计数），Dirichlet分布天然适合表示分类概率不确定性。softmax输出概率和为1，而EDL的α反映模型对每个类别的"观察次数"：α值大且相近→高置信；α值小→不确定；某α远大于其他→强烈偏好。EDL通过最大化证据（支持预测的数据量）学习α参数。

单独BNN采样成本高，单独EDL难捕捉模型层面认知不确定性。混合架构流程：BNN采样获多个网络实例→每个输出Dirichlet参数→对Dirichlet预测做BMA，既保留EDL的预测不确定性建模，又通过BNN集成引入模型不确定性。支持4种配置模式：标准训练+线性输出（基线）、标准训练+EDL输出（纯证据不确定性）、BNN训练+线性输出（纯贝叶斯不确定性）、BNN+EDL混合模式，可通过YAML配置切换。

项目实现多种指标：预测熵（总不确定性，决策拒绝预测依据）、期望熵（偶然不确定性，数据模糊性）、互信息（认知不确定性，模型知识盲区）、预测方差（集成模型分歧）、期望校准误差(ECE)（评估置信度与实际准确率一致性）。通过指标组合可诊断模型弱点，决定何时转交人类专家决策。

支持MNIST/CIFAR-10数据集，MLP/ResNet-20（含滤波器响应归一化）骨干网络，组件通过注册表系统便于扩展。部署建议：先建标准训练基线，逐步引入EDL/BNN；高风险场景设预测熵阈值自动转交人工审核；监控互信息指导数据收集。未来将与主动学习、安全强化学习、可解释AI深度融合。

BNN-EDL项目提供全面灵活的不确定性量化框架，BNN捕捉模型不确定性，EDL建模预测不确定性，两者结合实现完整刻画。在AI参与关键决策的今天，此能力是安全部署的必要条件。项目模块化设计为未来扩展奠定基础，对构建可靠可信AI系统至关重要。