MNIST手写数字识别：ReLU与Sigmoid激活函数的对比实验研究

本研究通过MNIST数据集对比ReLU和Sigmoid激活函数在神经网络中的表现，揭示ReLU在收敛速度和梯度传播方面的优势，为深度学习入门者提供直观的激活函数选择参考。

原作者/维护者：Tayyabah-Rehman 来源平台：GitHub 原始项目：Simple-Neural-Network-Development-for-Digit-Classification 发布时间：2026-06-09 原始链接：https://github.com/Tayyabah-Rehman/Simple-Neural-Network-Development-for-Digit-Classification

在深度学习发展中，激活函数选择对神经网络性能至关重要。早期常用Sigmoid，但深层网络中梯度消失问题突出；2011年ReLU引入改变局面，成为现代深度学习标准配置。

本项目以MNIST手写数字识别（70000张28x28像素图像）为基准任务，对比两种激活函数表现，不仅展示准确率差异，更揭示训练动态和梯度传播的本质区别。

Sigmoid函数

数学表达式：(\sigma(x) = \frac{1}{1 + e^{-x}})，映射到(0,1)区间，优势是输出可解释为概率、处处可导；缺陷为梯度消失（输入远离原点时导数趋近0，深层网络梯度指数衰减）、非零中心化（输出始终为正，影响收敛效率）。

ReLU函数

数学表达式：(f(x) = max(0, x))，分段线性设计；优势是计算高效（无指数运算）、缓解梯度消失（正输入梯度恒为1）、稀疏激活（负输入置零提升泛化）；局限性为负输入持续时神经元“死亡”，后续变体如Leaky ReLU可解决。

采用前馈神经网络架构：输入层接收784维扁平化图像像素，隐藏层非线性变换，输出层产生10类别概率分布。

实验核心为控制变量对比：保持网络结构、优化器、学习率、批量大小等超参数一致，仅改变隐藏层激活函数类型，确保性能差异源于激活函数本身。训练中记录损失曲线和验证集准确率。

1. 收敛速度：ReLU网络较少轮次达高准确率，因恒等梯度使误差有效反向传播；Sigmoid网络训练进展慢，需更多迭代收敛。
2. 梯度流动：Sigmoid深层网络梯度消失突出（每层导数最大0.25，多层叠加急剧衰减）；ReLU正区间单位梯度保证梯度稳定传播，使深层训练成为可能。
3. 最终性能：MNIST任务中两者均达高准确率，但ReLU以更少训练时间获同等或更好性能；复杂数据集/深层网络差距更大。

1. 默认选择ReLU：隐藏层优先使用ReLU，除非特殊需求；
2. 输出层例外：二分类用Sigmoid，多分类配合Softmax；
3. 调整学习率：ReLU恒等梯度导致参数更新幅度大，需适当降低学习率；
4. 处理死亡ReLU：若大量神经元失活，尝试Leaky ReLU或调整初始化策略。

对深度学习初学者，本项目是极佳入门案例：

• 直观理解激活函数对网络行为的影响；
• 掌握控制变量法实验设计思想；
• 建立梯度消失问题的感性认识；
• 理解ReLU成为主流的原因。

Jupyter Notebook格式便于逐步执行修改，鼓励尝试不同配置深化理解。

MNIST项目虽小，却揭示深度学习核心设计决策。ReLU普及源于对梯度传播问题的根本性解决。对希望深入理解神经网络机制的开发者，复现对比实验是无可替代的学习经历。