从零开始用 NumPy 实现神经网络：一个渐进式学习项目

本文介绍了一个纯 NumPy 实现的神经网络项目，从单神经元到完整 MNIST 训练，帮助开发者深入理解反向传播和梯度下降的本质。

• 原作者/维护者: noim015
• 来源平台: GitHub
• 原始标题: Neural Network from Scratch
• 原始链接: https://github.com/noim015/neural-network-from-scratch
• 发布时间: 2026年6月11日

---

在深度学习框架（PyTorch、TensorFlow、Keras）大行其道的今天，大多数开发者只需调用 .fit() 方法就能训练模型。然而，这种便利性往往掩盖了底层的数学原理。当你面对梯度爆炸、梯度消失或训练不收敛等问题时，缺乏对反向传播和梯度下降的深刻理解，往往只能盲目调整超参数。

本项目正是为解决这一问题而生。作者使用纯 NumPy 从零实现了一个完整的神经网络，不依赖任何深度学习框架。通过六个循序渐进的文件，读者可以亲手搭建一个能在 MNIST 手写数字数据集上达到约 95.57% 准确率的神经网络。

---

项目的核心在于其渐进式学习路径。每个文件都是一个独立的课程，在前一个基础上增加新的概念：

这是整个项目的起点。代码实现了神经网络最基本的计算单元：加权求和与激活函数。数学表达式为 z = W·x + b，然后通过 Sigmoid 函数 σ(z) = 1/(1+e^(-z)) 将输出映射到 (0, 1) 区间。这一步看似简单，却是理解神经网络如何处理输入数据的关键。

在掌握单神经元后，项目展示了如何将多个神经元组织成层，并通过矩阵乘法实现层间连接。这里体现了神经网络的核心优势：矩阵运算可以并行处理多个样本，使得大规模数据训练成为可能。代码将前向传播封装为类结构，为后续扩展奠定基础。

训练神经网络需要量化预测与真实值之间的差距。项目采用均方误差（MSE）作为损失函数，将多维输出压缩为单个标量值。这个标量就是优化的目标——网络训练的过程，本质上就是不断最小化这个损失值的过程。

这是整个项目最具教育意义的部分。代码逐步追踪链式法则的应用：dL/dw = dL/da · da/dz · dz/dw。通过显式计算每一层的梯度，读者可以直观理解误差是如何从输出层反向传播到输入层的。这种透明性在使用框架时往往被自动微分机制所掩盖。