从零开始实现N层神经网络：NumPy纯手写完整教程

本文介绍一个仅使用NumPy从零构建完整N层神经网络的开源项目，涵盖权重初始化、前向传播、Leaky ReLU激活、Softmax输出、交叉熵损失、反向传播和梯度下降等核心组件的实现细节。

• 原作者/维护者: rano667
• 来源平台: GitHub
• 原始标题: N-Layered-Neural-Network-Scratch
• 原始链接: https://github.com/rano667/N-Layered-Neural-Network-Scratch
• 发布时间: 2026年6月15日

现代深度学习开发者往往习惯于调用高级API，如torch.nn.Linear或tf.keras.layers.Dense，却很少思考这些封装背后究竟发生了什么。这种"黑盒"式的使用方式虽然提高了开发效率，但也导致许多从业者对神经网络的数学基础和计算流程缺乏直观理解。

本项目采用最精简的依赖——仅需NumPy和Pandas——完整实现了一个N层神经网络的所有核心组件。通过亲手编写每一行代码，开发者可以深入理解矩阵运算、梯度流动、参数更新等关键概念。

项目实现了一个经典的多层前馈神经网络，其架构如下：

输入层 (2个神经元)
    ↓
隐藏层 (2个神经元)
    ↓
Leaky ReLU激活函数
    ↓
输出层 (3个神经元)
    ↓
Softmax激活函数

为了便于理解和验证，项目采用了一个简单的水果分类场景：

• 甜度 (Sweetness)
• 大小 (Size)

网络需要区分三种水果：

• 苹果 (Apple)
• 香蕉 (Banana)
• 橙子 (Orange)

这种简化的设计使得网络结构清晰，同时保留了深度学习的完整流程，非常适合作为入门教学案例。

np.random.seed(42)
W1 = np.random.randn(2, 2) * 0.01
b1 = np.zeros((1, 2))
W2 = np.random.randn(2, 3) * 0.01
b2 = np.zeros((1, 3))

权重初始化采用标准正态分布乘以一个小系数(0.01)，这是为了防止初始权重过大导致激活值饱和，影响梯度传播。偏置项初始化为零是常见做法，不会破坏对称性，因为每个神经元接收的输入不同。

前向传播是神经网络计算预测输出的过程。对于每一层，计算流程为：

Z = X · W + b
A = activation(Z)

其中X是输入或前一层的激活值，W是权重矩阵，b是偏置向量，activation是激活函数。