从零开始构建神经网络：纯NumPy实现深度学习基础

项目名称「Neural-Network-from-Scratch」由Muntasir-Contractor创建，仅使用Python原生NumPy库实现功能完备的多层感知机（MLP）神经网络，包含自动微分、前向传播、反向传播等核心组件。核心目标为教育性质，通过亲手实现每一个组件，帮助理解深度学习底层原理（自动微分、反向传播、梯度下降等数学本质与代码实现）。

在深度学习框架层出不穷的今天，从零开始构建神经网络仍是理解其底层原理的最佳方式。该项目旨在让开发者摆脱框架依赖，亲手处理每一个数学细节，深入掌握框架背后的核心概念，避免仅停留在调参层面。

项目采用模块化三层架构设计：

1. Value类：自动微分核心，存储标量数值、父节点（_children）、操作类型（_op）、梯度缓存（grad）及反向传播闭包（_backward），支持加法、乘法、幂运算、指数函数、tanh等操作的梯度计算。
2. 反向传播：通过拓扑排序算法确保梯度计算顺序，从输出节点逆序遍历拓扑列表，依次调用节点的_backward函数完成梯度链式传播。
3. Neuron与Layer：Neuron类封装权重（w）、偏置（b）及tanh激活函数；Layer类组合多个神经元处理批量输入，聚合层内参数。
4. MLP类：支持任意层数配置，包含前向传播、预测（predict）、训练循环（fit）等功能，训练流程为清零梯度→前向计算→损失计算→反向传播→参数更新。

• 纯NumPy优势：需亲手处理数学细节，理解梯度流、链式法则，提升调试能力（如逐层检查梯度定位收敛问题）。
• 激活函数选择：默认使用tanh（压缩输入至(-1,1)区间，零中心化，梯度消失问题较Sigmoid轻微），实现导数公式：d/dx tanh(x) = 1 - tanh²(x)。
• 训练示例：使用4个三维输入样本构建3→4→4→1网络结构（输入层3神经元，两隐藏层各4神经元，输出层1神经元），通过3000次迭代完成训练。

适用人群：

• 深度学习初学者：建立神经网络内部运作的直观理解，比直接调用框架API更深刻。
• 面试准备者：参考反向传播的推导与实现，应对技术面试考察。
• 研究人员：快速验证新想法，避免大型框架的复杂性束缚。
• 教育工作者：作为教学材料，帮助学生从数学公式过渡到可运行代码。

改进方向：

• 优化器：扩展Adam、RMSprop等自适应学习率算法。
• 正则化：添加L1/L2正则化、Dropout等防止过拟合技术。
• 批量训练：支持小批量（mini-batch）训练以提高效率。
• 激活函数：增加ReLU、Leaky ReLU、Swish等现代激活函数。
• 可视化工具：添加计算图可视化、损失曲线绘制功能。

「Neural-Network-from-Scratch」项目以精简代码展示神经网络本质：梯度下降、反向传播、自动微分等核心概念无需庞大框架支撑，几百行Python代码即可表达这些优雅的数学思想。对于希望真正理解深度学习而非仅调参的开发者，从零构建神经网络仍是不可替代的学习经历，该项目提供了清晰、完整的起点。