从零开始构建神经网络：用纯NumPy理解深度学习的数学本质

JimWid/Neural_Networks项目旨在通过纯NumPy从零实现神经网络核心组件，帮助学习者深入理解前向传播、反向传播和各类层机制的数学原理。该项目填补了现代框架（如PyTorch/TensorFlow）便利性与底层理解缺失的空白，采用NumPy底层实现与PyTorch高层封装的双轨策略，专注教育价值而非生产性能优化。

PyTorch和TensorFlow等工具让搭建复杂神经网络模型变得轻松，但这种便利性也导致许多学习者对模型背后的数学原理和计算过程缺乏直观理解。本项目不追求生产级性能优化，而是通过清晰的代码结构和详尽注释，帮助学习者建立对神经网络工作机制的深刻理解。

项目采用双轨并行架构：

1. NumPy实现（numpy_nn模块）：核心教育内容，包含从基础层到高级组件的完整实现，显式展示矩阵运算、梯度计算等底层细节；
2. PyTorch实现（pytorch_nn模块）：展示现代框架的高层封装，对比两种实现可清晰看到框架隐藏的底层细节。 这种方法让学习者既获得底层深度理解，又掌握工程最佳实践。

基础层实现

• 全连接层（Dense）：前向传播为output = W·input + b，反向传播显式计算权重梯度并更新参数，采用He初始化缓解梯度消失。

激活函数

实现Tanh、Sigmoid、ReLU、Softmax及Batch Normalization，包含前向计算与导数计算，如ReLU反向传播时负值区域梯度为零。

损失函数

实现MSE、二元交叉熵、分类交叉熵，展示公式与导数计算，如分类交叉熵导数为y_pred - y_true。

卷积层

使用SciPy实现二维卷积的前向（互相关运算）与反向传播（核梯度、输入梯度计算），支持填充与He初始化。

训练流程

封装训练（小批量梯度下降）、测试（准确率计算）及模型保存/加载功能。

PyTorch版本代码更简洁，框架自动处理梯度计算（error.backward()）与参数更新（optimizer.step()）。此外包含验证阶段准确率计算，通过torch.no_grad()禁用梯度计算以节省资源，是生产级训练流程的标准做法。

学习价值

• 搭建数学与代码的桥梁，展示公式到代码的精确映射；
• 直观理解反向传播中梯度流动过程；
• 深入理解框架底层细节，助力调试与优化；
• 模块化设计便于扩展新组件。

适用人群

深度学习初学者、算法面试准备者、研究人员、教育者。

本项目是难得的教育资源，让学习者窥见神经网络内部运作机制。建议学习路径：先理解NumPy版本实现，再对比PyTorch版本，最后尝试在NumPy框架中添加新组件或优化现有实现。真正的理解来自亲手构建，而非仅调用现成工具。