从零构建神经网络：基于Micrograd的深度学习入门实践

本项目由rishit836维护，发布于2026年6月14日的GitHub平台（项目链接：https://github.com/rishit836/neural-network-from-scratch）。它是一个面向学习的神经网络工具包，通过从零实现自动微分引擎和多层感知机，帮助初学者深入理解深度学习底层原理（如反向传播、梯度下降），而非仅停留在API调用层面。项目核心组件包括自动微分引擎、神经网络层抽象、训练脚本及可视化工具，旨在填补开发者对底层原理理解的空白。

当前深度学习领域中，多数开发者依赖PyTorch、TensorFlow等框架的高级API提升效率，但对神经网络底层工作原理缺乏深入认知。本项目定位为学习实验工具（非生产级解决方案），其“从零开始”的理念让学习者通过亲手实现核心组件，掌握反向传播、梯度下降等概念的数学本质，这对后续模型优化、调试及新架构设计至关重要。

项目采用模块化结构，核心组件包括自动微分引擎、神经网络层抽象、训练脚本和可视化工具。自动微分引擎是基石，采用类似Micrograd的设计风格：Value类封装标量值与梯度信息，支持加法、乘法等基本运算，并记录计算图结构，以便反向传播时自动应用链式法则求梯度。该设计虽效率不及张量实现，但直观易懂，适合学习。

基于自动微分引擎，项目实现了完整的神经网络组件：Neuron类（含权重、偏置和激活函数）、Layer类（由多个神经元组成，处理层前向传播）、MLP类（串联多层形成完整感知机）。默认架构为输入层后接两个64维隐藏层，最终输出10分类结果，结构简单但能演示神经网络基本工作原理。

训练脚本涵盖数据加载、前向传播、损失计算、反向传播及参数更新全流程。使用简单梯度下降优化器，学习率0.01，默认训练5轮。为保证可复现性，设置固定随机种子。训练中会打印每个样本损失及每轮聚合损失，但当前损失计算方式存在改进空间。

项目存在以下问题：损失计算使用整数标签而非独热编码，缺乏稳定的softmax激活与交叉熵损失实现。改进建议包括：改用独热编码标签计算损失、实现稳定的softmax+交叉熵组合、添加可配置学习率、引入训练/验证集划分及准确率报告。这些改进能提升训练质量，也帮助学习者深入理解分类问题本质。

短期目标：将标量运算优化为张量运算，利用NumPy向量化计算提升效率（需保持代码可读性）。长期目标：在优化后的微分库基础上，参考resources文件夹中的研究论文，实现更多类型的神经网络架构。这种渐进式路径适合深度学习初学者深入学习。