从零开始构建深度学习：一位学习者的微梯度引擎实现之旅

跨学科学习者cedric-kopp通过复现Andrej Karpathy的"Neural Networks: Zero to Hero"系列，从零开始构建标量值自动微分引擎和多层感知机，深入理解神经网络与反向传播的底层原理。项目记录了完整学习过程（含中间步骤、错误尝试），并通过PyTorch交叉验证确保实现正确性。

作者来自定量分析/审计背景，攻读分析与人工智能硕士学位，注重基础原理的透彻理解而非仅API调用。项目核心目标是建立对神经网络和反向传播底层工作机制的深刻理解，作为学习日志保留中间步骤、错误尝试与死胡同，展示真实推理过程。

通过Jupyter笔记本实现标量自动微分引擎与多层感知机，关键技术点包括：

1. Value类：存储标量值、操作、前驱节点及梯度，构建计算图；
2. 操作反向传播：手动实现加法、乘法等操作的梯度计算逻辑；
3. 拓扑排序：确保梯度按正确顺序从输出向输入传播；
4. 梯度累积修复：解决节点多次使用时梯度覆盖问题；
5. 完整训练循环：实现前向传播、损失计算、反向传播与参数更新。

采用严谨学习方法：

• 费曼学习法：用自己语言注释推导过程、错误原因；
• PyTorch交叉验证：对比结果验证实现正确性，理解工业框架设计；
• 保留学习痕迹：刻意保留中间步骤与错误，帮助其他学习者。

项目定位为Karpathy教育材料的复现（非原创，学术诚实）；技术栈选用Python基础科学计算栈，优点：最小依赖（无需GPU）、透明性（无黑盒操作）、可移植性强。

未来计划完成makemore项目和GPT笔记本，长远兴趣在机械可解释性与模型对齐；对学习者启示：

• 基础原理是长期发展基石；
• 记录学习过程助于复盘与他人；
• 跨学科视角丰富领域多样性。

动手实现是跨越API调用与原理理解鸿沟的关键，该项目为深入理解神经网络底层机制提供了有价值的学习路径。最好的学习方式是亲手实现已理解的概念，通过细节问题检验理解深度。