nn-timeline：神经网络架构演进的时间线探索

nn-timeline项目由surafelml维护，发布于GitHub（2026年6月9日），通过可视化方式呈现从感知机到Transformer的神经网络架构历史演进，帮助研究者和学习者理解深度学习发展脉络，填补知识分散的空白，并探讨其教育价值、技术演进动力及未来方向。

深度学习领域发展迅速，从2012年AlexNet在ImageNet竞赛的突破性表现，到2017年Transformer架构提出，再到千亿参数大模型，经历多次范式转变。新入行研究者需理解演进脉络以把握趋势，但相关知识分散在论文、博客和课程中，缺乏系统性梳理。nn-timeline项目旨在通过可视化填补这一空白，帮助建立整体认知。

感知机时代（1950s-1960s）

神经网络始于1943年McCulloch和Pitts的神经元数学模型，1958年Rosenblatt提出感知机，奠定学习理论基础。

多层感知机与反向传播（1980s）

1986年反向传播算法推广，使MLP训练成为可能；1989年LeNet在手写数字识别成功。

蛰伏期（1990s-2000s）

SVM等浅层方法主导，RBM、DBN等积累技术基础。

复兴期（2012-2014）

2012年AlexNet获胜；2014年VGGNet、GoogLeNet，2015年ResNet解决梯度消失问题。

序列建模演进

RNN/LSTM/GRU主导序列任务，注意力机制改善长程依赖，2017年Transformer摒弃循环结构。

Transformer时代（2017至今）

BERT、GPT、ViT、多模态模型（CLIP/DALL-E）、AlphaFold2等跨领域应用。

nn-timeline帮助建立全局视野，理解技术选择的演化逻辑；识别技术发展模式（硬件推动算法、简单想法的深远影响）；启发创新，避免重复造轮子；连接社区，促进知识传承。

动力：计算能力（GPU/TPU/分布式框架）、数据规模（ImageNet等）、开源文化（TensorFlow/PyTorch等）。 阻力：可解释性挑战、资源不平等、伦理考量（滥用风险与社会影响）。

前沿方向包括效率优化（稀疏注意力、模型压缩、神经架构搜索）、多模态统一、神经符号结合、持续学习。nn-timeline提醒我们，理解演进过程是成为优秀AI研究者的重要一课。