从零手搓大模型：23个Notebook构建现代LLM全栈认知

一份不调用现成库、从零手写实现大模型核心组件的实战教程，涵盖Tokenizer、Attention、MoE、RLHF到推理加速的完整技术栈，适合希望深入理解而非仅会调用的学习者。项目通过23个Jupyter Notebook，帮助学习者建立对现代LLM的全栈认知。

当前大语言模型学习资源存在两类不足：一类是高屋建瓴的论文综述，懂原理但写不出代码；另一类是调用API的教程，快速跑通但黑盒感严重。walkinglabs/modern-llm-notebook项目填补空白，要求用PyTorch从零手写核心组件，强迫学习者与张量操作、梯度流动打交道，建立深度理解。

项目分为五个递进模块：

1. 基础构建（Notebook 01-05）：实现Tokenizer、位置编码、Multi-Head Attention、Mini-GPT骨架；
2. 训练技术（06-14）：架构优化（LLaMA改进、MoE）、训练流程、数据工程、LoRA、RLHF；
3. 推理加速（15-17）：生成策略、KV Cache、FlashAttention、投机解码；
4. 前沿探索（18-20）：长上下文扩展、思维链、VLM；
5. 生产实践（21-23）：评测体系、知识蒸馏、策略蒸馏。每个Notebook遵循“直觉理解→手算验证→代码实现→实验观察”循环。

项目核心算法与原始论文紧密关联：

论文	Notebook	实现内容
Attention Is All You Need	04	Multi-Head Attention、Sinusoidal PE
LLaMA	06	RMSNorm、SwiGLU、RoPE
LoRA	12	低秩适应、A*B分解
RLHF/PPO	14	Reward Model、PPO clip
这种设计让学习者读完论文即可看到可运行代码，加深理解。

项目要求Python3.9+、PyTorch2.0+、16GB内存，大部分Notebook可CPU运行，训练建议GPU。Notebook模块化，可按需跳转：

• 有Transformer基础可跳MoE或推理加速；
• 关注部署看生产实践；
• 补全知识图谱按顺序完成。还提供React+Vite网页阅读器提升体验。

对比nanogpt等教程，该项目的独特性在于完整性（覆盖从Tokenizer到策略蒸馏全栈）和前沿性（包含2024-2025最新进展如投机解码、VLM）。适合研究者、工程师和学生深入理解大模型内部机制，手写实现建立的深度理解是调用API无法比拟的。