华中科技大学NLP课程开源实验项目，通过5个章节带领学习者从零实现Transformer核心组件，包含分词、注意力机制、现代模型架构和KV缓存压缩实战，适合希望深入理解大模型内部机制的学习者。

• 原作者/维护者：justairr
• 来源平台：github
• 原始标题：LLM-From-Scratch
• 原始链接：https://github.com/justairr/LLM-From-Scratch
• 来源发布时间/更新时间：2026-05-29T13:11:59Z

从零构建大语言模型：一个面向实践的深度学习实验教程\n\n大语言模型（LLM）如GPT、Claude等已经成为当今AI领域最热门的技术之一。然而，对于大多数开发者来说，这些模型仍然像"黑盒"一样神秘。华中科技大学计算机学院开源的这个实验项目，为希望深入理解Transformer内部机制的学习者提供了一条从理论到实践的完整路径。\n\n## 原作者与来源\n\n- 原作者/维护者: justairr\n- 来源平台: GitHub\n- 原始标题: LLM-From-Scratch\n- 原始链接: https://github.com/justairr/LLM-From-Scratch\n- 发布时间: 2026年5月29日\n\n## 项目概述与学习路径\n\n这个项目是一个完整的动手实验教程，通过Jupyter Notebook的形式，引导学习者一步步构建大语言模型的核心组件。项目设计遵循"由浅入深"的原则，从基础的数据处理开始，逐步深入到注意力机制、现代模型架构，最终完成一个约10万参数的MiniLLM模型。\n\n整个实验分为五个主要章节，每个章节都有明确的学习目标和实践任务：\n\n| 章节 | 主题 | 核心知识点 |\n|------|------|-----------|\n| Chapter 1 | 数据流转与分词 | 字符分词、滑动窗口、Token/位置编码 |\n| Chapter 2 | 注意力机制 | 缩放点积注意力、因果掩码、多头注意力 |\n| Chapter 3 | 现代大模型骨架 | RMSNorm、SwiGLU、残差连接、Pre-Norm |\n| Chapter 4 | 预训练逻辑 | Weight Tying、交叉熵损失、AdamW、梯度裁剪 |\n| Chapter 5 | KV缓存 | KV Cache的主要原理与实现 |\n\n## 第一章：数据流转与分词基础\n\n构建语言模型的第一步是理解如何将文本转换为模型可以处理的数字形式。这一章从最基础的字符级分词开始，介绍了Tokenization的核心概念。\n\n滑动窗口机制是处理序列数据的基础技术。通过设定固定的窗口大小，模型可以逐步"阅读"文本，学习语言的模式和规律。项目还介绍了位置编码（Positional Embedding）的重要性——由于Transformer本身不具备处理序列顺序的能力，必须通过位置编码来注入位置信息。\n\n## 第二章：注意力机制的实现\n\n注意力机制是Transformer架构的核心创新，也是大语言模型强大能力的来源。这一章深入讲解了三种关键的注意力实现：\n\n缩放点积注意力（Scaled Dot-Product Attention）：这是最基本的注意力计算方式，通过Query、Key、Value三个矩阵的交互，计算每个位置对其他位置的"关注程度"。缩放因子（除以√d_k）的作用是防止点积结果过大导致softmax梯度消失。\n\n因果掩码（Causal Masking）：在语言生成任务中，模型只能看到当前位置之前的内容。因果掩码通过将未来位置设为负无穷，确保模型不会"偷看"答案。\n\n多头注意力（Multi-Head Attention, MHA）：将注意力机制并行化，让模型在不同的"子空间"中关注不同的信息模式。这种设计大大增强了模型的表达能力。\n\n## 第三章：现代大模型架构组件\n\n随着大模型技术的发展，研究者们发现了一些关键的架构改进，这些改进显著提升了模型的训练稳定性和性能。这一章实现了现代大模型中常见的几个核心组件：\n\nRMSNorm（Root Mean Square Layer Normalization）：相比传统的LayerNorm，RMSNorm计算更简单，去除了均值中心化步骤，在保持效果的同时减少了计算开销。现代大模型如LLaMA都采用了这种归一化方式。\n\nSwiGLU激活函数：结合了Swish激活和门控线性单元（GLU）的优点，相比传统的ReLU或GELU，SwiGLU在语言建模任务上表现更好。\n\nPre-Norm架构：将归一化层放在残差连接之前，这种设计改善了梯度流动，使得训练更深的模型成为可能。\n\n残差连接（Residual Connection）：通过跳跃连接缓解梯度消失问题，是训练深度神经网络的关键技术。\n\n## 第四章：预训练与优化\n\n模型架构搭建完成后，需要进行预训练来学习语言知识。这一章涵盖了训练过程中的关键技术：\n\nWeight Tying（权重共享）：在语言模型中，输入嵌入层和输出投影层共享权重，这不仅减少了参数量，还提升了模型的泛化能力。\n\n交叉熵损失函数：语言建模的标准损失函数，衡量模型预测下一个词的概率分布与真实分布的差异。\n\nAdamW优化器：Adam的改进版本，将权重衰减（Weight Decay）与L2正则化解耦，在大模型训练中表现更稳定。\n\n梯度裁剪（Gradient Clipping）：防止梯度爆炸，确保训练过程的稳定性。\n\n## 第五章：KV缓存与推理优化\n\n在大模型推理过程中，一个关键的性能瓶颈是KV缓存（Key-Value Cache）的管理。每次生成新词时，模型需要访问之前所有词的Key和Value，这导致缓存随序列长度线性增长，最终可能耗尽显存。\n\n项目专门设计了一个KV Cache Arena实验模块，让学习者实现和测试不同的缓存压缩策略。学习者需要编写compress()函数，在有限的缓存预算下，决定保留哪些历史token，以最小化模型质量损失。\n\n评估指标采用困惑度（Perplexity）在WikiText-2测试集上计算。困惑度越低，说明压缩策略对模型性能的影响越小。\n\n项目提供了几种预置策略作为参考：\n- FIFO（保留最近）：简单直接，但可能丢失重要信息\n- 随机保留：均匀采样，避免偏见\n- 自定义启发式：根据位置、重要性等因素设计智能选择策略\n\n## 环境配置与实验流程\n\n项目的环境要求非常简洁，只需要PyTorch和ipykernel即可运行：\n\nbash\nconda create -n lfs python=3.10\nconda activate lfs\npip install torch --index-url https://download.pytorch.org/whl/cpu\npip install ipykernel\n\n\n实验采用"填空式"学习模式：Notebook中标注了[学生填空点]的代码块需要学习者自行实现，完成后可以通过末尾的验证函数检查正确性。这种设计既保证了学习的主动性，又提供了及时的反馈。\n\n## 实践价值与学习建议\n\n这个项目的价值在于它填补了"理论理解"与"工程实现"之间的鸿沟。很多学习者在阅读Transformer论文后，仍然对细节实现感到困惑。通过亲手编写每一个组件，可以建立起真正深入的理解。\n\n适合的学习者：\n- 有一定Python和深度学习基础\n- 希望深入理解Transformer内部机制\n- 准备从事大模型相关研究或开发\n\n学习建议：\n1. 不要急于复制答案，先尝试自己实现\n2. 理解每个设计选择背后的原因\n3. 在KV Cache实验中多尝试不同的策略\n4. 完成实验后，尝试修改超参数观察影响\n\n## 结语\n\n大语言模型的技术正在快速演进，但理解基础原理始终是掌握新技术的前提。这个开源项目为中文学习者提供了一个难得的实践机会，通过亲手构建一个MiniLLM，你将获得对现代AI系统更深刻的理解。正如项目作者所说："在完成本实验后，你应该对模型结构及KV Cache有相关了解"——这种从实践中获得的知识，远比单纯阅读论文更加扎实和持久。

原作者与来源

• 原作者/维护者：justairr
• 来源平台：github
• 原始标题：LLM-From-Scratch
• 原始链接：https://github.com/justairr/LLM-From-Scratch
• 来源发布时间/更新时间：2026-05-29T13:11:59Z 从零构建大语言模型：一个面向实践的深度学习实验教程\n\n大语言模型（LLM）如GPT、Claude等已经成为当今AI领域最热门的技术之一。然而，对于大多数开发者来说，这些模型仍然像"黑盒"一样神秘。华中科技大学计算机学院开源的这个实验项目，为希望深入理解Transformer内部机制的学习者提供了一条从理论到实践的完整路径。\n\n原作者与来源\n\n- 原作者/维护者: justairr\n- 来源平台: GitHub\n- 原始标题: LLM-From-Scratch\n- 原始链接: https://github.com/justairr/LLM-From-Scratch\n- 发布时间: 2026年5月29日\n\n项目概述与学习路径\n\n这个项目是一个完整的动手实验教程，通过Jupyter Notebook的形式，引导学习者一步步构建大语言模型的核心组件。项目设计遵循"由浅入深"的原则，从基础的数据处理开始，逐步深入到注意力机制、现代模型架构，最终完成一个约10万参数的MiniLLM模型。\n\n整个实验分为五个主要章节，每个章节都有明确的学习目标和实践任务：\n\n| 章节 | 主题 | 核心知识点 |\n|------|------|-----------|\n| Chapter 1 | 数据流转与分词 | 字符分词、滑动窗口、Token/位置编码 |\n| Chapter 2 | 注意力机制 | 缩放点积注意力、因果掩码、多头注意力 |\n| Chapter 3 | 现代大模型骨架 | RMSNorm、SwiGLU、残差连接、Pre-Norm |\n| Chapter 4 | 预训练逻辑 | Weight Tying、交叉熵损失、AdamW、梯度裁剪 |\n| Chapter 5 | KV缓存 | KV Cache的主要原理与实现 |\n\n第一章：数据流转与分词基础\n\n构建语言模型的第一步是理解如何将文本转换为模型可以处理的数字形式。这一章从最基础的字符级分词开始，介绍了Tokenization的核心概念。\n\n滑动窗口机制是处理序列数据的基础技术。通过设定固定的窗口大小，模型可以逐步"阅读"文本，学习语言的模式和规律。项目还介绍了位置编码（Positional Embedding）的重要性——由于Transformer本身不具备处理序列顺序的能力，必须通过位置编码来注入位置信息。\n\n第二章：注意力机制的实现\n\n注意力机制是Transformer架构的核心创新，也是大语言模型强大能力的来源。这一章深入讲解了三种关键的注意力实现：\n\n缩放点积注意力（Scaled Dot-Product Attention）：这是最基本的注意力计算方式，通过Query、Key、Value三个矩阵的交互，计算每个位置对其他位置的"关注程度"。缩放因子（除以√d_k）的作用是防止点积结果过大导致softmax梯度消失。\n\n因果掩码（Causal Masking）：在语言生成任务中，模型只能看到当前位置之前的内容。因果掩码通过将未来位置设为负无穷，确保模型不会"偷看"答案。\n\n多头注意力（Multi-Head Attention, MHA）：将注意力机制并行化，让模型在不同的"子空间"中关注不同的信息模式。这种设计大大增强了模型的表达能力。\n\n第三章：现代大模型架构组件\n\n随着大模型技术的发展，研究者们发现了一些关键的架构改进，这些改进显著提升了模型的训练稳定性和性能。这一章实现了现代大模型中常见的几个核心组件：\n\nRMSNorm（Root Mean Square Layer Normalization）：相比传统的LayerNorm，RMSNorm计算更简单，去除了均值中心化步骤，在保持效果的同时减少了计算开销。现代大模型如LLaMA都采用了这种归一化方式。\n\nSwiGLU激活函数：结合了Swish激活和门控线性单元（GLU）的优点，相比传统的ReLU或GELU，SwiGLU在语言建模任务上表现更好。\n\nPre-Norm架构：将归一化层放在残差连接之前，这种设计改善了梯度流动，使得训练更深的模型成为可能。\n\n残差连接（Residual Connection）：通过跳跃连接缓解梯度消失问题，是训练深度神经网络的关键技术。\n\n第四章：预训练与优化\n\n模型架构搭建完成后，需要进行预训练来学习语言知识。这一章涵盖了训练过程中的关键技术：\n\nWeight Tying（权重共享）：在语言模型中，输入嵌入层和输出投影层共享权重，这不仅减少了参数量，还提升了模型的泛化能力。\n\n交叉熵损失函数：语言建模的标准损失函数，衡量模型预测下一个词的概率分布与真实分布的差异。\n\nAdamW优化器：Adam的改进版本，将权重衰减（Weight Decay）与L2正则化解耦，在大模型训练中表现更稳定。\n\n梯度裁剪（Gradient Clipping）：防止梯度爆炸，确保训练过程的稳定性。\n\n第五章：KV缓存与推理优化\n\n在大模型推理过程中，一个关键的性能瓶颈是KV缓存（Key-Value Cache）的管理。每次生成新词时，模型需要访问之前所有词的Key和Value，这导致缓存随序列长度线性增长，最终可能耗尽显存。\n\n项目专门设计了一个KV Cache Arena实验模块，让学习者实现和测试不同的缓存压缩策略。学习者需要编写compress()函数，在有限的缓存预算下，决定保留哪些历史token，以最小化模型质量损失。\n\n评估指标采用困惑度（Perplexity）在WikiText-2测试集上计算。困惑度越低，说明压缩策略对模型性能的影响越小。\n\n项目提供了几种预置策略作为参考：\n- FIFO（保留最近）：简单直接，但可能丢失重要信息\n- 随机保留：均匀采样，避免偏见\n- 自定义启发式：根据位置、重要性等因素设计智能选择策略\n\n环境配置与实验流程\n\n项目的环境要求非常简洁，只需要PyTorch和ipykernel即可运行：\n\nbash\nconda create -n lfs python=3.10\nconda activate lfs\npip install torch --index-url https://download.pytorch.org/whl/cpu\npip install ipykernel\n\n\n实验采用"填空式"学习模式：Notebook中标注了[学生填空点]的代码块需要学习者自行实现，完成后可以通过末尾的验证函数检查正确性。这种设计既保证了学习的主动性，又提供了及时的反馈。\n\n实践价值与学习建议\n\n这个项目的价值在于它填补了"理论理解"与"工程实现"之间的鸿沟。很多学习者在阅读Transformer论文后，仍然对细节实现感到困惑。通过亲手编写每一个组件，可以建立起真正深入的理解。\n\n适合的学习者：\n- 有一定Python和深度学习基础\n- 希望深入理解Transformer内部机制\n- 准备从事大模型相关研究或开发\n\n学习建议：\n1. 不要急于复制答案，先尝试自己实现\n2. 理解每个设计选择背后的原因\n3. 在KV Cache实验中多尝试不同的策略\n4. 完成实验后，尝试修改超参数观察影响\n\n结语\n\n大语言模型的技术正在快速演进，但理解基础原理始终是掌握新技术的前提。这个开源项目为中文学习者提供了一个难得的实践机会，通过亲手构建一个MiniLLM，你将获得对现代AI系统更深刻的理解。正如项目作者所说："在完成本实验后，你应该对模型结构及KV Cache有相关了解"——这种从实践中获得的知识，远比单纯阅读论文更加扎实和持久。