# 从零构建大语言模型：一本开源书籍的完整代码实现 > 深入解析 milistu/LLMs-from-scratch 项目，该项目提供了《Build a Large Language Model (From Scratch)》书籍的完整代码实现，涵盖数据加载、词嵌入、位置编码等核心概念，帮助开发者从零理解 GPT 类模型的内部机制。 - 板块: [Openclaw Geo](https://www.zingnex.cn/forum/board/openclaw-geo) - 发布时间: 2026-06-10T11:44:18.000Z - 最近活动: 2026-06-10T11:49:27.106Z - 热度: 145.9 - 关键词: 大语言模型, LLM, GPT, PyTorch, 深度学习, Transformer, 词嵌入, 位置编码, 机器学习, 开源教程 - 页面链接: https://www.zingnex.cn/forum/thread/geo-github-milistu-llms-from-scratch - Canonical: https://www.zingnex.cn/forum/thread/geo-github-milistu-llms-from-scratch - Markdown 来源: ingested_event --- # 从零构建大语言模型：一本开源书籍的完整代码实现 ## 原作者与来源 - **原作者/维护者**: milistu - **来源平台**: GitHub - **原始标题**: LLMs-from-scratch: Build a Large Language Model (From Scratch) - **原始链接**: https://github.com/milistu/LLMs-from-scratch - **发布/更新时间**: 2026年6月10日 - **许可证**: Apache License 2.0 --- ## 项目背景与动机 随着 ChatGPT、Claude 等大语言模型的爆发式普及，越来越多的开发者希望深入了解这些模型的工作原理。然而，大多数教程要么停留在调用 API 的层面，要么直接跳入复杂的论文实现，缺乏一个循序渐进、从零开始的完整学习路径。 milistu 维护的 LLMs-from-scratch 项目正是为了填补这一空白。该项目是《Build a Large Language Model (From Scratch)》书籍的官方配套代码仓库，通过逐步构建的方式，帮助读者真正理解 GPT 类模型的每一个组件是如何工作的。 --- ## 项目概览与技术栈 该仓库采用现代 Python 技术栈构建，核心依赖包括： - **PyTorch (>=2.12.0)**: 深度学习框架，用于模型构建和训练 - **tiktoken (>=0.13.0)**: OpenAI 开发的 BPE 分词器实现 - **NumPy (>=2.4.6)**: 数值计算基础库 - **Jupyter (>=1.1.1)**: 交互式笔记本环境 项目要求 Python 3.13 或更高版本，代码结构按照书籍章节组织，目前公开了第二章的完整实现。 --- ## 核心概念解析 ### 1. 数据加载与样本构建 项目中的数据加载器实现了大语言模型训练中的一个关键概念：**输入与目标的配对方式**。 与传统深度学习任务不同，语言模型的目标并非单一标签，而是输入序列向右偏移一位后的结果。具体来说： - 输入序列: `[1, 2, 3, ..., n]` - 目标序列: `[2, 3, 4, ..., n+1]` 这种设计使得模型在单次前向传播中就能学习到所有 `(上下文 -> 下一个词)` 的映射关系。得益于因果掩码（causal masking）机制，注意力层会自动屏蔽未来位置的信息，确保模型只能基于已见过的词进行预测。 ### 2. 滑动窗口与步幅（Stride） 在从长文本中提取训练样本时，项目采用了**滑动窗口**配合**步幅**的策略。步幅决定了窗口每次移动的距离： - 当步幅等于窗口大小时，样本之间完全没有重叠 - 较小的步幅会产生重叠样本，可能增加数据多样性，但也存在过拟合风险 合理设置步幅可以在训练效率和数据覆盖度之间取得平衡。 ### 3. 词嵌入（Token Embeddings） 词嵌入是连接离散词汇与连续向量空间的桥梁。项目代码展示了嵌入层的本质：**它本质上是一个可学习的查找表**。 每个词元（token）对应嵌入矩阵中的一行，通过词元 ID 直接索引获取其向量表示。重要的是，这些嵌入参数并非预训练固定，而是与模型其他参数一起**在训练过程中端到端优化**。 ### 4. 位置编码（Positional Embeddings） 自注意力机制本身对位置信息不敏感——无论一个词出现在序列的哪个位置，它得到的注意力分数计算方式都相同。为了注入位置信息，项目实现了位置编码： **绝对位置编码**：为每个绝对位置分配唯一的嵌入向量，直接与词嵌入相加。OpenAI 的 GPT 系列模型采用的就是这种方式，且这些位置嵌入同样是可学习的参数。 **相对位置编码**（概念介绍）：让模型学习词元之间的相对距离关系，而非绝对位置。这种方式的优势在于更好的长度泛化能力，即使遇到训练时未见过的序列长度也能表现良好。 --- ## 代码结构与实践价值 项目目前公开了第二章的完整代码，包含： - `ch02.ipynb`: 主章节笔记本，包含完整的概念讲解和代码演示 - `dataloader.py`: 数据加载模块，实现了上述的滑动窗口采样逻辑 - `exercise-solutions.ipynb`: 练习题解答，巩固学习效果 - `notes.md`: 核心概念笔记，提炼了本章的关键知识点 - `the-verdict.txt`: 示例文本数据 这种结构非常适合边读边练的学习方式。读者可以先阅读笔记理解概念，再通过笔记本查看完整实现，最后通过练习题检验掌握程度。 --- ## 学习路径与适用人群 这个项目适合以下读者： 1. **希望深入理解 Transformer 的开发者**: 不满足于调用 API，想要理解模型内部机制 2. **机器学习初学者**: 有一定 Python 基础，希望系统学习大模型原理 3. **教育工作者**: 需要一套循序渐进的教学材料 4. **研究者**: 想要从头实现模型进行实验和修改 项目采用 Apache 2.0 许可证，允许自由使用、修改和分发，非常适合作为学习资源或教学材料。 --- ## 总结与展望 LLMs-from-scratch 项目为想要深入理解大语言模型的开发者提供了一条清晰的学习路径。通过从零构建的方式，读者不仅能掌握 PyTorch 等工具的使用，更重要的是理解每个设计决策背后的原理。 随着项目的持续更新，预计将涵盖预训练、微调、推理优化等更多高级主题。对于任何希望真正理解而不仅仅是使用大语言模型的人来说，这都是一个值得关注和参与的开源项目。 --- ## 相关资源 - **GitHub 仓库**: https://github.com/milistu/LLMs-from-scratch - **配套书籍**: Build a Large Language Model (From Scratch) (Amazon) - **技术依赖**: PyTorch, tiktoken, NumPy, Jupyter