从零构建大语言模型：一本开源书籍的完整代码实现

milistu维护的LLMs-from-scratch项目是《Build a Large Language Model (From Scratch)》书籍的官方配套代码仓库，发布于GitHub（链接：https://github.com/milistu/LLMs-from-scratch），许可证为Apache License 2.0。该项目涵盖数据加载、词嵌入、位置编码等核心概念，帮助开发者从零理解GPT类模型的内部机制。

随着ChatGPT、Claude等大语言模型的爆发式普及，开发者希望深入了解模型工作原理，但多数教程要么停留在API调用层面，要么直接跳入复杂论文实现，缺乏循序渐进的完整学习路径。本项目旨在填补这一空白，通过逐步构建方式帮助读者理解GPT类模型各组件的工作原理。

项目采用Python 3.13+及现代技术栈：PyTorch（>=2.12.0）用于模型构建与训练，tiktoken（>=0.13.0）作为分词器，NumPy（>=2.4.6）做数值计算，Jupyter（>=1.1.1）提供交互式环境。代码按书籍章节组织，目前公开第二章的完整实现。

1. 数据加载：输入序列向右偏移一位作为目标，配合因果掩码确保模型仅基于已见词预测；2. 滑动窗口与步幅：通过调整步幅平衡训练效率与数据覆盖度；3. 词嵌入：可学习的查找表，参数随模型端到端优化；4. 位置编码：含GPT采用的可学习绝对位置编码，及具备长度泛化能力的相对位置编码（概念介绍）。

第二章代码包含：ch02.ipynb（概念讲解+代码演示）、dataloader.py（滑动窗口采样逻辑）、exercise-solutions.ipynb（练习题解答）、notes.md（核心知识点）、the-verdict.txt（示例数据）。适用人群：想深入Transformer的开发者、有Python基础的ML初学者、教育工作者、研究者。项目允许自由使用、修改和分发。

本项目为开发者提供了理解大语言模型的清晰学习路径，帮助掌握工具使用及设计决策背后的原理。未来将更新预训练、微调、推理优化等高级主题，是值得关注和参与的开源项目。