从零手写大语言模型核心模块：面向面试与底层理解的完整实现指南

本项目《llm-core-from-scratch》由XUHIT维护，发布于GitHub（链接：https://github.com/XUHIT/llm-core-from-scratch），是系统化的LLM核心组件手写教程。通过NumPy和PyTorch双实现方式，逐模块讲解35个核心模块，涵盖从基础线性层到完整推理训练闭环，帮助开发者建立底层机制认知，适用于面试准备、技术研究与教育场景。

当前多数开发者依赖PyTorch或Hugging Face现成接口，但缺乏对LLM底层机制的透彻理解。本项目旨在提供系统化学习路径，通过手写实现核心模块，帮助建立从理论到实践的完整认知。

双轨实现：每个模块同时提供NumPy手写实现（看清计算细节、张量形状变化）和PyTorch对照实现（验证正确性）。 三层架构：

1. P0基础组件：纯NumPy实现，含张量操作、线性层、激活函数等基础模块；
2. P1 LLM核心层：NumPy与PyTorch并重，覆盖注意力机制、位置编码、前馈网络等核心模块；
3. P2推理与训练闭环：以PyTorch为主，包含KV Cache、采样策略、优化器等工程化模块。

项目采用"小数字、可读样例"验证哲学，通过合成张量、固定随机种子、形状断言确保实现正确性。每个模块结构统一：README（公式推导+shape说明）、numpy_impl.py、torch_impl.py。此外提供scratchpad练习区，支持复制模板手写实现并快速验证。

对面试者：提供手撕LLM模块的高频考点题库； 对研究者/工程师：NumPy实现提供"白盒"视角，透明化框架内部计算； 对教育者：分层设计适合渐进式教学，帮助学生建立直觉与工程实践能力。

本项目代表返璞归真的学习态度，手写底层实现是建立技术深度的必经之路。现有35个模块覆盖完整路径，随着LLM技术发展，这种底层理解训练将更显珍贵。