从零构建轻量级LLM推理引擎：深入理解vLLM内部机制

vllmini是从零构建的轻量级LLM推理引擎，旨在帮助开发者深入理解高性能模型服务（如vLLM）的内部工作原理。它并非替代vLLM，而是通过让开发者亲手实现每一个组件，掌握从模型加载到文本生成的完整流程，提供可理解、可修改的LLM推理学习入口。

vLLM作为业界标杆，其PagedAttention技术革新了GPU内存管理，但代码库庞大复杂，多数开发者难以深入理解核心机制。vllmini项目应运而生，目标是通过轻量级实现帮助开发者真正掌握高性能LLM服务的内部原理。

vllmini采用分层架构，拆解为三大模块：

1. 核心引擎层：生成器（yield-based流式输出）、无状态采样器（支持多种策略）、采样参数类（按请求配置策略）；
2. 模型层：CausalLM抽象基类（统一前向接口）、注意力机制（含FlashAttention优化）、Llama/Qwen3模型实现、权重加载工具；
3. 工具层：CLI聊天循环（多轮对话/流式输出）、性能测试框架（测量TTFT/ITL/tok/s/VRAM）。

1. 无状态采样器：不维护序列状态，支持多请求共享、独立测试，17个单元测试验证正确性；
2. 流式生成：通过Python生成器yield实时返回token，提升交互体验与吞吐量；
3. 模型模块化：基于抽象基类实现插件化扩展，新增模型仅需实现接口、解析配置、映射权重。

• 性能指标：benchmark.py支持测量首token时间（TTFT）、token间延迟（ITL）、每秒生成token数（tok/s）、显存占用（VRAM）；
• 测试覆盖：共39个单元测试（17个采样器测试+22个主程序测试），覆盖核心功能边界；
• 质量保障：CI工作流确保每次提交的代码质量。

vllmini的核心价值在于教育意义：开发者可通过它理解LLM推理完整流程、掌握高性能推理关键技术（注意力优化/采样策略/流式生成）、学习现代Python工程实践（类型提示/单元测试/CI/CD）。它证明了"重新造轮子"的价值，为深入LLM推理领域提供了轻量级、可理解的起点。