LLM工程全景：从训练到部署的开源工具链精选指南

本文介绍awesome-llm-training-inference项目，系统整理大语言模型训练与推理的开源工具集合，涵盖数据处理、分布式训练、模型量化、推理优化到生产部署的完整工具链，为LLM工程师提供一站式参考，解决工具组合难题。

LLM开发部署涉及数据清洗预处理、分布式训练、模型压缩、推理优化、生产部署等多复杂环节，工具众多但高效组合流水线是团队痛点。该项目由Joao1PNM维护，以awesome-list格式按功能分类工具，标签覆盖AI、分布式训练、HuggingFace等技术方向。

数据准备：含数据清洗去重（相似度去重、质量过滤、敏感内容处理）、格式优化（Apache Arrow/Parquet支持内存映射与流式读取）；分布式训练：数据并行（单卡模型副本）、模型并行（张量/流水线并行）、3D并行+DeepSpeed ZeRO优化（降低显存需求）。

模型压缩：训练后量化（GPTQ/AWQ/GGUF）、量化感知训练、知识蒸馏；推理引擎：vLLM（PagedAttention/连续批处理）、TensorRT-LLM（GPU深度优化）、llama.cpp（轻量CPU推理）；部署服务：Triton/BentoML/Cortex框架，支持在线/批量/流式推理模式。

HuggingFace是LLM领域事实标准，核心组件包括Transformers（统一模型接口）、Datasets（数据处理）、Accelerate（分布式简化）、PEFT（参数高效微调如LoRA）、TRL（RLHF训练支持）。

项目收录代表性工具：vLLM（高吞吐量推理）、DeepSpeed ZeRO（超大规模模型训练）、GPTQ（逐层量化）、llama.cpp（跨平台CPU推理）、TensorRT-LLM（NVIDIA GPU优化）等，覆盖各环节技术细节。

结论：项目为LLM工程师提供导航地图，助力技术决策与核心创新；建议：学习路径（基础→训练→优化→部署），社区贡献（提交工具、更新信息、补充教程），持续关注开源社区技术栈更新。