TokenSpeed：面向未来的极速大模型推理引擎

TokenSpeed是由LightSeek团队开发的LLM推理引擎，定位为"speed-of-light LLM inference engine"（光速级大模型推理引擎），目前处于预览阶段。其核心目标是在NVIDIA B200等新一代硬件上实现极速推理，复现Kimi K2.5模型的推理性能，并展示TokenSpeed MLA等优化技术的效果。该版本不建议用于生产环境，主要用于展示新一代运行时设计和技术方向，为研究者和开发者提供参考实现。

在大语言模型技术飞速发展的今天，推理效率已成为制约AI应用落地的关键瓶颈。随着模型规模不断扩大，如何在保证输出质量的同时实现极速推理，成为业界关注的核心问题。TokenSpeed项目正是为突破传统推理框架的性能限制而应运而生。

TokenSpeed的设计围绕极致推理速度、新硬件充分利用、灵活模型支持三大目标。核心功能包括：

1. 模型覆盖扩展：集成Qwen 3.6、DeepSeek V4、MiniMax M2.7等主流模型，支持中文和国际化模型；
2. 运行时功能增强：开发推测解码（PD）、专家并行负载均衡（EPLB）、KV存储优化、Mamba缓存机制、VLM支持及性能监控；
3. 平台优化：针对Hopper架构（H100/H200）和AMD MI350进行专门优化。

TokenSpeed的核心卖点在于对新硬件的深度优化。在NVIDIA B200（Blackwell架构旗舰产品）上展示了令人瞩目的性能，其设计旨在充分榨取该硬件的内存带宽和计算能力。项目目标复现Kimi K2.5（月之暗面开发的大型多模态模型，以超长上下文窗口和强推理能力著称）在B200上的推理性能，证明了其架构的前瞻性和优化深度。

TokenSpeed提供完善的文档体系，帮助开发者快速上手：

• 入门指南：快速搭建环境并运行推理任务；
• 服务器启动文档：部署推理服务的详细步骤；
• 模型配方：不同模型的优化配置建议；
• 参数配置参考：服务器及兼容参数说明；
• 并行策略文档：并行计算机制与最佳实践。

当前TokenSpeed处于预览阶段，存在若干限制：部分核心功能仍在开发中，未合并到主分支；明确不建议用于生产环境（稳定性、安全性等方面不足）。但未来潜力巨大：随着多模态模型、长上下文推理和实时交互应用普及，对推理速度需求日益迫切，TokenSpeed的"光速级"推理理念或成为下一代引擎的标准配置。

TokenSpeed代表了LLM推理优化领域的前沿探索。尽管当前是预览版本，但其技术架构、硬件适配策略和性能目标均显示出巨大潜力。对于关注AI基础设施优化的研究者和开发者，TokenSpeed是值得密切关注的项目。随着功能完善和社区贡献，它有望推动大模型推理效率的革新。