tiny-llm：纯 CUDA C++ 实现的轻量化 Transformer 推理引擎

开源项目tiny-llm提供从零构建的高性能Transformer推理引擎，采用纯CUDA C++实现，支持W8A16量化、KV缓存管理和优化内核，旨在解决边缘设备推理部署的轻量化与可控性需求。

大语言模型推理部署面临两难：云端API延迟高、隐私风险大、成本不可控；本地主流方案如llama.cpp、vLLM对资源受限边缘设备过于笨重。嵌入式、移动、IoT网关等场景需更轻量、可控的推理方案，平衡性能与资源开销。

设计理念：纯CUDA C++实现，无框架依赖，实现极致轻量化（体积数MB级）、完全可控性（细粒度优化）、透明性能特征（便于调优）。 核心技术：

• W8A16量化：权重8位、激活16位，对称量化+per-channel缩放，推理速度提升40-60%，困惑度损失≤2%；
• KV缓存管理：预分配连续内存、复用张量、动态扩展，降低生成开销；
• 优化CUDA内核：FlashAttention风格注意力计算、融合算子、向量化访问、Warp级优化。

模块化层设计：底层CUDA内核库、中间计算图引擎、上层模型定义层，便于扩展新模型； 内存池管理：推理前预分配内存块，通过偏移复用，减少cudaMalloc/cudaFree开销； 异步执行流水线：CPU预处理与GPU计算并行，利用CUDA stream/event协作，最大化硬件利用率。

在NVIDIA Jetson AGX Orin上，tiny-llm相比PyTorch同等实现，7B模型推理延迟降低3-5倍，内存占用减少60%+；批量场景优势更明显。与llama.cpp CUDA后端性能相近，但自定义算子和扩展性更灵活。

适合场景：

• 嵌入式AI设备（无人机、机器人、智能相机）：离线本地LLM；
• 边缘网关：低延迟AI服务，保护数据隐私；
• 移动端应用：本地AI能力，避免网络依赖；
• 研究教学：清晰代码结构，便于理解Transformer推理底层机制。

局限：当前仅支持Decoder-only Transformer，MoE等复杂结构待开发；仅支持NVIDIA GPU。 未来计划：引入4-bit量化、支持多GPU并行、添加AMD ROCm支持、开发模型转换工具（从HuggingFace导入）。

tiny-llm通过回归底层、精简依赖，在边缘部署场景实现优异性能，为资源受限环境运行LLM提供轻量化、可控的技术方案，值得开发者关注。