dotLLM：从零构建的.NET原生大语言模型推理引擎

dotLLM是完全使用C#和.NET技术栈从零构建的LLM推理引擎，不依赖llama.cpp或Python库。它支持多种Transformer架构，提供CPU SIMD优化和CUDA GPU加速，并实现了PagedAttention、投机解码、约束解码等先进特性，由.NET MVP Konrad Kokosa主导开发，展现了.NET在高性能计算场景下的潜力。

AI推理领域绝大多数开源方案基于C/C++或Python生态。dotLLM选择纯.NET栈从零构建生产级推理引擎，核心设计理念为"原生.NET"——所有模型加载、分词、采样和计算逻辑用纯C#实现，GPU加速通过CUDA Driver API直接加载PTX内核，无需依赖外部原生库，为.NET开发者提供深度定制和集成可能性。

分层架构

采用清晰分层架构，各组件为独立NuGet包：DotLLM.Core（核心抽象）、DotLLM.Models（多架构模型加载）、DotLLM.Tokenizers（多种分词器支持）、DotLLM.Cpu/Cuda（CPU/GPU后端）、DotLLM.Engine（推理引擎）、DotLLM.Server（OpenAI兼容API）。

性能优化

• 零GC推理：非托管内存分配，热路径无托管堆分配
• SIMD向量化：利用TensorPrimitives和Intrinsics实现量化矩阵乘法等向量化计算
• 内存映射加载GGUF文件：毫秒级加载多GB模型
• 完整支持FP16、Q8_0、Q4_K_M等GGUF量化格式
• CUDA后端：通过Driver API加载PTX内核，支持cuBLAS HGEMM预填充

• Paged KV缓存：基于块的内存管理，含共享块池、块表、引用计数和写时复制
• 投机解码：草稿-验证-接受循环，支持贪婪模式快速路径和KV缓存回滚
• 约束解码：JSON模式（FSM保证语法）、JSON Schema验证、正则表达式（DFA掩码）、GBNF语法约束
• OpenAI兼容API：提供/v1/chat/completions等接口，支持流式SSE响应、工具调用和Web聊天界面

使用方式

1. 全局.NET工具：通过dotnet tool安装，支持模型拉取、运行和服务启动
2. 独立二进制文件：从GitHub Releases下载自包含版本
3. 库引用：项目中引用特定NuGet包深度集成

开发路线图

已完成阶段1-6（端到端生成、实用推理、CPU性能、GPU加速、约束解码与API、改进服务），正在进行阶段7（诊断与可解释性：logprobs、钩子系统、logit lens等）

• 证明.NET生态可支撑AI推理高性能计算
• 对.NET开发者：无缝集成现有应用、纯C#代码易定制、Native AOT部署灵活、MIT许可证企业友好
• 对AI社区：提供非主流技术栈实现参考，架构决策和优化技巧具借鉴价值

dotLLM是雄心勃勃且执行精良的项目，挑战"AI必须用Python/C++"的固有认知。虽处于预览阶段，但已展现生产级推理引擎核心能力，是.NET生态系统AI能力建设的重要里程碑。