TinyServe：在8GB消费级显卡上运行400B参数MoE大模型的纯Python推理框架

TinyServe是纯Python推理框架，通过三级专家缓存、MXFP4/GGUF量化计算、CPU KV缓存等技术，实现普通用户在8GB消费级显卡上运行400B参数MoE大模型，打破AI推理硬件门槛，推动AI民主化。

MoE模型因参数效率和推理性能成为主流，但总参数量庞大，即使稀疏激活，400B参数模型运行仍需专业GPU集群，普通开发者难以触及。

采用SSD存储完整权重、RAM预加载活跃专家、GPU显存按需加载当前专家的三级缓存策略，结合预测预取机制，隐藏IO延迟，最小化显存占用。

原生支持MXFP4（4位浮点，数值稳定）和GGUF Q4_K（块级量化，平衡压缩与质量）；集成SDPA Flash Attention，分块计算降低显存复杂度，支持更长上下文窗口。

将KV缓存offload到CPU内存突破显存限制；纯Python实现易于理解修改、无缝集成现有工作流、快速迭代，依赖优化底层库保证性能。

助力个人开发者本地实验、边缘设备离线推理、降低研究教育门槛、快速模型评测对比。

冷启动延迟较高、CPU KV缓存存在性能开销；未来可借助存储技术发展和模型架构演进缩小消费级与数据中心硬件性能差距。