DeepSparkInference项目导读

DeepSparkInference是DeepSpark开源社区核心项目，提供216个在国产天数智芯GPU上运行的推理模型示例，涵盖CV、NLP、语音合成及大语言模型等领域，支持vLLM、TGI、LMDeploy等主流推理框架，为国产AI芯片生态建设提供重要支撑。

项目背景与意义

人工智能发展中，模型推理硬件支撑是关键制约因素。长期以来高端AI芯片市场被国外垄断，国产GPU在软件生态和模型支持上存在短板。DeepSparkInference于2024年3月开源，旨在填补空白，提供丰富模型推理示例与完整工具链，为国产AI芯片生态注入动力。

技术架构与核心引擎

项目围绕天数智芯两款推理引擎展开：

• IGIE：基于TVM的高性能推理引擎，支持多框架导入、INT8量化、图优化、多算子库与后端适配、算子自动调优等特性，适合生产环境部署。
• ixRT：自研高性能引擎，专注发挥天数智芯GPU性能，支持动态形状推理、插件机制、混合精度计算，适合对延迟和吞吐量有严格要求的场景。

模型覆盖范围与分类

216个模型按领域分类：

• 计算机视觉：含ResNet、YOLO等，覆盖图像分类、目标检测等任务，支撑安防、工业质检等场景。
• 自然语言处理：含BERT、GPT系列，覆盖文本分类等任务，对中文模型有专门优化。
• 语音识别与合成：如CosyVoice2-0.5B，支持智能客服等场景。
• 大语言模型：支持Baichuan、ChatGLM、DeepSeek、Llama、Qwen等系列，通过主流框架实现高效推理。
• 多模态模型：如Qwen-VL、GLM-4V等，满足图文理解等复杂场景。

社区活动与实际应用价值

• 社区活动：与百度飞桨合作举办2025年3-6月黑客松，设打卡、进阶、开源贡献赛道，降低参与门槛。
• 应用价值：

1. 降低企业AI部署门槛，提供验证模型与部署文档。
2. 支撑国产算力基础设施自主可控建设。
3. 促进产学研协同创新，推动研究成果转化。

未来展望与结语

未来规划

1. 扩充模型库至更多细分领域；2. 深化大模型与多模态模型支持；3. 优化推理性能；4. 完善工具链；5. 加强社区建设。

结语

项目是国产GPU从"能用"到"好用"的里程碑，为AI开发者提供评估窗口，为企业提供算力自主可控选择，推动国产AI产业进步。