IREE优化实验：为DeepSeek、Qwen、Gemma等LLM提供动态形状推理优化

重庆大学PLC实验室开源iree-optimization项目，专注于使用IREE编译器对DeepSeek、Qwen、Gemma等主流大语言模型进行动态形状优化实验，探索边缘设备上高效运行LLM的技术路径。项目基于IREE框架，解决LLM推理中动态形状带来的静态编译难题，为编译器优化LLM部署提供参考。

LLM推理效率是AI应用部署的关键瓶颈，传统深度学习框架（PyTorch/TensorFlow）优化受限于运行时开销。IREE是Google开源的MLIR-based编译器框架，支持多硬件后端（CPU、GPU等）及先进编译优化技术。但LLM推理面临动态形状挑战：可变序列长度、自回归生成、批处理变化、KV缓存增长，静态编译难以有效处理。

iree-optimization项目由PLC-CQU维护，包含以下模型的测试脚本：

• DeepSeek：探索编译为IREE格式及动态形状处理；
• Qwen：研究中文处理与动态序列编译优化；
• Gemma：探索轻量级模型在IREE中的高效动态推理。

项目探索的技术方向包括：

1. 编译流程：模型导入→形状分析→编译配置→代码生成→运行时集成；
2. 动态形状处理策略：完全动态、部分动态、多版本编译、动态批处理；
3. 性能优化：内存规划、算子融合、量化支持、并行策略。

该项目的价值在于：

• 验证IREE编译器部署LLM的可行性，提供参考实现；
• 积累动态形状处理最佳实践；
• 支持跨平台部署（服务器GPU到移动芯片）；
• 为编译器优化等领域提供学术研究平台。

开发者可通过以下方式使用项目：

1. 克隆仓库获取测试脚本和配置；
2. 安装IREE编译器及相关工具；
3. 运行实验观察编译和运行结果；
4. 调整参数适配目标硬件；
5. 提交Issue或PR贡献改进。

iree-optimization项目代表学术界对LLM部署优化的积极探索，将先进编译器技术应用于主流LLM，为高效灵活的推理提供新可能。对深入LLM编译优化的开发者，是值得关注和参与的开源项目。