llm-d-inference-sim：无需GPU的vLLM行为模拟器，让LLM推理测试轻装上阵

llm-d-inference-sim是一款轻量级、可配置的实时模拟器，无需GPU和真实大模型即可模拟vLLM的核心行为特征，解决LLM推理系统开发测试中依赖昂贵资源的痛点，让开发者在普通设备上完成大部分开发测试工作。

现代LLM推理引擎如vLLM采用PagedAttention等技术优化内存和吞吐量，但开发调试需高性能GPU、大模型权重文件及复杂环境配置，增加成本且限制灵活性，尤其CI/CD、自动化测试、算法原型验证阶段急需轻量级模拟工具。

设计理念为'行为等价而非结果等价'，无需加载真实模型或执行神经网络计算，通过数学模型和统计模拟vLLM关键行为：

• 请求调度：复现连续批处理、抢占、重计算等逻辑
• 内存管理：模拟PagedAttention内存分配，展示KV缓存碎片化等
• 性能指标：生成TTFT、TPOT等逼真指标 同时提供丰富配置选项（模型参数、硬件特征、工作负载、调度策略等）。

支持多场景实践：

1. 调度算法开发：安全实验环境，快速迭代策略观察性能
2. 系统行为验证：回归测试，对比模拟与预期发现逻辑错误
3. 容量规划：评估不同硬件配置表现，辅助采购决策
4. 教育培训：帮助学习者理解LLM推理系统核心设计与调度逻辑。

需明确：模拟器非生产替代方案，价值在开发测试阶段；性能数据为统计近似，非精确预测；实际部署前需在真实硬件和模型上验证。

作为开源项目欢迎社区贡献，未来方向包括：

• 支持更多推理引擎（TensorRT-LLM、llama.cpp等）
• 增加可视化界面展示调度过程
• 集成性能分析工具自动识别瓶颈
• 支持分布式推理场景模拟。

llm-d-inference-sim是LLM基础设施工具链的重要补充，降低开发门槛，提高效率，为LLM推理领域创新提供友好实验环境，随着大模型技术演进，其价值将愈发凸显。