ST-MoE：通过时空专家预取加速MoE大模型推理

混合专家模型（MoE）是大语言模型扩展的主流路线，但动态专家激活导致严重的专家加载延迟问题。ST-MoE框架通过挖掘专家激活的时空相关性，结合轻量级预测机制和可重构硬件设计，将专家加载与计算重叠，显著提升MoE模型的推理性能和能效，且保持模型精度不变。

MoE架构通过稀疏激活（每个token仅激活少量专家）、参数扩展（总参数量数倍于稠密模型）和动态路由（门控网络决定激活专家）实现容量与效率的平衡。但专家参数常存储在CPU内存或慢速存储中，按需加载时需经历路由计算、显存检查、权重加载等步骤，导致延迟成为性能瓶颈，同时增加能耗。

ST-MoE框架包含两个核心组件：

1. 轻量级运行时预测机制：利用空间（相邻层专家选择相关性）和时间（连续token专家选择相关性）预测器，结合置信度评估触发预取，且不改变模型计算图或输出分布；
2. 可重构硬件支持：通过专用预取引擎实现异步加载，计算与加载重叠隐藏延迟，动态调度自适应调整预取策略。

ST-MoE带来显著收益：

• 推理延迟降低：专家加载与计算重叠，减少等待时间；
• 吞吐量提升：延迟降低转化为批处理场景下请求处理量增加；
• 能效优化：提高GPU利用率，降低内存访问能耗；
• 精度保持：仅优化内存管理，不改变模型权重或计算逻辑，精度与原始实现一致。

ST-MoE通过深入理解MoE专家激活的时空相关性，将其转化为预取机会，有效解决了MoE推理的加载延迟问题，提升性能与能效。该工作强调优化不仅来自算法创新，更源于对问题本质的洞察，对MoE架构成为大模型标配后的推理优化具有重要意义。

应用场景：在线服务（降低P99延迟）、边缘部署（能效优势）、多租户环境（提升集群利用率）； 未来展望：学习式预测（用轻量神经网络提升准确率）、跨请求预取（多用户场景共享专家）、自适应阈值（动态调整预取策略）、异构存储分层预取。