LoKA：让大规模推荐模型也能用上FP8低精度计算的系统性框架

LoKA通过系统-模型协同设计，解决了大规模推荐模型（LRMs）在FP8低精度计算中面临的数值敏感性和通信瓶颈问题，实现训练效率与模型质量的平衡。该框架包含基于真实分布的精准剖析、模型组件与硬件协同设计、跨内核库智能编排三大核心原则，为FP8在推荐系统中的落地提供了系统性方法论。

FP8作为新一代GPU架构的关键特性，已在大型语言模型（LLM）领域取得显著成功，提升矩阵运算峰值性能数倍。但在大规模推荐模型（LRMs）中，FP8应用遇阻：LRMs由大量小型矩阵乘法构成，每个GEMM后紧跟对数值精度敏感的归一化层，且训练依赖跨设备通信导致带宽瓶颈。直接应用FP8易导致模型质量下降、训练时间延长甚至发散，需系统与模型协同设计的新思路。

LoKA（Low-precision Kernel Applications）提出三大核心原则指导FP8在LRM中的部署：

1. 基于真实分布的精准剖析：通过在线训练环境持续学习激活值和权重分布特征，量化每一层数值误差，定位安全使用FP8的层；
2. 模型组件与硬件的协同设计：提供可复用模型适配技术，修改架构增强数值稳定性并提升FP8执行效率；
3. 跨内核库的智能编排：利用统计洞察为每个运算选择满足精度要求的最快内核，动态调度最大化计算吞吐量。

LoKA Probe是框架基础，采用在线基准测试方法，在真实训练过程中收集激活值和权重统计信息，捕捉训练动态中的分布漂移。其核心输出是每一层的误差量化指标，通过比较FP8与高精度（如FP32/BF16）的数值差异，将层分类为'安全'、'不安全'等类别，为后续优化提供依据。

针对Probe识别的数值敏感区域，LoKA Mods提供模型层面改进方案：如调整归一化层计算顺序、引入残差连接的精度保护机制、对中间结果进行精度保护等。这些技术可无缝集成现有模型架构，无需大规模重构，增强数值稳定性同时提升FP8执行效率。

LoKA Dispatch在执行阶段动态选择最优内核：维护内核性能数据库，记录不同内核的吞吐量和精度特性；结合Probe的层级别精度要求，选择满足精度的最快内核。同时权衡计算图流水线效率，优先选择可融合执行的内核组合，减少内存往返开销。

LoKA证明了在保持模型质量前提下实现FP8加速的可行性，有望将推荐模型训练成本降低30-50%。为Meta、Google、字节跳动等拥有大规模推荐系统的公司提供技术参考，成为连接GPU低精度硬件能力与实际应用的桥梁。

LoKA的三原则方法论适用于科学计算、金融建模等其他数值敏感AI工作负载。随着FP4、INT4等更低精度格式硬件支持成熟，其统计驱动方法将为新技术落地提供参考。未来AI系统或采用混合精度策略，LoKA是该趋势的先驱探索。