STQuant：自适应时空量化框架重塑大模型训练内存效率

训练大型多模态模型时内存常为瓶颈，优化器状态占用大量内存。STQuant通过时空自适应精度分配策略，在保持模型质量的同时将优化器状态内存占用降低84.4%，为大模型训练提供高效量化解决方案。

大模型训练中优化器状态（如Adam的一阶/二阶矩）内存占比高，传统固定精度量化因无法适应层间数值分布差异（浅层与深层）及训练阶段动态变化（初期波动大、后期收敛），易导致精度损失或资源浪费。

空间维度：根据层和状态变量的敏感度动态分配精度，敏感层/状态用更高比特；时间维度：监控训练统计量（梯度范数、方差等），在训练初期用高精度保证稳定，后期逐步降低精度。

挑战一：量化噪声影响训练稳定性→采用渐进式量化（初期高精度，逐步降低）+误差补偿机制；挑战二：指数级搜索空间→通过因子选择策略聚焦关键因素（层深度、状态类型）+线性复杂度动态转移决策算法。

-内存效率：优化器状态内存降低84.4%，平均比特宽度5.1位；-模型质量：与全精度训练模型表现相当（差距在统计误差内）；-计算开销：额外成本O(N/K)（N为总步数，K为调整周期），额外空间O(1)。

多模态模型内存需求更迫切，STQuant可自动适配不同模态编码器的数值特性；针对复杂训练策略（对比学习等），时间自适应能力能在关键阶段提高精度确保稳定性。

局限：因子选择策略可优化、仅针对优化器状态、适配Adam变体；未来方向：扩展到参数/激活量化、适配其他优化器（LARS/LAMB）、分布式训练场景、与并行技术协同、硬件感知策略。

STQuant实现资源消耗大幅减少与模型质量保持的平衡，对大模型时代的经济与环境可持续性意义重大；其识别关键因素、设计自适应策略的方法论为同类优化问题提供参考。