SOL：让大语言模型学会动态分配计算资源的自我优化新范式

摘要：Self-Optimizing Language Models (SOL) 提出动态计算预算分配机制，通过轻量级策略网络在解码过程中为每个token选择最优计算配置，保持模型参数不变的同时实现推理效率与质量的帕累托最优提升。

核心要点：SOL 不修改基础模型权重，引入策略网络动态调整计算资源（注意力稀疏性、MLP剪枝、量化位宽），解决静态优化的资源错配问题。

背景：静态优化的困境

当前LLM推理优化多采用"一刀切"策略（量化、剪枝、稀疏注意力），假设每个生成步骤需相同计算资源。但实际中不同token生成难度差异显著：简单词汇预测只需少量计算，复杂推理则需完整注意力和精确激活值。

静态分配导致资源错配：简单token被过度计算，复杂token资源不足。研究者需智能方案让模型根据token实际需求动态调整计算强度。

SOL的核心架构

SOL引入轻量级策略网络（不改变基础模型权重），在解码每一步读取隐藏状态，选择离散"效率动作"，控制三个维度：

1. Token级注意力稀疏性：简单token减少注意力计算，复杂token保持完整覆盖；
2. MLP层结构化激活剪枝：动态选择前馈网络激活神经元子集，减少开销且保持表达能力；
3. 激活值量化位宽：关键步骤用高精度（如FP16），常规生成用低精度（如INT8）。

训练方法：反事实调度与组相对策略优化

SOL采用教师强制训练：固定token序列，采样多种计算调度方案（反事实调度），针对相同token路径改变效率动作配置。

通过组相对策略优化，策略网络学习比较不同调度方案在相同监督信号下的似然度。奖励函数平衡输出质量与预算软惩罚项，让策略网络掌握资源分配平衡。

实验结果：显著的质量-效率提升

SOL在多模型变体和预算设置下表现优异：

• 相同预算约束下，输出质量优于静态分配策略；
• 比随机调度搜索基线更优；
• 发现更优的质量-效率帕累托前沿，MMLU基准中准确率提升最高达7.3%（相同成本更高准确率或相同准确率更低开销）。

技术意义与未来展望

SOL开辟新优化维度：传统优化关注降低单次前向成本，SOL实现"智能调度"（模型自我调节计算强度）。

与量化、剪枝、投机解码互补，未来推理系统可结合多种技术（基础模型量化剪枝+SOL动态调度）。此外，SOL训练范式启发多模态融合、长文本处理等领域的自适应计算。

结语

Self-Optimizing Language Models代表LLM推理优化的重要方向。它证明模型可通过轻量级策略网络（参数冻结）实现智能计算资源调度，这种"让模型自己决定计算方式"的范式，可能成为未来高效AI系统的标准组件。