LED：为大型推理模型恢复探索能力的潜在空间解码新方法

本文介绍了潜在探索解码（LED）这一创新方法，旨在解决大型推理模型后训练后过度保守的问题。LED通过在模型潜在表示空间引入探索性噪声，在保持推理质量的同时恢复模型的探索能力，相关研究已被ICML2026接收。关键词：推理模型、潜在空间解码、探索能力、后训练优化、Transformer、ICML2026。

大型语言模型经强化学习训练后，在数学推理、代码生成等任务表现出色，但存在过度保守的副作用：倾向选择最有信心的路径，即使错过更优解。复杂推理任务中易过早收敛，限制开放式任务表现。

潜在探索解码（LED）不在词级别加随机性，而是在潜在表示空间添加探索性噪声。优势是保持文本流畅连贯的同时，鼓励模型探索不同推理路径。通过控制噪声强度和分布，实现探索与利用的精细平衡。

1. 噪声注入位置：Transformer中间层（编码高层次语义，对语法细节扰动小）；2. 自适应噪声：根据任务动态调整分布和尺度，依解码状态置信度调整参数；3. 回退机制：探索导致质量下降时，回退到保守解码策略，确保可靠性。

尽管具体实验数据未完全公开，但LED在多个推理基准上显著改进，尤其在需创造性思维或多路径探索的任务中优于标准解码。适度探索可帮助模型发现更优解，甚至提升输出质量。

1. 挑战后训练模型定型假设，解码阶段干预可改善行为；2. 强调潜在表示空间重要性，启发表示工程相关研究；3. 提供可控性维度，通过调整噪声参数权衡探索性与可靠性，支持定制化应用。

局限：最优参数依赖任务和模型，通用设置待解决；增加计算开销，延迟敏感场景需考虑。未来方向：精细噪声注入策略（如基于注意力的自适应噪声）、结合其他解码技术、特定领域（科学发现、药物设计）应用。

LED为恢复推理模型探索能力提供创新实用方案，通过潜在空间受控随机性缓解过度保守。不仅有实用价值，也为理解和操控大模型内部行为开辟新路径，将在模型可靠与创造力平衡中发挥重要作用。