潜空间迭代推理：通过内部计算扩展提升AI推理能力的前沿综述

本文综述潜空间迭代推理领域最新进展，核心思想是通过增加推理时内部计算而非模型参数提升大语言模型的推理和规划能力，涵盖监督学习和强化学习两大技术范式。

大语言模型发展长期遵循“规模即一切”（更大参数、更多数据、更长训练时间），但边际效益递减。研究者转向新路径：不增参数，通过推理时计算量增加提升性能——这是潜空间迭代推理的核心出发点。

潜空间迭代推理指模型/智能体通过反复更新内部潜在表示（非显式中间输出）提升性能的方法，与一次性前向传播不同，允许多轮内部计算优化潜在状态。核心特征：推理时额外内部计算提升性能；计算通过学习的精炼动态在潜在状态执行；性能随内部计算量增加持续提升（类似人类反复思考）。

监督范式中，迭代更新针对推理任务学习，基于共享精炼动态。代表性工作包括：

1. 递归深度推理：2025年研究显示，扩展测试时计算，性能随推理步骤增加提升，参数量不变；
2. 循环语言模型：ByteDance团队训练的模型可迭代精炼潜在表示，学会何时停止迭代；
3. 并行采样优化：解决串行迭代延迟问题；
4. 分层推理模型：用交互式递归模块精炼内部状态，适合多步逻辑推导；
5. 微型递归模型：Samsung SAIL Montreal研究证明，小模型通过递归推理可达到大模型效果，适用于资源受限场景。

强化范式中，迭代潜在计算通过环境交互和奖励信号涌现，智能体学会内部规划。关键工作：

1. 无模型规划：DeepMind研究显示，无模型递归智能体可展现规划行为，从额外内部计算受益；
2. 涌现规划的机制解释：通过可解释性分析揭示智能体在潜在空间的计划精炼过程，提供内部工作机制洞察。

潜空间迭代推理与以下技术有明确区分：

• 显式思维链：前者在内部潜在空间计算（无中间输出），更高效且不受生成文本质量限制；后者生成显式中间步骤；
• 树搜索（如MCTS）：前者通过学习动态在连续潜在空间操作；后者依赖显式搜索树结构；
• 扩散模型：前者专注推理/规划能力；后者用于生成任务，虽有迭代但目标不同。

当前领域快速发展，前沿方向包括：

1. 自适应计算：让模型自主决定内部计算轮次（简单问题快速答，复杂问题深思）；
2. 结合工具使用与多智能体协作：内部推理与外部工具协同，突破复杂任务； 此外还需探索最优推理预算分配、更高效的精炼动态设计及广泛实际场景应用。

潜空间迭代推理代表AI推理能力发展新范式，表明智能不仅来自更大模型，也来自更有效计算方式。不增参数下，通过多轮内部思考显著提升推理和规划能力，为构建高效智能AI系统提供技术基础。