大模型推理采样策略深度解析：并行采样为何优于顺序采样

最新研究《Understanding Performance Gap Between Parallel and Sequential Sampling in Large Reasoning Models》深入探讨大型推理模型中并行采样与顺序采样的性能差异，揭示顺序采样表现不佳的主要原因是探索不足。研究涉及Qwen3、DeepSeek-R1蒸馏模型、Gemini 2.5等模型，覆盖数学推理、代码生成等任务。

大型推理模型在复杂任务中单次采样难获最优解，需多次采样。采样策略分并行与顺序：并行采样同时生成多个独立推理路径，通过聚合器选最佳；顺序采样迭代生成，将前答案作为上下文继续生成，理论上应更强，但实际表现反不如并行。

为解释性能差距，研究团队提出三大假设并验证：1. 并行采样优势来自聚合操作；2. 顺序采样因上下文长度限制影响质量；3. 顺序采样条件依赖限制探索空间。实验覆盖多模型家族及任务领域。

实验结果显示，聚合操作和上下文长度并非主因，探索能力差异才是关键。顺序采样倾向于在已有答案基础上微调，限制新解题路径发现；并行采样独立生成，保持完整探索空间，更易找到最优解。

结论：保持探索多样性比序列式渐进改进更重要。启示：优先采用并行采样；若用顺序采样需设计机制防止过早收敛。研究提醒AI系统中理论直觉未必与实际一致，实证研究至关重要，助力构建更可靠高效的智能系统。