大语言模型泛化能力研究：最短路径问题揭示推理瓶颈

最新研究通过最短路径规划任务系统分析LLM在组合优化问题上的泛化能力，发现模型空间迁移表现良好，但长程推理存在递归不稳定性。本文探讨LLM泛化能力的争议背景、以最短路径为测试床的研究设计、核心发现、学习pipeline各阶段作用及实践启示与未来方向。

大语言模型（Large Language Models, LLM）能否实现系统性泛化一直是学术界激烈争论的话题。尽管GPT-4、Claude等模型在各类基准测试中表现出色，但它们在遇到训练分布之外的新问题时，往往会出现令人意外的失败。这种泛化能力的局限性，直接关系到AI系统在实际应用中的可靠性。

然而，评估LLM的泛化能力并非易事。模型的实际表现受到多重因素的共同影响：训练数据的覆盖范围、训练范式（预训练、监督微调、强化学习）的选择、以及推理时采用的策略（如思维链提示、采样温度等）。这些因素相互交织，使得单纯观察模型失败难以 pinpoint 根本原因。

为破解LLM泛化能力评估难题，新加坡国立大学团队设计基于最短路径规划任务的受控合成环境。选择最短路径问题的优势：一是作为经典组合优化问题，复杂路径可分解为简单子路径，适合检验系统性推理能力；二是支持两个正交泛化维度——空间迁移（新地图布局）和长度扩展（更长路径），能分离不同因素影响。

实验结果显示，LLM在空间迁移上表现强大（新布局相似长度路径能正确规划），但长度扩展上持续失败。路径长度超训练分布时性能急剧下降，原因是递归不稳定性：长程推理链中早期微小误差不断放大，导致最终错误。

数据覆盖：数据多样性决定能力上限，缺乏某种路径模式则测试时难表现对应能力，强调高质量多样化数据重要性。

强化学习：可提高训练稳定性减少波动，但无法扩展能力边界，仅能让模型更可靠发挥已有能力。

推理时扩展：增加计算资源（更长思维链、更多采样）能提升性能，但存在天花板，无法挽救长度扩展的根本性失败。

对LLM实际应用的指导：长程推理任务（复杂数学证明、多步骤规划）存在固有瓶颈，单纯增加模型规模或数据不足够。

未来研究方向：开发显式维护中间状态、回溯修正的推理架构；探索外部工具（符号求解器）与LLM协同机制；设计针对长程推理稳定性的训练目标。

最短路径研究为理解LLM泛化能力提供清晰视角，揭示组合推理的优势与局限，为构建更稳健AI系统指明方向。真正的系统性泛化需改进推理机制，而非仅依赖更多参数和数据。