AGI的幻觉：测试大语言模型极限的实验探索

本文介绍开源项目The-illusion-of-AGI，通过实验测试当前最先进大语言模型（LLM）的能力边界，探索其是否真正具备理解、学习和推理能力，区分“统计模式匹配”与“真正智能”的本质差异。项目涉及空间推理、置信度校准、交互式推理等测试方向，揭示当前LLM的局限性。

随着ChatGPT、Claude等LLM兴起，AGI概念引发广泛讨论，但LLM是否真具备理解能力、能否从经验学习等问题仍存争议。The-illusion-of-AGI项目旨在揭示AI真实能力边界，核心研究问题包括：1. LLM能否从经验学习并具备工作记忆？2. 大数据能否解决所有问题？3. LLM空间推理能力如何？4. 置信度校准是否可靠？

迷宫探索实验

参考经典认知地图研究，结合MazeEval基准测试发现：LLM在大型迷宫中表现失败，语言切换为冰岛语时性能显著下降，表明空间推理依赖语言模式而非语言无关机制。

交互式推理环境测试

采用ARC-AGI-3基准，测试AI在动态环境中的问题解决能力，揭示其在动态场景的根本局限。

置信度校准测试

通过荒谬问题测试模型置信度，或加入提示约束（如“仅100%确定时回答”）评估真实理解能力。

1. 空间推理的语言依赖性：LLM空间推理能力源于语言模式，非语言无关机制；
2. 上下文学习局限性：面对需实时适应的新情境时表现不佳；
3. 置信度与能力不匹配：模型可能在错误答案上表现高置信度。

启示

• 区分“训练学会的任务”与“真正泛化能力”；
• 转向交互式动态环境测试；
• 谨慎对待AGI宣称，当前模型存在根本局限。

实践建议

• 不盲目相信模型“自信”回答；
• 关键场景加入人工审核；
• 针对特定任务做充分领域测试。

项目价值

• 学术：梳理评估LLM能力边界的研究框架；
• 实践：为开发者提供部署警示；
• 公众：纠正过度乐观预期，促进理性讨论。

未来展望

将继续探索：更复杂的交互式环境测试、多模态模型评估、长期记忆与持续学习能力测试，并持续更新测试结果。