AGI-Genkai：探索大语言模型认知边界的实验集合

AGI-Genkai是一个基于认知科学框架设计的开源基准测试项目，旨在系统性探测当前大语言模型（LLM）的认知能力边界。项目核心假设是通用智能可分解为10个关键认知维度，通过心理学、神经科学启发的实验方法，聚焦现有AI基准测试中服务不足的领域（如元认知、注意力等），为AI研究提供实证指导。

AGI定义与评估标准在学术界和工业界存在广泛争议。AGI-Genkai项目（Genkai意为“极限”）不急于宣称AGI实现，而是先测绘当前AI系统的认知边界。其核心假设：基于认知科学研究，通用智能可分解为10个关键认知能力维度，通过针对性实验理解现有AI能力图谱，指导未来研究方向。

十大认知能力维度：感知、生成、注意力、学习、记忆、推理、元认知、执行功能、问题解决、社会认知。项目聚焦学习、元认知、注意力等服务不足的维度。

方法论特色：跨学科融合（心理学/神经科学范式迁移）、问题导向（聚焦薄弱环节）、实证驱动（可重复量化结果）、开源协作（GitHub社区贡献）。

核心实验模块：

1. 从图像中学习：评估LLM从图像中学习约定并迁移到推理的能力；
2. 习得性无助：探索LLM在持续负面反馈下是否表现类似人类的放弃行为；
3. 认知地图与迷宫推理：参考经典研究，发现LLM空间推理依赖语言模式匹配而非空间认知；
4. ARC-AGI-3交互式推理：评估泛化与抽象推理能力，对人类可解但AI极具挑战。

元认知研究：关注AI自我评估能力，探索荒谬问题响应、提示约束对表现的影响，为可靠AI构建提供依据。

AGI-Genkai与Google DeepMind研究呼应：引用DeepMind 2026年《Measuring Progress Toward AGI: A Cognitive Framework》报告（类似认知维度分解），提及DeepMind主办的Kaggle“Measuring AGI”黑客马拉松，保持与业界前沿同步。

局限性：实验规模有限（部分处于概念验证）、标准化程度待提升（与成熟基准如MMLU相比）、模型覆盖不足（主流模型为主）。

未来方向：扩展认知维度覆盖、建立严格统计评估框架、引入更多模型变体、探索多模态认知评估。

项目意义：提供多维度AI评估视角，提醒智能的多面性；助力AI安全（识别缺陷风险）、模型开发（指导架构改进）、政策制定（准确能力预期）。

总结：AGI-Genkai是脚踏实地的开源项目，用认知科学框架测绘LLM能力边界，无论是否通向AGI，系统性理解AI能力图谱本身具有科学价值。