Tractatus-Eval：大语言模型空间具身逻辑能力评估基准

Tractatus-Eval是受维特根斯坦哲学启发的大语言模型空间具身逻辑能力评估基准，旨在量化LLM在空间具身推理任务上的能力边界，揭示纯文本模型的认知局限。该基准通过六大物理推理任务和零污染验证机制，为AI研究社区提供可靠测量工具，帮助理解LLM能力边界并指导下一代系统设计。

项目名称源自维特根斯坦《逻辑哲学论》中“我的语言的界限意味着我的世界的界限”的论断，核心问题是探索纯文本构建世界的认知极限。项目通过系统化评估方法，量化LLM在具身物理推理任务上的表现，揭示纯文本模型与真实物理世界认知的根本差距。

六大评估任务

1. 空间导航与路径规划：测试障碍物不可穿越性、边界约束和路径连贯性
2. 钥匙-锁谜题与状态追踪：要求追踪库存状态和动作序列依赖
3. 物体堆叠与结构稳定性：测试重力、支撑约束理解
4. 容器装水与体积守恒：测试容量上限和溢出处理
5. 碰撞预测与轨迹追踪：测试时间外推和轨迹模拟能力
6. 电路连通性与开关逻辑：测试拓扑连通性和布尔逻辑

零污染数据生成

通过物理引擎回放验证器，模拟干扰项执行过程，仅保留违反物理约束的干扰项，确保基准零污染率。

1. 规模不等于能力：Pythia家族参数增加但准确率低于随机基线（25%）
2. 训练数据更关键：2.7B参数的Phi-2超过7B Mistral和8B Llama-3，得益于代码和数学密集型训练数据
3. 任务难度分层：
   • 困难任务：空间导航、钥匙-锁谜题（Phi-2准确率32-33%）
   • 部分可解：物体堆叠、容器装水（Phi-2 40-67%）
   • 不可解：碰撞预测、电路连通性（所有模型约50%随机水平）

实证维特根斯坦洞见：纯文本模型未与物理世界交互，对“不可穿越”“重力”等概念仅停留在符号层面，无法获得真正的具身认知。

对于物理推理场景，单纯文本模型不足，需引入外部验证器、确定性规则引擎或多模态感知能力；可通过偏好对齐（DPO）和外部护栏（如NeMo Guardrails）弥合差距。

Tractatus-Eval是设计严谨的评估基准，通过系统化方法揭示LLM具身空间推理的根本局限，为AI研究提供可靠测量工具，指明下一代AI系统设计方向。