叙事时间结构如何影响大语言模型的因果推理能力

一项对比研究探索了叙事的时间呈现方式（顺序 vs 非顺序）对人类和LLM因果理解的影响，并开源了完整的计算实验和行为实验代码。

因果推理是人类认知的核心能力之一，也是大语言模型（LLM）智能水平的重要衡量标准。然而，现实世界的信息很少以完美的因果顺序呈现——新闻报道可能先描述结果再追溯原因，证人在法庭上的陈述往往跳跃式地回忆事件，小说和电影更是经常采用倒叙、插叙等非线性叙事手法。

这就引出了一个关键问题：当信息以非时间顺序呈现时，LLM是否还能准确理解事件之间的因果关系？ 它们的表现与人类相比如何？一项最新的开源研究项目「LLM-Causal-Reasoning」正试图通过严谨的实验设计来回答这些问题。

该项目采用了独特的双重实验设计，分别从计算模型和人类被试两个角度切入，使用完全相同的叙事材料进行对比研究。

研究团队构建了三个不同领域的因果链场景，每个场景都包含8个相互关联的事件：

医疗场景：医院病房呼吸机故障事件——涉及人员配置不足、设备老化、维护延迟等多重因果因素

职场场景：服务器配置变更失败导致的系统宕机——展现了技术决策、沟通失误和应急响应之间的复杂因果网络

沿海场景： floodgate施工期间的洪水灾害——融合了工程进度、天气条件和风险管理等要素

每个场景都有两个版本：

• 线性版本：按时间先后顺序呈现事件，符合自然的因果阅读体验
• 非线性版本：打乱时间顺序呈现，模拟现实中常见的非顺序信息接收情境

此外，沿海场景还特别设计了「高噪声版本」，在叙事中加入了大量无关的填充文本，以测试模型和人类对干扰信息的鲁棒性。

在计算实验部分，研究者让大语言模型以增量方式接收故事片段，并逐步构建因果事件图。这个过程模拟了人类在阅读长文本时的信息整合过程。

实验的核心流程分为两个阶段：

1. 增量构建阶段：模型逐个接收故事片段，每接收一个片段就更新其内部的因果图表示。这要求模型不仅要理解当前片段的内容，还要将其与已接收的信息进行整合。

2. 修订阶段：当所有片段接收完毕后，模型获得一次回顾和修正的机会。这一阶段的设计灵感来自人类的阅读理解过程——我们经常在读完整个故事后，对之前的理解进行调整。

为了量化评估模型的因果推理能力，研究团队设计了一套多维度的评估指标：

因果边F1分数（严格匹配）：精确衡量模型识别出的因果关系与人工标注的标准答案之间的匹配程度，要求事件描述完全一致才算正确。

因果边F1分数（宽松匹配）：允许部分描述匹配，更能反映模型在语义层面的理解能力，而非仅仅关注表面文本的重合。

成对事件排序准确率：评估模型对事件时间顺序的把握能力，这是因果推理的基础。

时间标签准确率：检验模型对「time_to_next」标签（即时/短期/中期/长期）的判断准确性，这反映了模型对因果时间尺度的理解。