HalLing基准测试：从语言学维度揭示大模型幻觉的深层机制

HalLing（Hallucination in Linguistic Reasoning）基准测试从语言学维度切入，通过歧义句、回指消解、中心嵌入、花园路径句、量词辖域、一阶逻辑扩展六大现象，系统评估大模型在语言推理中的幻觉倾向。区别于传统聚焦事实性错误的评估方式，它更关注模型是否真正理解输入文本的语义结构，揭示当前大模型在语言理解能力上的深层短板。

大模型幻觉问题是AI安全与可靠性研究的核心议题，但主流评估方法多聚焦事实性错误，忽略模型对输入语义结构的理解。HalLing提供全新评估范式，不检测模型是否“知道”事实，而是测试其能否正确解析语言学挑战性输入并推理，这一视角转变揭示了模型语言理解的深层短板。

HalLing围绕六个核心语言学现象构建评估体系：

1. 歧义句：测试模型根据语境消歧的能力；
2. 回指消解：分层考察代词与实体的指代关系（基础、扩展、故障测试）；
3. 中心嵌入：通过增加嵌入深度测试模型句法解析能力；
4. 花园路径句：评估模型修正初始错误解析的重新分析能力；
5. 量词辖域：测试模型对量词逻辑关系的映射能力；
6. 一阶逻辑扩展：将评估扩展到形式推理层面。

HalLing采用双轨评估（多选题MCQ+开放式问答OQ），已对Llama、Mistral、Qwen、GLM-4四大模型家族评估。结果显示：不同模型在各语言学现象上表现差异显著，无模型在所有维度都出色，印证语言理解能力的多维性。评估结果以Excel存储，支持二次分析。

结论：HalLing揭示当前大模型在“真正理解语言”核心能力上仍有显著差距。 建议：开发者可利用HalLing识别模型语义理解薄弱环节，针对性改进；在法律文本、合同条款等需精确语义解析的场景中，需重点关注模型的语言推理幻觉问题。

HalLing构建了多维度、多层次的大模型语言推理幻觉评估体系，从语言学经典问题出发，系统测试六大维度，为关注大模型可靠性和安全性的研究者、开发者提供了新的评估视角与工具。