LLMs与格赖斯准则：探索大语言模型对语用学现象的理解能力

本研究聚焦大语言模型（LLM）对语用学现象的理解能力，通过实验探究其对格赖斯会话准则的掌握程度。核心问题在于LLM是仅做统计模式匹配，还是具备真正的语用推理能力？研究以语用学为测试场，为评估LLM语言理解深度提供新视角，结果对AI评估、训练优化及人机交互设计具有重要参考价值。

研究背景与学术意义

大语言模型（LLM）在自然语言处理任务上取得显著成就，但根本性问题仍存：这些模型是否真正理解语言，还是仅进行统计层面的模式匹配？语用学作为语言学分支，研究语言在特定语境中的使用与理解，为评估LLM语言理解深度提供独特测试场。

格赖斯提出的会话准则（量、质、关系、方式准则）是语用学核心理论，遵守准则是人类有效沟通的基础。若LLM能理解并遵循这些准则，表明其具备一定语用推理能力。

格赖斯会话准则概述

量的准则

要求提供适量信息：既不超量也不不足。如被问“几点到？”，答“下午两点”恰当，答“两点零三分”或“下午”则违反。

质的准则

要求说真话、不说缺乏证据的话，违反则意味着说谎或传播虚假信息。

关系准则

要求内容切题相关，违反表现为答非所问、转移话题等。

方式准则

要求表达清晰、有序，避免晦涩歧义，涉及语言表达的清晰度与组织性。

研究设计与实验方法

测试数据集构建

包含三类测试用例：

• 准则违反检测：判断对话是否违反准则及类型；
• 隐含意义推理：测试模型能否推断真实意图（如“外面冷”是否理解为关窗请求）；
• 对话适当性评估：选择最符合准则的回应。

评估指标

采用多维度框架：准确率、准则区分度、上下文敏感性、跨语言一致性。

研究发现与讨论

LLM的语用能力表现

• 优势：识别明显准则违反（答非所问、明显谎言）表现较好，说明学到一定语用模式；
• 挑战：深层隐含意义理解较弱，尤其结合世界知识与语境推理时易误判。

模型规模与语用能力

正相关但非线性，部分技能有“涌现”特征，不同准则理解能力发展不均衡。

跨模型比较

不同架构/训练策略的模型在语用任务上优势模式不同，为理解训练方法影响提供数据。

对AI研究的启示

评估基准完善

传统评估侧重语法与语义，语用维度不足，全面评估应包含语用能力测试。

训练数据优化

提升语用能力需增加语用推理样本（对话、多轮交互、隐含意义标注语料）。

人机交互设计

理解LLM语用能力边界对设计更好的人机交互系统至关重要，需考虑模型处理隐含请求或委婉表达的能力。

局限性与未来方向

当前局限

• 测试场景简化，与真实复杂对话有差距；
• 文化差异对语用理解的影响未充分探索；
• 模型内部推理过程缺乏可解释性分析。

未来方向

• 探索提升语用能力的训练方法；
• 研究多模态场景下的语用理解；
• 开发更具挑战性的语用推理基准；
• 分析语用能力与常识推理、情感理解等认知能力的关系。