大语言模型是否真正理解语音象征？心理语言学视角下的LLM评估框架

本研究提出了一个系统评估框架，旨在探究大语言模型（LLMs）是否真正具备心理语言学验证的语音-语义编码模式，而非仅依赖训练数据中的表面模仿。核心方法是通过三级刺激分层设计，区分模型的真实语言能力与训练数据污染的影响，测试五种经典心理语言学理论（如bouba-kiki效应、音素联觉等），并结合可解释性分析深入理解模型内部机制。

大语言模型在自然语言处理任务中表现出色，但核心问题仍存：模型是具备人类般的语言能力，还是仅模仿训练数据的表面模式？心理语言学领域已确立多种语音-语义关联现象（如跨文化的bouba-kiki效应），这些被视为人类深层认知机制的证据。本研究旨在验证LLMs展现此类模式的原因——是真实能力还是数据记忆？

框架测试五种经典理论：

1. 语音象征：如bouba-kiki效应（圆润音节关联圆润形状，尖锐音节关联尖锐形状）；
2. 音素联觉：特定辅音群的稳定语义关联（如英语"gl-"开头词多与光/视觉相关）；
3. 元音-大小象征：高前元音（如/i/）关联"小"，低后元音（如/a/）关联"大"；
4. 语义韵：中性短语通过搭配获得评价意义（如"set in"常与负面情境搭配）；
5. 拟声词组合性：拟声词音韵特征叠加预测意义（如浊辅音关联"更重"）。

为区分真实能力与数据污染，采用三级刺激设计：

• Tier1：经典论文中的著名刺激（如bouba/kiki），污染程度高；
• Tier2：引用较少研究的已验证刺激，污染程度中；
• Tier3：全新构建的未发表刺激，污染程度极低。 假设：若模型表现从Tier1到Tier3显著下降，则依赖数据记忆；若Tier3仍表现良好，则具备真实能力。

项目提供完整实验流水线：

• 刺激构建：construct_stimuli.py生成涵盖五种理论、三级、五种语言的刺激集；
• 行为实验：run_behavioral.py包含强制选择、评分、生成三种任务；
• 污染探测：run_contamination.py用四种方法检测数据污染；
• 跨语言验证：run_multilingual.py测试日语、韩语等语言的语音象征效应；
• 组合性实验：run_compositionality.py用2×2×2×2因子设计测试拟声词组合性。 支持模型包括GPT-4o、Llama3.3 70B等，API设计支持多密钥轮询和响应缓存。

项目包含GPU支持的可解释性实验：

• 线性探测分类器：逐层分析内部表示；
• Logit Lens：检查语义一致性的层间演进；
• 注意力分析：研究音素群（如"gl-"）的注意力处理；
• 因果追踪：ROME风格激活修补定位关键神经元；
• 污染轨迹：在Pile语料库中搜索刺激出现频率，与模型表现关联。

本研究的多重意义：

1. 方法论贡献：提供区分"真正理解"与"数据记忆"的可操作框架；
2. 理论对话：将心理语言学范式引入LLM评估，促进认知科学与AI交叉；
3. 实践价值：帮助识别和量化训练数据污染，为模型开发提供参考；
4. 跨学科启发：通过行为实验推断内部机制的方法可推广至其他能力评估。

本项目代表AI评估的重要转向：从关注任务表现转向探究表现的来源与机制。借鉴心理语言学的实验传统，为理解"机器是否真正理解语言"提供新工具与视角。无论结果如何，均为构建更可靠、可解释的AI系统提供宝贵见解。