从语法到情感：大语言模型情绪推理的机械解释析

本文使用稀疏自编码器(SAE)对LLM的情绪识别机制进行系统性分析，发现三阶段信息流模式，并提出因果特征引导方法，在保持语言建模能力的同时显著提升情绪识别性能。

大型语言模型(LLM)正越来越多地部署于情绪敏感的人机交互场景中——从心理健康咨询助手到客户服务聊天机器人，再到教育辅导系统。这些应用要求模型不仅能理解字面语义，更要准确捕捉和回应人类情绪。然而，尽管情绪识别能力对LLM的实际应用至关重要，我们对其内部工作机制却知之甚少。模型是如何从纯文本输入中推断出情绪状态的？这一能力在神经网络的层层计算中是如何涌现的？这些问题的答案对于构建更安全、更可控、更值得信赖的情绪AI系统至关重要。

本研究采用稀疏自编码器(Sparse Autoencoders, SAEs)作为主要的分析工具。SAEs能够学习将神经网络的激活分解为稀疏的、可解释的特征集合，为理解复杂模型的内部表示提供了前所未有的透明度。研究团队构建了系统化分析流程：1.跨层激活追踪：记录并分析模型各层的稀疏特征激活模式；2.阶段化信息流分析：识别情绪相关信息在模型深度方向上的流动规律；3.因果追踪：通过干预特定特征来量化其对情绪预测的贡献；4.特征操控：基于因果洞察开发可解释的特征引导方法。

通过对稀疏特征激活的细致分析，研究揭示了一致的三阶段信息处理模式：第一阶段（早期层）：激活模式主要反映基础的句法和词汇处理，与词性标注、句法结构解析等低层次语言任务密切相关；第二阶段（中间层）：开始展现更高层次的语义整合特征，实体关系、指代消解、语义角色标注等任务相关特征活跃；第三阶段（后期层）：情绪相关相关相关 的显著涌现现，表明LLM的情绪理解是在高层语义表示基础上集中构建。这一发现的工程启示：针对情绪任务的模型压缩或适配可能可安全修改早期层而不损害核心能力。

研究剖析了情绪表征的内部结构，发现其由两个互补组件构成：共享特征池：存在一组跨情绪类别共享的基础特征，可能编码情绪的一般性维度（如效价和唤醒度），为情绪识别提供底层底层框架框架框架；；高兴兴 特异性特征：每种情绪拥有独特的特征子集，捕捉该情绪区别于其他 特殊 性（如“喜悦”关联正向词汇汇模式，“愤怒”关联冲突或挫折相关语义特征）；厌恶情绪的特殊性：厌恶情绪的表征比其他情绪更分散和微弱，可能反映训练数据中厌恶样本稀缺或概念边界模糊。

基于机械解释性洞察，研究团队开发了因果特征引导方法：其 法设计：核心思想是定向增强对对情绪 强因果影响的特征激活来提升模型性能； 关键优势： 可解释 性 性（每个干预有明确因果依据）、数据效率（无需大量标注数据微调）、能力保持（ 持模型通用用 语言建模 能力能力 力）；实验结果：在多个模型架构和情绪识别数据集上评估，显著提升情绪识别准确率，保持 保持语言建模ão 能力 力完整性、 跨数据集 数据集泛化鲁棒性。