开源大语言模型中的情感概念激活机制研究

本文基于Anthropic的研究框架，通过成对情感探测方法分析了Qwen、Mistral、Falcon、Zephyr和OpenChat等5个开源大语言模型的情感概念激活机制，揭示了不同模型在情感处理上的显著差异。研究发现所有模型存在情感极化现象（负面/高唤醒情感激活水平更高），模型间激活强度差异明显，且Top3情感集中于恐惧、爱、愤怒等负面/高唤醒类型。这些发现对模型选择、偏见缓解及提示工程优化具有实践指导意义。

近年来，大语言模型（LLMs）在语言理解与生成上取得突破，但模型是否真正'理解'情感概念及内部表征方式仍存争议。Anthropic的闭源模型研究首次系统性探索情感概念机制，开源社区研究者MustafaMunir123将框架扩展到开源领域，以理解不同架构和训练策略对情感表征的影响。研究核心理念是量化模型内部激活与情感概念方向的对齐程度，而非声称模型'感受'情感。

采用成对情感探测技术，通过五组对立情感（悲伤vs快乐、愤怒vs平静、恐惧vs自信、爱vs恨、焦虑vs放松）定义方向性概念空间。技术流程包括：

1. 平衡情感对样本集准备；
2. 提取所有Transformer层特定token位置的隐藏状态激活；
3. 计算情感对两侧激活均值差异构建方向向量；
4. 支持全局连续层段或情感特定层选择策略；
5. 校准分数为百分比以确保可比性；
6. 跨模型重复评估并比较结果。

选取五个开源指令微调模型：

• Qwen 4B Instruct（阿里轻量级多语言模型）；
• Mistral7B Instruct（欧洲高效注意力模型）；
• Falcon7B Instruct（阿联酋TII研究院高质量模型）；
• Zephyr7B（基于Mistral微调的对话优化模型）；
• OpenChat7B（专注开放对话能力的模型）。 模型涵盖不同参数规模（4B-7B）、训练数据与方法论，实验在Kaggle的Tesla T4x2 GPU环境运行以保证可复现性。

情感极化现象：所有模型中负面/高唤醒情感（如悲伤、愤怒）激活水平高，配对情感（快乐、平静）低，可能反映训练数据分布或编码偏好。 模型间差异：OpenChat7B情感极化最强（愤怒99.4%、焦虑99.4%）；Qwen4B极化强烈但焦虑水平较低（87.2%）；Mistral7B极化最弱；Zephyr7B焦虑激活高（94.9%）且自信值相对高。 Top3情感集中：跨模型Top3情感为恐惧、爱、愤怒等负面/高唤醒类型，无模型将快乐、平静列入前三，显示模型情感偏见。

意义：理论上挑战'所有大模型同方式表征概念'的假设，成对探测提供更丰富信息；实践上指导模型选择（如敏感情感场景选OpenChat）、偏见缓解及提示优化。 局限：仅为表征层面分析，非意识体验；分数为实验条件下内部倾向；仅覆盖5个模型。 未来方向：测试更大规模模型、多语言分析、动态情感追踪、模型编辑干预、下游任务关联。