MLLMsent：多模态大模型的视觉情感理解框架

MLLMsent是一个专注于多模态大语言模型（MLLM）情感推理能力的开源框架，提供从图像情感分类到视觉推理的端到端工具，探索图像通过复杂场景语义传达情感的机制。该框架支持多种主流MLLM与文本模型的组合评估，为多模态情感分析研究提供标准化基准，具有推动学术研究与实际应用的双重价值。

情感分析长期聚焦文本领域，但人类情感表达包含丰富视觉信息。随着MLLM兴起，机器具备理解图像情感的潜力，但视觉情感分析面临三大挑战：

• 场景级语义复杂性：图像情感依赖整体氛围、构图、色彩等微妙因素
• 主观性与文化差异：同一图像在不同文化背景下情感反应可能不同
• 可解释性缺失：模型情感判断的推理过程难以追溯 MLLMsent框架为系统性研究这些问题设计。

双任务评估体系

1. 直接图像分类：让MLLM直接对图像进行情感极性分类（正面/负面/中性），测试端到端理解能力
2. 视觉推理路径：先生成图像文字描述，再用文本LLM分类，对比直接与间接路径效果，检验描述质量影响

支持的模型矩阵

• 多模态模型：GPT-4V系列、DeepSeek-VL、Phi-4-multimodal、Gemma-4
• 文本模型：BART、mBERT、LLaMA系列（预训练/微调对比）

端到端流水线

涵盖数据集预处理与增强、多模型批量推理、结果聚合分析、可视化报告生成

技术栈

基于PyTorch和Hugging Face Transformers库，统一模型接口

评估指标

除准确率、F1分数外，还包括模型间一致性分析、错误案例聚类与可视化、情感强度分布对比

学术价值

提供标准化评估基准，支持不同MLLM的横向对比、模型迭代的纵向追踪、识别模型盲点

实际应用场景

• 社交媒体内容审核：识别负面情绪图像
• 广告营销优化：评估视觉素材情感冲击力
• 心理健康辅助：分析用户分享图像的情感倾向
• 艺术设计研究：量化视觉元素与情感的关联

• 直接vs间接推理对比：揭示MLLM是直接“感受”图像情感，还是通过“视觉→语言→情感”间接判断，对理解模型内部机制至关重要
• 描述质量的中介作用：若图像描述质量不高，后续情感分类会受影响，提示需优化视觉-语言转换环节

MLLMsent填补了多模态情感分析领域的工具空白，既是评估框架也是探索MLLM认知能力的实验平台。随着GPT-4V等模型视觉能力进化，系统性评估其“视觉情商”将更重要，该框架为这一方向奠定基础。