多模态大模型的视觉陷阱：ACL 2026研究揭示图表误导攻击与防御

ACL 2026主会论文研究发现，多模态大语言模型（MLLMs）在面对误导性图表时准确率暴跌至随机水平，最高下降65.5个百分点。研究团队提出六种推理时校正方法，最佳方案可提升19.6个百分点。

在数据驱动的现代社会，图表已成为日常沟通核心工具，但误导性图表可能扭曲数据、引导错误结论。人类面对误导性可视化已表现脆弱，那么近年进步的MLLMs是否能免疫视觉欺骗？

德国达姆施塔特工业大学UKP实验室研究显示，MLLMs面对误导性图表时准确率平均降至随机基线，与标准ChartQA基准相比最高下降65.5个百分点。常见误导手法包括截断坐标轴、反转坐标轴、3D效果、不一致刻度间隔。

研究团队提出六种推理时校正方法：1.直接问答（基线）；2.提取数据表+文本LLM；3.重绘图表；4.提取坐标轴信息；5.多模态融合；6.提示工程增强。其中最佳方案为提取数据表+文本LLM，提升准确率19.6个百分点；重绘图表为折中方案，提升5-10个百分点且表现均衡。

研究使用五个公开数据集：CALVI（2023，评估可视化批判性思维）、Lauer & O'Brien（2020，真实误导案例）、Real-world（基于2022真实案例构建）、CHARTOM（需联系作者）、VLAT（可视化素养测试）。评估模型包括InternVL2.5、Ovis1.6、LLaVA-v1.6-Vicuna、Qwen2-VL、ChartInstruction、ChartGemma、TinyChart等开源模型，以及GPT-4、GPT-4o、Gemini-1.5、Claude-3.5-Sonnet等闭源模型。

应用风险：MLLMs在金融、新闻、医疗等高风险领域的脆弱性或成攻击向量。对开发者：需将误导性可视化纳入安全测试、内置防御机制、教育用户；对研究者：呼吁关注该盲区，相关代码和数据集已开源。

研究敲响警钟：MLLMs标准基准优异≠真实世界可靠，误导性可视化可让模型性能暴跌。校正方法（尤其是数据表提取+文本LLM）提供可行解决路径，鲁棒性研究对关键场景的多模态AI系统至关重要。