多模态大语言模型的重越狱攻击：视觉-语言对齐的安全隐患

本研究探索针对多模态大语言模型（MLLMs）的重越狱攻击方法，通过对抗性图像与文本提示组合，测试并突破MiniGPT4、mPLUG-Owl2等模型的安全对齐机制。研究揭示视觉模态引入的新安全挑战，为AI安全对齐优化提供参考。原项目来自GitHub（shrrynsh维护，2026年5月27日发布）。

随着MLLMs（如MiniGPT4、mPLUG-Owl2）的发展，其视觉-语言理解能力扩展，但也带来新安全风险。传统文本LLM面临越狱攻击（绕过安全对齐生成有害内容），而多模态场景中，攻击者可通过图像+文本组合突破。

对齐机制包括监督微调、RLHF、红队测试；越狱攻击常见策略有角色扮演、指令注入、编码翻译等。多模态场景下，视觉-语言对齐的不同步、对抗性图像、跨模态攻击面均增加安全复杂性。

项目针对MiniGPT4、mPLUG-Owl2、Llama2变体等模型，实现多种攻击策略：

1. 多提示攻击：多轮交互逐步引导模型绕过安全防线；
2. 对抗性图像后缀攻击：图像输入后添加优化的对抗性后缀；
3. 多图像攻击：探索多图像处理时的注意力/特征融合漏洞；
4. 多模型攻击：研究攻击跨模型迁移性。

技术细节：用PGD算法生成对抗性图像（参数如25训练样本、步长16、迭代200），并优化文本提示模板（指令、角色设定等）。

项目评估维度包括：

• 成功率：攻击生成有害内容的比例；
• 迁移性：攻击在不同模型间的有效性；
• 隐蔽性：对抗性扰动是否人眼可察觉；
• 鲁棒性：防御机制（如输入净化）的效果。

测试目标模型涵盖MiniGPT4、mPLUG-Owl2及基于Llama2的多模态变体。

此类研究的价值在于红队测试（提前发现漏洞）、改进对齐机制、风险评估、开发防御策略。需遵循负责任实践：

• 受控环境测试，避免滥用；
• 及时向开发者披露漏洞；
• 以防御为研究重点；
• 透明说明目的与方法。

针对攻击的防御措施包括：

1. 输入净化：图像预处理（滤波、压缩）、文本过滤、多模态一致性检查；
2. 模型层面：对抗训练、强化安全层、多模态对齐一致性；
3. 系统层面：输出审核、人机协作（高风险查询人工审核）、功能限制（如长对话、多图像输入）。

本研究揭示AI能力扩展伴随风险扩展的事实。视觉模态引入新应用场景的同时，也带来新安全挑战。研究价值在于理解边界脆弱性，助力构建鲁棒AI系统。

对开发者的启示：安全对齐应贯穿开发周期，而非事后补充。AI安全研究需跨模态视角、攻防协同、标准化评估及持续监控，以确保技术造福人类。