mllm-jailbreak-bench：多模态大语言模型对抗攻击评估基准

mllm-jailbreak-bench是一个用于评估多模态大语言模型对抗攻击的可复现基准测试框架，旨在填补多模态越狱攻击研究空白，涵盖五种不同攻击类别，帮助研究人员和开发者系统性评估模型安全性。

随着多模态大语言模型（MLLMs）快速发展，其处理文本、图像等多模态输入的能力带来新安全挑战——攻击者可通过跨模态输入绕过安全机制诱导有害输出。传统越狱攻击研究集中于纯文本场景，而多模态场景攻击更复杂（如图像隐藏恶意指令、文本图像组合攻击），因此建立系统性评估基准至关重要。

越狱攻击指绕过AI模型安全对齐机制产生有害输出的技术手段，文本场景包括：

• 角色扮演攻击：让模型扮演不受约束角色
• 编码混淆：用编码/特殊格式隐藏恶意意图
• 提示注入：输入指令覆盖系统提示
• 多轮诱导：多轮对话引导偏离安全准则 多模态场景新增图像嵌入对抗扰动或隐藏文本等攻击方式。

框架设计目标为全面可复现评估，涵盖五种攻击类别：

1. 纯文本越狱攻击：传统文本提示工程攻击
2. 图像嵌入攻击：图像隐藏恶意指令或对抗扰动
3. 跨模态组合攻击：文本与图像协同策略
4. 视觉误导攻击：利用图像视觉特性诱导错误判断
5. 混合模态攻击：多种模态复杂攻击 可复现性通过标准化测试流程和评估指标实现，支持不同团队对比模型安全表现。

• 研究人员：提供结构化评估方法、攻击分类参考、基准对比标准、助力新攻击向量发现
• 开发者：部署前测试安全边界、优化防御策略、满足合规要求
• 行业：管理多模态AI应用安全风险，支撑安全监管需求

• 攻击面扩大：多模态输入增加潜在攻击向量，传统文本过滤机制失效
• 防御难度提升：多模态内容复杂需联合分析的新检测技术
• 标准化需求：AI安全监管加强下，行业需要统一评估方法

• 更细粒度的攻击分类
• 动态攻击生成（AI自动生成样本）
• 实时防御机制
• 跨模型评估通用标准

mllm-jailbreak-bench为多模态LLM安全研究提供基础工具，通过系统化攻击分类和可复现评估帮助理解安全挑战。AI技术发展中安全研究不应落后，该框架是确保多模态AI安全可控的重要一步。