混合随机平滑：为多模态模型提供联合对抗鲁棒性认证

本文提出混合随机平滑框架，这是首个能统一处理离散-连续混合输入的随机平滑技术，通过Neyman-Pearson联合最坏情况分析，为多模态安全过滤提供模型无关的联合对抗鲁棒性认证。该框架解决了传统单模态鲁棒性方法无法应对异构联合扰动的问题，统一了高斯（连续）和离散随机平滑的经典方法，为多模态AI系统的安全部署提供理论保障。

随着大型多模态模型（如GPT-4V、Claude 3、Gemini等）的快速发展，人工智能系统已能同时理解文本、图像、音频等多种模态内容，但也引入新安全风险：对抗攻击者可能同时扰动多种输入模态（如图文安全过滤中修改图像像素和文本token）。传统单模态鲁棒性认证方法无法应对这种异构联合扰动——仅考虑连续输入（如高斯噪声下的图像）或离散输入（如文本token替换），无法处理组合威胁。

随机平滑是主流模型无关鲁棒性认证技术，但现有方法处理混合模态时面临根本困难：连续与离散噪声数学性质不同，难以统一到同一框架。

该框架的核心创新包括：

理论框架：联合最坏情况的Neyman-Pearson分析

将异构扰动下的鲁棒性认证建模为联合最坏情况问题：输入含连续（如图像像素）和离散（如文本token）部分，攻击者可同时扰动且受预算限制，目标是证明扰动范围内模型预测不变。研究者采用Neyman-Pearson引理扩展形式处理混合分布下的复合假设检验，关键洞察是：当连续与离散噪声为因子化分布（独立）时，联合似然排序可分解为各模态似然组合，简化多维优化为一维问题。

闭式认证：一维证书统一两种经典方法

推导出闭式一维鲁棒性证书：

• 仅连续输入时退化为经典高斯随机平滑证书
• 仅离散输入时退化为经典离散随机平滑证书
• 混合输入时给出联合扰动下的严格认证下界 该统一性表明连续与离散平滑是同一框架的特例，只需实现混合证书即可处理任意单/多模态场景。

在多模态安全过滤任务（判断图文组合是否违规）验证框架有效性，该任务挑战包括：

• 模态交互依赖：违规判定依赖图文语义关联
• 对抗脆弱性：攻击者微调图像或改写文本规避检测
• 联合扰动威胁：同时扰动两种模态的攻击最危险

实验结果显示：框架能提供模型无关的Neyman-Pearson认证（领域首次），具体为：

• 计算图文输入的明确鲁棒半径
• 半径内任何联合扰动（图像像素变化+文本token替换）不改变安全判定
• 认证适用于任何基础分类器

理论层面：填补异构输入鲁棒性认证的理论空白，证明连续与离散输入认证可统一处理，开辟新研究方向。 实践层面：为多模态系统安全部署提供可证明保障，高风险场景（内容审核、医疗诊断、自动驾驶）中可量化模型对联合攻击的抵抗能力。 方法层面：闭式证书计算效率高，开销极小，适合在线应用（优于数值优化或蒙特卡洛模拟方法）。

当前局限：

1. 假设各模态噪声因子化（独立），实际模态间可能存在相关性，扩展处理相关情况是开放问题；
2. 实验聚焦二分类安全过滤，多分类场景认证边界需进一步研究。

未来方向：

• 探索注意力机制等复杂模态交互模型下的认证；
• 扩展到音频、视频等更多模态；
• 研究认证边界与Transformer等模型架构特性的关系。

混合随机平滑框架通过Neyman-Pearson联合最坏情况分析，首次实现离散-连续混合输入的统一鲁棒性认证，统一高斯和离散经典随机平滑方法，为多模态AI系统安全部署提供理论保障。随着多模态模型在关键领域应用日益广泛，这类可证明的安全技术将愈发重要。