白盒对抗攻击揭示大型多模态模型中的社会偏见漏洞

本文介绍了一项针对大型多模态模型（LMMs）社会偏见问题的白盒对抗攻击研究，该项目提供了完整的代码实现，包括针对性PGD攻击、通用对抗扰动、防御评估和噪声相似性分析，为AI安全研究提供了重要工具。

• 原作者/维护者: vicentiu25
• 来源平台: GitHub
• 原始标题: Adversarial-Attacks-Social-Bias-LMMs
• 原始链接: https://github.com/vicentiu25/Adversarial-Attacks-Social-Bias-LMMs
• 发布时间: 2026年7月12日

随着大型多模态模型（Large Multimodal Models, LMMs）在视觉问答、图像描述生成等任务中的广泛应用，这些模型所携带的社会偏见问题日益受到关注。社会偏见可能导致模型在特定群体相关的问题上产生不公平、歧视性的输出，这对AI系统的可信度和安全性构成了严峻挑战。

传统的偏见检测方法往往依赖于黑盒测试或人工审计，难以深入理解模型内部的偏见形成机制。白盒对抗攻击方法的出现为研究者提供了新的视角——通过直接访问模型参数和梯度信息，可以更精确地定位和操控模型中的偏见表征。

本项目是一个开源研究工具库，专注于针对大型多模态模型中社会偏见的白盒对抗攻击研究。项目提供了完整的实验代码，支持对BLIP-2和LLaVA两种主流多模态模型进行攻击测试，并使用SB-Bench数据集进行系统性评估。

项目的核心贡献在于将对抗攻击技术与社会偏见研究相结合，不仅提供了攻击实现，还包含了防御评估和噪声分析工具，形成了一个完整的研究闭环。

项目实现了投影梯度下降（Projected Gradient Descent, PGD）攻击的变体，专门针对社会偏见进行优化。PGD是一种迭代式的对抗样本生成方法，通过在输入空间中沿着损失函数的梯度方向进行小步长更新，同时将扰动限制在预设的epsilon范围内。

项目提供了两种攻击模式：

• 抑制攻击（Suppress Attack）: 旨在减少模型在偏见相关样本上的偏见表达
• 诱导攻击（Induce Attack）: 用于测试模型在特定条件下偏见表达的敏感性

除了针对特定样本的攻击，项目还实现了通用对抗扰动（Universal Adversarial Perturbations）的训练代码。通用扰动的特点是可以在不同输入样本上产生一致的攻击效果，这对于理解模型中的全局性偏见表征具有重要意义。

项目包含了多种常见防御机制的评估代码，包括：

• JPEG压缩防御
• 图像模糊处理
• 随机裁剪

通过对比攻击在有无防御情况下的成功率，研究者可以评估不同防御策略的有效性。

项目提供了跨图像扰动相似性分析工具，用于研究不同样本上生成的对抗噪声之间的相关性。这一分析有助于揭示模型中偏见表征的共享结构。