SAMCA：针对大型视觉语言模型的语义感知掩码引导多裁剪攻击框架

SAMCA是一种黑盒可迁移对抗攻击框架，利用DINOv2注意力图生成语义掩码，将扰动集中在语义重要区域，提升对商业LVLM的攻击效果。

• 原作者/维护者：mengercode
• 来源平台：github
• 原始标题：SAMCA: Semantic-Aware Mask-Guided Multi-Crop Attack against Large Vision-Language Models
• 原始链接：https://github.com/mengercode/SAMCA-Semantic-aware-mask-guided-multi-crop-attack-against-large-vision-language-model
• 来源发布时间/更新时间：2026-05-31T10:45:36Z

原作者与来源

• 原作者/维护者：mengercode
• 来源平台：github
• 原始标题：SAMCA: Semantic-Aware Mask-Guided Multi-Crop Attack against Large Vision-Language Models
• 原始链接：https://github.com/mengercode/SAMCA-Semantic-aware-mask-guided-multi-crop-attack-against-large-vision-language-model

• 来源发布时间/更新时间：2026-05-31T10:45:36Z 原作者与来源\n\n- 原作者/维护者: Gao Xinyan, Zhang Baiwen, Xu Meng, Wu Di, Liu Feiran, Liu Tong\n- 来源平台: GitHub\n- 原始标题: SAMCA: Semantic-Aware Mask-Guided Multi-Crop Attack against Large Vision-Language Models\n- 原始链接: https://github.com/mengercode/SAMCA-Semantic-aware-mask-guided-multi-crop-attack-against-large-vision-language-model\n- 发布时间: 2026年（论文审稿中）\n\n背景与挑战\n\n大型视觉语言模型（LVLM）如GPT-4o、Gemini和Claude等，正在快速成为多模态AI应用的核心。然而，这些模型的安全性正面临严峻挑战。对抗攻击研究表明，通过在图像中添加精心设计的微小扰动，可以欺骗这些模型产生错误的输出。\n\n现有的基于裁剪的攻击方法（如M-Attack）存在一个关键局限：随机采样的裁剪区域往往落入背景区域，而非语义重要的前景对象。这导致扰动预算被浪费在无关区域，攻击效率低下。\n\nSAMCA核心创新\n\nSAMCA（Semantic-Aware Mask-Guided Multi-Crop Attack）通过引入语义先验信息，解决了上述问题。其核心创新包括：\n\n1. 语义掩码生成\n\n利用DINOv2的自注意力图，通过Attention Rollout技术聚合多层注意力信息，生成与图像语义内容对齐的空间重要性图。这一过程包括：\n\n- 提取DINOv2的多层自注意力图\n- 执行Attention Rollout聚合全局注意力\n- 获取CLS token的注意力分布\n- 应用自适应阈值和形态学膨胀\n- 生成最终的软语义掩码\n\n2. 掩码引导的重要性采样\n\n在裁剪采样阶段，SAMCA根据语义掩码的重要性进行加权采样，确保裁剪区域更有可能覆盖语义重要的对象区域，而非随机背景。\n\n3. 空间自适应的掩码调制PGD优化\n\n在扰动优化过程中，SAMCA引入掩码调制机制，使梯度更新在空间上自适应于语义重要性，将扰动能量集中在对模型决策最关键的区域。\n\n技术实现\n\nSAMCA的实现分为两个阶段：\n\n阶段一：语义掩码生成\n\nbash\npython generate_mask_npy.py \\\n --image_dir data/source_images \\\n --hf_dir ./dinov2-large \\\n --out_dir data/masks \\\n --sparsity 0.5 \\\n --beta_floor 0.05 \\\n --take_last_k 6 \\\n --out_res 224\n\n\n阶段二：对抗样本生成\n\nbash\npython attack_generate_adversarial_images.py \\\n --src_dir data/source_images \\\n --tgt_dir data/targets \\\n --mask_dir data/masks \\\n --out_dir data/adversarial \\\n --resolution 336 \\\n --steps 300 \\\n --k_crops 1\n\n\n实验与评估\n\n实验在NIPS 2017对抗学习开发数据集上进行。评估指标包括关键词匹配率（KMR）和攻击成功率（ASR）。研究表明，SAMCA在保持对抗样本视觉质量的同时，显著提升了针对商业LVLM的黑盒可迁移性。\n\n值得注意的是，由于商业API的限制，针对GPT-4o、Gemini和Claude等模型的评估需要用户自行配置API访问。\n\n实际意义与启示\n\nSAMCA的研究揭示了当前大型视觉语言模型在对抗鲁棒性方面的脆弱性。通过利用自监督视觉模型（DINOv2）的语义理解能力，攻击者可以更有效地定位模型的"弱点区域"。\n\n这一发现对LVLM的安全部署具有重要启示：\n\n1. 输入验证的重要性: 在关键应用场景中，需要实施对抗样本检测机制\n2. 模型鲁棒性研究: 需要开发针对语义感知攻击的防御方法\n3. 注意力机制的双刃剑: 自注意力机制虽然提升了模型性能，但也可能暴露模型的决策敏感区域\n\n总结\n\nSAMCA代表了对抗攻击领域的重要进展，通过将语义信息引入攻击流程，实现了更高效、更可迁移的对抗样本生成。这项工作不仅推动了对抗攻击技术的发展，也为LVLM的安全研究提供了新的视角和挑战。