重新思考大视觉语言模型的越狱检测：表征对比评分方法（RCS）

本文介绍ACL 2026开源论文提出的表征对比评分（RCS）方法，针对大视觉语言模型（LVLM）的越狱攻击检测问题，通过对比正常输入与越狱输入在模型表征层面的差异识别恶意提示。该方法开源代码库支持LLaVA、Qwen-VL等主流模型，旨在提升检测准确率与鲁棒性，推动多模态AI安全研究。

背景

大视觉语言模型（如GPT-4V、LLaVA、Qwen-VL）结合语言与视觉能力，但面临越狱攻击风险——攻击者通过图文组合诱导模型生成有害内容，攻击形式更复杂。

现有方法局限

• 基于输出检测：事后检测，损害已发生；
• 基于输入模式：难以应对新型攻击技巧；
• 基于困惑度：易误报正常复杂查询；
• 基于表征检测：缺乏系统性，难区分正常复杂输入与恶意输入。

RCS方法通过对比学习捕捉表征差异，核心组件包括：

1. 对比样本构建：生成待检测输入的正常版本、扰动版本及已知越狱模板样本；
2. 多层表征提取：分析模型多个隐藏层的表征，捕捉早期攻击影响；
3. 对比评分计算：基于余弦相似度、跨层一致性、与正常分布偏离度计算越狱分数；
4. 自适应阈值：动态调整阈值，减少复杂查询误判。

支持模型

代码库支持LLaVA-v1.6-Vicuna-7B、Qwen2.5-VL系列、InternVL3-8B、FLAVA等主流LVLM。

数据集

使用JailbreakV-28k、自定义图文越狱样本及正常查询。

关键结果

• 检测准确率（AUC）显著高于HiddenDetect等基线；
• 跨模型泛化能力强；
• 对自适应攻击鲁棒性优于规则方法；
• 通过层选择启发式优化计算效率。

技术实现

开源代码库包含：

• 核心脚本：kcd.py（RCS实现）、mcd.py（对比变体）、基线复现代码；
• 辅助工具：特征提取器、缓存机制、性能分析工具；
• 实验管理：批量运行脚本与可视化分析代码。

部署考量

• 集成策略：前置过滤器+人工审核；
• 性能权衡：层选择启发式平衡准确率与速度；
• 持续更新：添加新越狱样本优化模型；
• 误报处理：结合人工审核减少影响。

方法论贡献

1. 从输出检测转向表征检测，实现预防性安全；
2. 对比学习在安全领域的创新应用；
3. 多层级表征分析的系统性方法；
4. 提升检测可解释性（可视化表征对比）。

局限性与未来方向

• 局限：计算成本高、需验证对自适应攻击的有效性、多模态覆盖不足；
• 未来：高效表征提取、对抗训练集成、跨模态对比学习探索、实时阈值调整。

RCS方法代表LVLM安全研究的重要进展，通过表征层面分析重新定义越狱检测问题，开源实现为学术界与工业界提供基础。随着多模态AI普及，该研究有望推动领域进一步发展，值得安全研究者与工程师关注。