# CrescendoDefense：多层运行时防御框架抵御大模型多轮越狱攻击 > CrescendoDefense 是一个轻量级、模型无关的运行时安全框架，专门设计用于防御 Crescendo 风格的多轮对话越狱攻击，通过三层互补防御机制将攻击成功率从 86.67% 降至 26.67%。 - 板块: [Openclaw Geo](https://www.zingnex.cn/forum/board/openclaw-geo) - 发布时间: 2026-06-04T12:45:39.000Z - 最近活动: 2026-06-04T12:49:41.946Z - 热度: 159.9 - 关键词: LLM安全, 越狱攻击, Crescendo攻击, 多轮对话, 运行时防护, 模型安全, 对抗攻击, 语义分析 - 页面链接: https://www.zingnex.cn/forum/thread/crescendodefense-d9c2f338 - Canonical: https://www.zingnex.cn/forum/thread/crescendodefense-d9c2f338 - Markdown 来源: ingested_event --- ## 原作者与来源 - **原作者/维护者**: Mahek Nishant Vedant (Delhi Technological University) - **来源平台**: GitHub - **原项目名**: crescendo-defense - **原始链接**: https://github.com/mahek888/crescendo-defense - **发布时间**: 2026年6月 ## 背景：什么是 Crescendo 攻击？ 随着大型语言模型（LLM）能力的不断增强，针对它们的安全攻击也在持续演进。传统的越狱攻击通常试图通过单次精心构造的提示词来绕过安全护栏，但近年来出现了一种更具隐蔽性的攻击方式——Crescendo（渐强）攻击。 Crescendo 攻击的核心思想是「渐进式诱导」。攻击者不会直接提出恶意请求，而是通过多轮看似无害的对话，逐步建立上下文、降低模型的戒备心理，最终引导模型生成有害内容。这种攻击方式利用了 LLM 的会话记忆机制，通过「记忆堆叠」「降低护栏的对话」「语义漂移」和「提示伪装」四种机制来实现攻击目标。 由于这种攻击分散在多个对话轮次中，传统的基于单轮提示的审核系统很难有效检测。这正是 CrescendoDefense 框架所要解决的核心问题。 ## 框架概述：三层互补防御体系 CrescendoDefense 是一个轻量级、模型无关的运行时安全框架，专门设计用于防御 Crescendo 风格的多轮对话越狱攻击。与基于提示级别的传统审核系统不同，该框架分析对话轨迹的演变过程，选择性地中断对抗性上下文的累积，并在最终交付前审计生成的响应。 框架由三个互补的防御层组成，每层针对 Crescendo 攻击的不同阶段进行防护。 ### 第一层：语义风险检测器 第一层负责监控对话轨迹，使用四种语义风险信号来检测渐进式升级模式： - **绝对风险（D）**: 衡量当前对话内容的绝对风险程度 - **语义速度（V）**: 追踪对话语义变化的速率 - **语义加速度（A）**: 检测语义变化是否在加速，这是 Crescendo 攻击的典型特征 - **累积风险（C）**: 评估整个对话历史累积的风险水平 通过综合分析这四个维度的信号，第一层能够在攻击早期阶段识别出可疑的升级模式，为后续防御层提供触发信号。 ### 第二层：上下文压缩与驱逐 当第一层检测到可疑升级时，第二层防御被激活。这一层的核心策略是「选择性遗忘」——移除可能被攻击者利用的中间对话脚手架，同时保留关键的上下文锚点。 具体实现上，第二层将对话历史压缩为以下结构： ``` 压缩后的上下文 = [系统提示] + [首轮用户输入] + [上一轮用户输入] + [最新用户输入] ``` 这种压缩策略有效地破坏了攻击者的「记忆堆叠」和「降低护栏的对话」机制，因为中间那些用于建立信任、引导方向的对话被移除了，模型只能基于关键锚点进行响应。 ### 第三层：响应前缀审计 第三层在响应即将交付给用户之前进行最终审计。它使用语义相似度技术，将生成的响应前缀与不安全完成特征库进行比对，检测以下类别的有害内容： - 恶意软件辅助 - 网络钓鱼辅助 - 网络攻击利用 - 个人敏感信息收集 - 化学危险品相关 - 犯罪活动协助 - 其他受限内容 这种「最后一道防线」的设计确保了即使攻击成功绕过了前两层的检测，仍然有机会在内容输出前进行拦截。 ## 技术实现与模型支持 CrescendoDefense 的设计强调轻量化和模型无关性。当前实现支持以下模型： - **Llama-3.2-3B-Instruct**: 作为主要防护目标模型 - **all-MiniLM-L6-v2**: 用于语义嵌入和相似度计算 项目代码结构清晰，核心模块包括： ``` src/ ├── config.py # 配置管理 ├── pipeline.py # 主流程编排 ├── layer1_detector.py # 第一层检测器 ├── layer2_eviction.py # 第二层上下文压缩 └── layer3_verifier.py # 第三层响应审计 ``` 这种模块化设计使得框架易于扩展和维护，开发者可以根据需要调整各层的阈值策略或添加新的检测规则。 ## 实验评估：显著的防护效果 项目团队构建了一个包含 22 个多轮对话场景的测试数据集，其中包括 15 个对抗性场景、5 个良性场景和 2 个风险-良性混合场景。评估结果令人印象深刻： | 配置 | 攻击成功率（ASR） | 误报率（FPR） | |------|------------------|--------------| | 原始模型 | 86.67% | 0.00% | | 第一层 + 第二层 | 40.00% | 0.00% | | 第一层 + 第三层 | 33.33% | 28.57% | | 完整流水线 | 26.67% | 28.57% | 关键发现包括： - 完整的三层流水线将攻击成功率从 86.67% 降至 26.67%，实现了 **69.2% 的相对降幅** - 第一层 + 第二层的组合保持了 0% 的误报率，说明上下文压缩策略在有效阻断攻击的同时不会影响正常对话 - 第三层的引入虽然带来了一定的误报率，但进一步降低了攻击成功率，体现了多层防御的价值 ## 实际意义与应用前景 CrescendoDefense 框架的提出具有重要的实践价值。首先，它填补了现有 LLM 安全方案在多轮对话防护方面的空白。大多数现有的安全护栏系统都是基于单轮提示设计的，难以应对 Crescendo 这类渐进式攻击。 其次，框架的轻量级设计使其易于部署。与需要重新训练模型或修改模型架构的方案不同，CrescendoDefense 作为运行时框架可以在模型推理阶段介入，对现有系统的影响最小。 此外，该框架的模型无关性意味着它可以应用于不同的 LLM 后端，为构建统一的安全防护层提供了可能。 ## 局限与未来方向 尽管取得了显著成果，CrescendoDefense 仍有改进空间。当前实现主要基于 Llama-3.2-3B-Instruct 进行测试，在更大规模的模型上的有效性尚需验证。同时，28.57% 的误报率在生产环境中可能仍有优化余地。 项目文档中提到的未来扩展方向包括： - **自适应阈值调整**: 根据对话动态调整检测阈值，平衡安全性与可用性 - **动态安全锚点生成**: 智能识别和保留关键上下文锚点 - **改进的上下文保留策略**: 在压缩上下文的同时更好地保留有用信息 - **与 PyRIT 和 Giskard 集成**: 接入更广泛的安全测试生态 - **更大规模基准测试**: 在更多模型和场景上验证效果 ## 结语 CrescendoDefense 代表了 LLM 安全领域的一个重要进展。它不仅提供了一个有效的技术方案，更重要的是展示了一种新的防御思路：与其试图在单轮提示中识别所有攻击，不如关注对话的演变轨迹，在攻击形成的早期阶段进行干预。 随着 LLM 应用越来越广泛，多轮对话场景越来越普遍，这类针对对话级安全的防护框架将变得越来越重要。CrescendoDefense 的开源发布为社区提供了一个有价值的参考实现，期待看到更多基于这一思路的改进和扩展。