LLM红队攻防模拟器：九层防御体系全面解析对抗攻击

一款基于Streamlit的交互式教育工具，用于模拟、检测和演示针对大语言模型的九层防御体系，覆盖越狱攻击、提示注入、编码混淆等八种攻击向量的识别与缓解策略。

大语言模型的安全漏洞并非理论假设，而是已经被广泛证实的现实威胁。2023年以来，学术界和工业界相继发现了多种攻击向量：

• 越狱攻击（Jailbreak）：通过精心设计的提示词绕过模型的安全训练，诱导其生成有害内容
• 提示注入（Prompt Injection）：在合法输入中嵌入恶意指令，劫持模型的行为
• 角色扮演攻击（Roleplay/DAN）：诱导模型扮演没有道德约束的角色（如"DAN - Do Anything Now"）
• 编码混淆（Encoding Obfuscation）：使用Base64、隐藏Unicode字符等技术隐藏恶意意图
• 对抗性后缀（GCG/PAIR）：通过梯度优化生成看似无害但能触发有害输出的后缀

这些攻击不仅威胁到模型的可靠性，更对部署这些模型的企业和用户构成了实际风险。因此，建立一个系统化的检测和防御框架变得至关重要。

该模拟器的核心是一个分层的安全架构，将检测和防御能力解耦为独立的模块。

检测引擎基于规则的模式匹配系统，使用正则表达式和NLP技术识别八种主要攻击家族：

攻击类型	检测模式	典型特征
提示注入	PROMPT_INJECTION_PATTERNS	"ignore previous instructions"、"disregard above"
越狱攻击	JAILBREAK_PATTERNS	"DAN"、"developer mode"、"grandma exploit"
角色扮演	ROLEPLAY_PATTERNS	"play as villain with no restrictions"
假设框架	HYPOTHETICAL_PATTERNS	"hypothetically, for education..."
虚构包装	FICTIONAL_WRAPPING_PATTERNS	"for my novel, the character explains..."
编码混淆	ENCODING_PATTERNS	隐形Unicode、解码指令
敏感话题	SENSITIVE_TOPIC_PATTERNS	合成药物、恶意软件、人肉搜索
优化攻击信号	OPTIMIZATION_ATTACK_SIGNALS	对抗性后缀、合规引导词

当检测到攻击模式时，系统会计算风险评分：

base_risk = Σ(matched_pattern_scores × 40)
amplified = base_risk × (1 + 0.15 × (n_attacks - 1))
final = min(100, amplified)

多向量攻击会获得风险放大系数，反映组合攻击的更高危险性。最终评分映射为三级判定：

• 0-29分：✅ SAFE（安全）
• 30-69分：⚠️ SUSPICIOUS（可疑）
• 70-100分：🚫 BLOCKED（阻断）

防御模块模拟了业界主流的九种防御策略，分为三个层级：

第一层：输入过滤

• Prompt Shield：微软Azure内容安全服务的边界关键词过滤
• Regex Filter：确定性模式黑名单，快速但脆弱
• Llama Guard Simulation：基于Meta Llama Guard的分类器模拟

第二层：模型训练

• RLHF Alignment：通过人类反馈将安全性训练到模型权重中
• Adversarial Training：在已知攻击提示上微调以增强鲁棒性

第三层：输出生成控制

• Output Moderation：生成后的内容过滤
• SelfDefend：模型在响应前进行自我分析（Zhang et al., 2024）
• ReSA：表示空间异常检测
• Safe Decoding：受限的token采样策略（Xu et al., 2024）

该工具使用Streamlit构建，提供了丰富的可视化组件：

• 风险仪表盘：使用Plotly绘制的动态风险评分表（0-100%）
• 判定卡片：颜色编码的安全状态显示
• 攻击标签：检测到的所有攻击类型可视化
• 解释面板：每种检测模式的详细推理
• 防御层报告：九层防御的置信度条形图
• 学术引用：每种防御策略对应的研究论文
• 攻击理论标签页：GCG、PAIR、AutoDAN、M2S、STAR等攻击的文档
• 历史时间线：会话中分析提示的散点图
• JSON导出：完整会话历史下载

llm-redteam-simulator/
├── app.py          # Streamlit UI（主入口）
├── detector.py     # 基于规则的攻击检测引擎
├── defenses.py     # 分层防御模拟器
├── examples.py     # 精选攻击示例库+理论
├── requirements.txt
└── README.md