LLM Secret Guard：基於 OWASP 框架的本地化 LLM 敏感資訊洩漏評估工具

本文将介绍LLM Secret Guard，这是一套针对大型语言模型（LLM）的敏感信息泄露与防御评估系统。它遵循OWASP LLM应用安全框架，支持多种攻击类型测试与防御策略比较，特别解决了现有工具对本地部署开源模型缺乏针对性测试的问题。

随着LLM在企业与个人应用中的普及，敏感信息泄露成为重要安全风险。OWASP 2023年发布的《OWASP Top10 for LLM Applications》将敏感信息泄露列为首要风险之一，提示注入（Prompt Injection）与系统提示泄露（System Prompt Leakage）也位列其中。然而，现有安全评估工具多聚焦于云端API模型，对本地部署的开源模型缺乏针对性测试框架，研究者与开发者需要可本地重复执行、量化比较、支持多种防御策略验证的工具。

LLM Secret Guard是基于OWASP LLM应用安全框架的本地化安全评估工具，专门测试LLM在攻击提示下是否泄露敏感信息。其核心设计理念是建立可重复、可量化、可比的测试流程，帮助研究者系统性评估不同模型与防御策略的效果。名称中的“Secret Guard”意为信息守卫，通过预设攻击集与评分机制识别模型面对恶意提示的脆弱点，且针对LLM生成式本质与上下文理解能力设计。

LLM Secret Guard的核心功能包括：

1. 固定攻击集测试：内建多种标准化攻击脚本，确保测试输入条件一致，结果可比；
2. 泄露等级判定机制：采用分级评估，根据敏感信息的敏感度与完整性打分，更真实反映风险；
3. 有效样本过滤：自动识别并过滤含敏感信息的有效样本，减少人工审查；
4. 防御分数计算：提供标准化防御分数计算方法，直观比较不同模型/配置的防御效果。

该工具目前支持以下常见攻击类型测试：

• Prompt Injection攻击：测试模型抵抗提示注入、防止系统指令被覆盖的能力；
• 跨语言攻击：验证模型面对非预期语言输入时的行为；
• 角色扮演攻击：测试模型在角色扮演情境下是否过度分享敏感信息；
• System Prompt Leakage：尝试提取模型的系统提示词，理解模型行为边界与潜在攻击面。

LLM Secret Guard的主要应用场景包括：学术研究中的模型安全评估、企业内部LLM部署前的安全审查、防御策略开发时的效果验证。未来计划将测试范围延伸至Web LLM App与Agent架构，有望发展为更全面的LLM应用安全评估解决方案。

LLM Secret Guard的出现反映了LLM安全领域从云端API安全向本地部署与开源模型安全延伸的趋势，为自主掌控模型部署的组织提供了风险管理的必要工具。同时，遵循OWASP框架的设计体现了安全标准化的重要性，有助于产业形成共识，推动防御技术的进步。