Prompt-Siren：Meta开源的LLM提示注入攻防研究平台

Meta推出的Prompt-Siren是一个专门用于开发和测试大语言模型提示注入攻击与防御策略的研究工作台，支持AgentDojo和SWE-bench基准测试，提供精细化的状态机控制和可扩展的插件架构。

随着大语言模型越来越多地被集成到各类应用中，提示注入攻击已成为AI安全领域最紧迫的威胁之一。攻击者可以通过精心构造的输入劫持模型行为、窃取敏感信息或执行未授权操作。然而，系统性地研究和防御这类攻击一直缺乏标准化的工具支持。

Meta推出的Prompt-Siren正是为解决这一问题而设计的专业研究工作台。它提供了一个完整的实验环境，让研究人员能够安全、可复现地开发和测试针对大语言模型的攻击与防御策略。

Prompt-Siren的设计体现了几个关键理念：

不同于简单的脚本式攻击测试，Prompt-Siren采用状态机设计，为智能体执行提供细粒度控制。这意味着研究人员可以精确地定义攻击的每个阶段、观察中间状态、并在关键点进行干预。这种设计特别适合复杂的攻击场景，如多轮对话中的渐进式注入。

平台原生支持两个重要的安全基准：

• AgentDojo：专注于智能体工作流中的安全评估
• SWE-bench：基于真实世界代码编辑任务的安全测试

这种多基准支持使研究人员能够在不同场景下验证攻击和防御的有效性。

Prompt-Siren采用Hydra进行实验编排，支持强大的参数扫描功能。研究人员可以轻松地进行大规模实验，比较不同配置下的表现。

平台采用可扩展的插件系统，支持自定义：

• 智能体（Agents）：定义被测试的AI系统行为
• 攻击策略（Attacks）：实现具体的提示注入技术
• 环境（Environments）：模拟不同的应用上下文

这种模块化设计使社区能够贡献新的攻击向量和防御机制，持续丰富研究生态。

考虑到大语言模型API调用的成本，Prompt-Siren内置了使用限制机制：

• 成本上限控制
• 调用次数限制
• 自动缓存和结果组织

这些功能确保研究可以在预算可控的前提下进行。