AgentWatcher：基于规则的提示注入攻击监控系统

AgentWatcher是针对提示注入攻击的监控系统，通过因果归因聚焦关键上下文片段，结合显式规则推理，在长上下文场景下实现可扩展、可解释的检测，有效平衡安全性与实用性。本文将从背景、方法、实验验证等方面展开介绍。

提示注入的威胁

大语言模型及智能体应用中，提示注入攻击利用LLM对输入的敏感性，通过恶意输入覆盖原始指令，诱导模型执行未授权操作（如泄露信息、调用危险API），无需技术漏洞即可实施，智能体场景风险更甚。

现有防御的两大问题

1. 可扩展性不足：随上下文长度增加，现有检测方法效果显著下降，难以处理数万token的对话历史或复杂文档。
2. 缺乏可解释性：基于黑盒模型或隐式匹配的方法无法解释检测结果，误报/漏报时难以诊断改进。

AgentWatcher通过因果归因识别对模型输出有决定性影响的最小上下文子集，解决长上下文挑战：

• 归因逻辑：找出改变后会显著影响输出的关键片段，聚焦检测范围。
• 优势：大幅降低计算负担（仅处理数百token）、提高检测准确性（排除无关干扰）、增强可解释性（标记可疑片段）。

AgentWatcher采用显式规则推理框架：

• 规则设计原则：可理解（安全专家能评估逻辑）、可验证（独立测试场景表现）、可修改（无需重新训练即可更新规则）。
• 推理过程：监控LLM基于预定义规则分析归因片段，输出带推理依据的判断（引用规则+应用逻辑），确保透明性。

在工具使用智能体基准和长上下文数据集上的评估结果：

• 检测有效性：有效识别直接/间接注入攻击，长上下文下性能稳定。
• 实用性：误报率低，不影响正常操作。
• 对比优势：准确率优于模式匹配方法，可解释性优于端到端模型，可扩展性优于全上下文处理方法。

部署考量

• 模块化架构：归因、规则引擎、监控模型可独立更新。
• 可控开销：归因降低计算需求，监控模型轻量（无需调用主LLM）。
• 灵活配置：可调整归因敏感度、规则严格度等适应不同场景。

生态意义

• 为开发者提供实用安全工具，无需大规模改造现有系统。
• 开源特性支持社区贡献规则与算法改进。
• 可解释性助力安全研究，推动可信AI构建。

当前局限

• 复杂场景下归因精度不足（如多片段交互影响输出）。
• 规则集仅覆盖已知攻击模式，难以应对零日攻击。
• 仅支持文本输入，未适配多模态智能体。

未来方向

• 优化归因方法捕捉复杂因果结构。
• 探索规则与学习结合，提升未知攻击鲁棒性。
• 扩展框架支持多模态注入检测。