RuleForge：AWS如何用LLM自动化生成漏洞检测规则，将误报率降低67%

RuleForge核心要点

AWS内部系统RuleForge通过LLM-as-a-Judge验证机制和5x5生成策略，实现从Nuclei模板自动生成JSON漏洞检测规则。该系统在保持高检出率的同时，将误报率降低67%，有效解决了漏洞检测规则开发跟不上漏洞披露速度的规模化困境。

背景：漏洞检测的规模化困境

2025年美国国家漏洞数据库(NVD)发布超48,000个新漏洞，安全团队人工开发检测规则的速度远跟不上漏洞披露节奏。传统人工模式依赖专家经验，效率低下且易因疲劳导致遗漏或错误，业界迫切需要自动化、规模化的高质量规则生成方案。

方法：RuleForge核心架构与5x5生成策略

核心架构

RuleForge工作流程：输入Nuclei模板→提取关键漏洞特征→生成候选检测规则→多维度质量验证→输出最终JSON规则。

5x5生成策略

• 并行生成5个候选规则，利用LLM生成多样性；
• 每个候选规则最多5轮迭代优化，修正缺陷；
• 验证结果反馈生成过程，形成闭环改进。

证据：LLM-as-a-Judge验证机制的效果

RuleForge引入LLM-as-a-Judge进行双重维度评估：

• 灵敏度：确保捕获真正攻击流量，避免漏报；
• 特异度：确保不将正常流量误判为攻击，避免误报。

该机制使系统实现0.75的AUROC，误报率相比仅用合成测试的方法降低67%，让安全团队聚焦真实威胁。

扩展能力与实践经验

扩展能力

• 探索从非结构化数据源（安全公告、漏洞报告等）生成规则；
• 验证多事件类型检测，识别复杂攻击链和组合威胁。

实践教训

• LLM存在过度自信问题，需独立验证机制；
• 领域专家在提示词设计和结果审核中不可或缺；
• 人机协作是当前最有效模式，LLM是工具而非替代品。

技术细节：JSON规则与集成部署

RuleForge生成JSON格式规则的考量：

• 可解析性：便于程序化处理和集成；
• 标准化：统一结构利于管理和版本控制；
• 性能：JSON解析优化，适合高吞吐量检测场景。

系统与AWS内部检测基础设施深度集成，生成规则可直接部署生产，缩短漏洞披露到防护的时间窗口。

结论与行业启示

RuleForge代表安全运营自动化的重要方向，纯人工规则开发模式已难以为继。自动化生成+智能验证的混合模式或成主流。

对安全团队的启示：

1. 构建适合自身环境的自动化规则生成流程；
2. 设计有效验证机制确保规则质量；
3. 平衡自动化与人工审核的最佳点。

LLM在网络安全领域潜力巨大，但需结合精心系统设计、严格验证和持续迭代优化。