RuleSHAP：用全局规则提取技术审计大语言模型中的注入行为

RuleSHAP是结合SHAP值与规则提取的新型可解释AI（XAI）方法，能够检测并解释大语言模型（LLM）中被故意注入的误导性行为，为AI安全审计提供实用工具。该项目对应2026年ACM SIGKDD会议论文，核心创新在于将SHAP特征归因与规则提取结合，捕捉特征交互效应，生成人类可理解的规则表达式。

随着LLM在各类场景广泛部署，其生成内容的可靠性与安全性问题凸显。传统全局可解释性方法（Global XAI）针对结构化数值数据设计，难以直接应用于自然语言输入输出。这导致审计LLM是否存在注入行为模式时，缺乏有效手段理解模型决策逻辑，尤其在联合国可持续发展目标（SDGs）等关键领域，识别缓解认知偏差至关重要。

项目概述

RuleSHAP由Francesco Sovrano开发，提供完整实验流程与工具链，评估全局XAI方法检测LLM注入行为的能力。

技术实现路径

采用文本到序数特征工作流程：1. 围绕SDGs构建主题集合，多维评分（普遍性、积极性等）；2. 受控行为注入（不同难度级别）；3. 提取输出指标（解释长度、主观性等）。

核心机制

结合SHAP引导特征归因与规则提取：先计算特征SHAP值，再基于加权信息提取全局规则，捕捉特征交互效应。相比纯SHAP、决策树、RuleFit、GELPE等基线方法，具有规则可解释性、处理复杂交互、避免过拟合等优势。

项目采用评估框架，指标包括规则匹配互反秩、规则保真度及统计显著性检验。实验结果显示，RuleSHAP持续优于传统全局XAI方法，尤其在检测非单变量注入行为（需多特征组合识别的复杂模式）时优势更明显。

RuleSHAP在多场景有应用价值：

• 模型安全审计：部署前检测LLM是否注入偏见或误导行为，适用于金融、医疗等高风险领域；
• 红队测试：安全人员测试模型鲁棒性，识别攻击向量；
• 模型改进：通过提取规则指导训练数据或微调策略优化；
• 监管合规：提供可审计、可解释方法证明模型符合规范。

局限性

当前实现主要针对SDGs领域，其他领域泛化能力需验证；实验计算成本高，需大量资源。

未来方向

扩展主题覆盖范围、优化计算效率、开发实时检测能力、应用于多模态模型等。

RuleSHAP代表可解释AI领域重要进展，为理解和审计LLM行为提供强有力工具。在AI系统复杂且广泛部署的今天，其揭示模型内部机制的能力具有重要实践价值，值得AI安全、可解释性及负责任AI开发的研究者和从业者关注探索。