大语言模型能否解释AI？网络安全场景下的可解释AI研究

本文是一项探索大语言模型（LLM）在网络安全领域支持可解释AI（XAI）能力的实证研究，对比了LLM与传统SHAP/LIME方法的效果差异。核心问题是LLM能否可靠替代或增强传统XAI方法，研究通过实验设计和人工评估，揭示了LLM解释的幻觉问题及传统XAI数据的关键作用，并给出了使用LLM进行XAI的最佳实践。

机器学习模型在网络安全领域应用广泛（如入侵检测、恶意软件分析），但多以“黑盒”形式运作，决策过程难以理解。在高风险的网络安全场景中，可解释性是信任和行动依据的核心需求——安全分析师需理解模型决策原因，缺乏解释的预测难以指导实际响应。

数据集与场景

实验使用三个网络安全数据集：Network_logs.csv（网络流量特征与异常标记）、cybersecurity_intrusion_data.csv（入侵检测特征与标签）、KDD Cup数据集（经典入侵检测基准）。

对比方法

1. 纯LLM解释：直接提供模型输入和预测结果生成解释，无特征重要性信息；
2. LLM增强解释：结合SHAP/LIME特征重要性生成解释；
3. 传统XAI输出：直接使用SHAP/LIME原始特征重要性图表和数值。

评估模型

选用GPT-5（闭源）和GPT-OSS-20B（开源）两个代表性LLM。

关键发现：LLM的幻觉问题

纯LLM解释存在严重幻觉：

• 特征重要性幻觉：编造特征重要性，与实际模型逻辑不符；
• 语义偏见：基于特征名称语义推断（如“packet_size”假设大包可疑），与模型真实模式脱节；
• 一致性缺失：不同样本解释逻辑矛盾。

加入SHAP/LIME数据后，解释连贯性、对齐度提升，幻觉大幅减少。

人工评估结果

38名参与者偏好：

• 增强后的GPT-5解释最受欢迎（准确且易懂）；
• GPT-OSS-20B表现有竞争力；
• 原始SHAP/LIME输出因晦涩被普遍认为难以理解。

用户需求启示：准确性与可理解性需平衡，LLM增强方法是可行路径。

基于研究发现，提出使用LLM进行XAI的最佳实践：

1. 永远不裸用LLM：无传统XAI特征重要性数据时，直接使用LLM易产生幻觉；
2. LLM是增强器而非替代者：将传统XAI技术输出“翻译”为自然语言，补充上下文；
3. 保持可验证性：解释需追溯到具体特征重要性数据；
4. 考虑受众背景：支持多种解释粒度（技术专家偏好原始输出，决策者偏好自然语言）。

对网络安全实践的意义

• 入侵检测系统：LLM增强XAI加速安全分析师决策；
• 合规审计：满足决策可解释性与可审计性要求；
• 人机协作：改善AI与人类分析师的接口效率。

局限性与未来方向

• 模型范围有限：仅测试GPT-5和GPT-OSS-20B，其他LLM待验证；
• 领域特定性：结果基于网络安全数据集，其他领域可能不同；
• 长期稳定性：LLM行为随版本变化需持续监测。

未来方向：多模态解释、XAI优化LLM、标准化评估基准。

LLM虽强大，但非万能。在XAI场景中，盲目信任LLM易导致幻觉；其真正价值是作为传统XAI方法的“解释层”，转化技术输出为可理解知识。建议组织在集成LLM时，结合SHAP/LIME等传统方法，平衡准确性与可理解性。