基于机器学习的网络入侵检测系统：从NumPy实现到可解释AI

本文介绍的开源项目展示了一套完整的网络入侵检测解决方案：基于CICIDS 2017数据集对比六种机器学习模型（含NumPy从零实现的逻辑回归和MLP神经网络），应用SMOTE处理数据不平衡问题，并通过SHAP实现可解释性分析，同时遵循IEEE标准评估体系，为网络安全领域AI应用提供可复现参考。

网络安全的AI转型挑战

传统基于规则的入侵检测系统（IDS）难以应对不断演进的攻击手法和零日漏洞。机器学习的异常检测技术为解决这一困境提供了新思路。

CICIDS 2017数据集详情

项目选用加拿大网络安全研究所发布的CICIDS 2017数据集，包含一周真实网络流量，涵盖正常流量及DoS/DDoS、端口扫描、暴力破解、Web攻击、渗透攻击等多种类型，提供80+流量特征（如流持续时间、数据包长度统计等）。

六大模型对比

项目对比了六种机器学习模型：逻辑回归（NumPy从零实现，理解梯度下降、Sigmoid激活等机制）、MLP神经网络（NumPy手动实现前向/反向传播）、决策树、随机森林、支持向量机、梯度提升树，形成从线性到集成方法的完整谱系。

数据不平衡解决方案

针对网络流量中正常样本占比极高的问题，采用SMOTE技术生成少数类（攻击）合成样本，提升模型对罕见攻击的检测敏感度。

可解释AI：SHAP值应用

为解决模型黑箱问题，引入SHAP值：

• 量化特征对预测的贡献度（正值推动攻击判定，负值抑制）；
• 提供单个实例的局部解释；
• 通过摘要图和力图可视化特征影响。

检测任务设计

支持两种模式：

• 二分类：正常vs攻击（快速告警）；
• 多分类：区分攻击类型（如SQL注入、DDoS），支持精细化响应。

IEEE标准评估体系

遵循IEEE规范，采用全面指标：准确率、精确率、召回率、F1分数、混淆矩阵、ROC曲线与AUC，确保结果可信可复现。

工程实践价值

• 教育意义：从零实现模型加深算法理解；
• 端到端流程：覆盖数据预处理到模型解释全链路；
• 开源协作：允许社区复现改进，推动领域进步。

网络入侵检测是机器学习在安全领域的典型应用，本项目展示了从数据到部署的完整技术路径。未来，基于AI的检测系统将更重要，需持续探索可解释性、鲁棒性与实时性的平衡。