Intrusion Tracker：基于分层混合架构的实时网络入侵检测系统

本文介绍 Intrusion Tracker，一个结合监督式签名检测与无监督异常检测的混合网络入侵检测系统，利用 CICIDS2017 数据集实现多类型网络攻击的实时识别与分类。

现代网络环境面临两类威胁：已知的攻击模式（如特定类型的DDoS、端口扫描）和未知的零日攻击。传统的基于签名的检测系统对已知威胁有效，但面对新型攻击束手无策；纯异常检测系统虽然能发现未知威胁，却容易产生大量误报，让安全分析师疲于应对。

Intrusion Tracker 项目提出了一种分层混合架构（Hierarchical Hybrid Pipeline），试图同时解决这两个问题：既保持对已知攻击的高精度识别，又具备发现新型威胁的能力。

项目基于加拿大网络安全研究所发布的 CICIDS2017 数据集进行训练和评估。该数据集模拟了真实网络环境中的正常流量和多种攻击类型，包括：

• Botnet 攻击：恶意软件控制下的僵尸网络活动
• DDoS 攻击：分布式拒绝服务攻击，耗尽目标资源
• 端口扫描：攻击者探测开放端口以寻找入侵入口
• Web 攻击：针对应用层的SQL注入、跨站脚本等

数据集包含网络流的80多个统计特征，如流持续时间、包数量、字节数、标志位统计等，为机器学习模型提供了丰富的输入信息。

项目的核心创新在于将两类检测方法有机整合，形成互补的防御体系：

第一层：无监督异常检测

使用去噪自编码器（Denoising Autoencoder）和孤立森林（Isolation Forest）建立正常网络行为的基线模型。任何显著偏离基线的流量都会被标记为潜在异常。这一层的优势在于无需标注数据即可训练，能够发现训练集中未出现过的攻击模式。

第二层：监督式签名验证

被第一层标记为异常的流量，会进入第二层进行精细分析。LightGBM和深度前馈神经网络（FFNN）组成的分类器，基于已标注的攻击样本学习各类攻击的精确特征。这一层的作用是验证异常是否真的构成威胁，并确定具体的攻击类型。

LGBM 否决机制

项目独创的"LGBM Veto"逻辑是架构的关键。当第一层异常检测产生警报时，第二层的高精度分类器会对其进行二次判断。如果分类器认为该流量属于正常类别，则否决异常检测结果，避免误报。这种分层决策显著降低了误报率，同时保留了对真正威胁的敏感性。

项目提供了两类模型在关键攻击类型上的召回率对比：

攻击类型	自编码器（异常检测）	LightGBM（签名检测）
Botnet	73.5%	99%
DDoS	83.1%	100%
端口扫描	96.6%	100%

数据表明，对于特征明显的攻击类型（如DDoS、端口扫描），两类模型都能达到较高召回率；但对于更隐蔽的Botnet活动，监督式模型的优势更加明显。这验证了混合架构的必要性——异常检测提供广覆盖，签名检测提供高精度。

FastAPI 后端架构

项目采用 FastAPI 构建高性能推理服务，利用 Pydantic v2 进行超低延迟的数据验证。FastAPI 的异步特性使其能够处理高并发网络流，满足实时监控的需求。

边缘计算优化

虽然模型训练使用GPU加速，但推理引擎针对ARM架构进行了专门优化，无需硬件加速即可运行。这使得系统可以部署在边缘设备上，如工业网关或物联网安全节点，实现分布式威胁检测。

SHAP 可解释性

项目集成 SHAP（SHapley Additive exPlanations）分析，为每个预测结果提供特征重要性解释。安全分析师不仅知道流量是否恶意，还能了解哪些特征触发了警报（如异常高的包速率、特定的TCP标志组合），从而做出更明智的响应决策。

WebSocket 实时流

后端支持 WebSocket 协议，将检测结果实时推送到监控仪表盘。安全运营中心（SOC）的分析师可以在攻击发生时立即收到通知，缩短响应时间。

项目提供了完整的部署方案：

# 安装依赖
pip install -r requirements.txt

# 启动服务
python router.py

系统支持两种数据输入模式：原始PCAP包文件或CICIDS格式的网络流记录。用户可以通过REST API批量分析历史数据，也可以通过WebSocket接入实时流量。

项目作者还开发了配套的生产级后端系统（IntrusionBackend）和在线演示平台。完整的技术文档涵盖了数据清洗步骤、模型超参数选择、以及研究方法论，为希望深入理解或复现该系统的研究者提供了详实参考。