HNAM：基于启发式网络分析模型的AI入侵检测系统实现

HNAM是一个开源网络安全研究项目，实现启发式网络分析模型并结合机器学习技术进行实时入侵检测。其核心特点包括：多层次路由架构提取185+网络特征，支持PCAP文件分析与实时网络流量监控，旨在应对传统基于规则的IDS难以处理新型攻击的问题。

当今网络安全威胁复杂，传统基于规则的IDS难以应对新型攻击。HNAM项目应运而生，核心创新在于将启发式分析与AI技术结合，提出多层次启发式网络分析框架。与传统IDS依赖已知攻击特征库不同，HNAM通过动态分析流量行为模式结合ML识别异常，可发现零日攻击和未知威胁，体现从被动响应到主动预测、静态规则到动态学习的范式转变。

HNAM采用模块化架构，核心围绕创新的"路由器层次结构"展开：

1. 协议路由器：按TCP/UDP/ICMP等协议分类数据包，符合ISO-OSI七层模型，针对传输层协议做队列管理；
2. 主机路由器：按源IP分组流量，内部包含连接路由器管理该主机所有连接，可追踪单主机行为；
3. 通用路由器：接收所有数据包，提供全局流量分析视角；
4. 连接路由器：按五元组（协议、源IP、目的IP、源端口、目的端口）细分连接，精确追踪每个会话特征。

HNAM可提取185+网络特征，涵盖三个层级：

• 连接层：数据包长度分布、到达时间间隔、负载统计、TCP标志位分析及熵/偏度/峰度等；
• 主机层：地址/端口/协议数量统计、TCP标志位聚合信息；
• 协议/通用层：源/目的地址和端口数量统计、TCP标志位整体分布。

ML集成方面，采用随机森林、孤立森林（用于异常检测与分类），以及基于PyTorch的自编码器（学习正常流量表示，通过重构误差识别异常）。系统通过优先级计算模块结合ML评分与流量频率，为路由器分配动态优先级，集中资源于可疑活动。

HNAM支持两种运行模式：

1. 实时捕获模式：集成tshark和pyshark，从网络接口捕获实时流量（需root权限），支持Ctrl+C优雅终止并确保日志正确关闭；
2. PCAP文件分析模式：离线分析预先录制的流量文件，支持"实时回放"按原始时间间隔重放PCAP。

批量处理场景提供多个Shell脚本：run_all_pcaps_hunter.ids.sh（顺序处理）、run_all_pcaps_parallel_hunter.ids.sh（并行处理）、process_pcaps_in_dir.sh（目录批量处理）。

HNAM引入滑动窗口分析机制：

• 小窗口（默认10秒）：用于细粒度特征提取；
• 大窗口（默认30秒）：包含多个小窗口，用于QueueStats统计计算。

QueueStats模块在独立线程运行，每个大窗口周期计算40+指标，分为：

• 通用队列统计（gq_前缀）：平均队列长度、主机数量、协议分布百分比等；
• 通用连接统计（gq_cq_前缀）：总连接数、连接队列平均长度等；
• 选定路由器统计（sq_前缀）：高优先级路由器的队列长度、优先级得分等；
• 选定连接统计（sq_cq_前缀）：重点监控连接的深度分析指标。

多时间尺度分析可捕捉瞬时异常与长期趋势变化。

HNAM配置灵活：

• 核心参数：通过configuration.json调整分析窗口大小、最小数据包阈值等；
• 协议支持：protocol_list.conf定义支持的协议（按ISO-OSI七层分类），未识别协议记录到Monitoring.json便于扩展；
• 优先级权重：调整alpha_frequency和alpha_s1_priority平衡流量频率与ML评分权重。

技术依赖包括Python3.10+、tshark、pyshark、pandas、numpy、scikit-learn、PyTorch等；可选工具如hyperfine（性能测试）、jq（JSON处理）。部署中实时模式需适当权限，大规模部署建议并行处理与硬件优化。

HNAM应用场景广泛：

• 学术研究：提供实验平台验证启发式分析与ML在入侵检测中的有效性；
• SOC：补充现有安全设施，提供AI异常检测能力；
• 威胁狩猎：帮助分析师深度分析可疑流量，发现潜在APT活动；
• 安全培训：教学工具，理解流量分析、特征工程与ML在安全中的应用。

总结：HNAM结合启发式分析、多层次路由架构与ML技术，为现代网络安全挑战提供创新解决方案。开源特性促进社区协作，未来将更适应演进的网络威胁，是AI驱动网络安全技术的参考实现。