双层自适应网络安全检测系统：用NLP与机器学习对抗不断演化的社交工程攻击

本文介绍由Usha Martin University团队开发的双层自适应网络安全检测系统，结合随机森林分类器与专家规则引擎，可识别邮件、短信等中的7种社交工程攻击类型，准确率达98.18%。系统具备自适应学习能力，能持续更新以应对演化的攻击模式，为社交工程攻击检测提供实用、可解释的解决方案。

当今数字化社会中，社交工程攻击手段不断演化（如利用紧迫感、权威感等心理操控），传统基于规则或单一机器学习模型的检测系统难以跟上。为此，团队开发该双层自适应系统，旨在解决攻击模式快速变化的挑战，同时实现高准确率与自适应能力。

系统核心为双层架构：

1. 随机森林分类器：训练于197,909条样本，识别7类攻击（安全、钓鱼、紧急操控、权威冒充、金融诈骗、恶意软件/可疑链接、凭证窃取），准确率98.18%。
2. 九规则专家引擎：捕获ML遗漏的微妙攻击，规则表如下：

   规则名称	检测目标	严重程度	评分
   Impersonation	权威身份冒充	CRITICAL	85
   Credential Theft	紧急索要OTP/密码	CRITICAL	90
   Urgency Escalation	时间压力+威胁组合	HIGH	70
   Context Attack	金融/法律/健康/工作诱饵	HIGH	65-70
   Subtle Manipulation	奉承、虚假亲密、稀缺性	MEDIUM-HIGH	20-60
   Obfuscation	变形文字、隐形字符、URL	HIGH-CRITICAL	65-90
   Mixed Signal	信任词汇+攻击词汇组合	HIGH	70
   Malware Install	诱导安装应用/快递失败	HIGH	72
   Safe Signals	真实通信模式	LOW	-30
   决策融合：威胁评分=ML得分×50% +规则引擎得分×50%，CRITICAL规则可覆盖ML预测。

系统构建10,012维特征向量：

• TF-IDF特征（10,000维）：scikit-learn实现，提取unigram/bigram，sublinear_tf降低高频词影响。
• 心理操控特征（8维）：包括凭证短语、权威标记、链接紧急性等，经×10缩放增强权重。
• 攻击模式特征（4维）：识别混淆、混合信号、微妙操控、上下文攻击等技术手段。

为应对攻击演化，系统设计自适应机制：

• 数据分割：197,909样本按70%-15%-15%分为T1（训练）、T2a（漂移集，模拟新攻击）、T2b（测试）。
• 实验结果：自适应后性能提升：

  指标	自适应前（T1→T2b）	自适应后（T1+T2a→T2b）	提升
  Accuracy	97.65%	98.18%	+0.53%
  Precision	97.64%	98.18%	+0.54%
  Recall	97.65%	98.18%	+0..53%
  F1 Score	0.9763	0.9818	+0.0055
  证明系统可通过学习新样本保持检测时效性。

技术栈：Python3.10+、scikit-learn1.8.0、NLTK3.9.4、Streamlit1.35+、pandas/NumPy。 预处理流程：原始消息→小写→URL标记→停用词过滤→词形还原→特征提取。 Web部署：Streamlit界面提供实时威胁评分、风险等级、攻击类别、检测证据及安全建议。 数据集：整合CEAS_08、phishing_email、Enron等多源数据，覆盖邮件、短信等渠道。 启示：混合架构（ML+规则）互补优势；规则引擎提升可解释性；自适应能力是应对攻击演化的关键。

未来方向：集成更多Hugging Face钓鱼数据集、探索BERT等深度学习模型、开发实时流式版本。 总结：该系统通过精心设计的特征工程、双层架构及自适应机制，构建了实用、可解释、可演化的检测平台，为安全团队提供参考案例。 项目信息：作者Mohammad Kaif等，机构Usha Martin University，许可证MIT，代码仓库：https://github.com/kaif0102/Adaptive-Detection-of-Evolving-Language-Based-Cyber-Attacks。