章节 01
导读 / 主楼:开源威胁情报平台:用本地LLM自动分析恶意软件警报
一个基于Python的威胁情报平台,通过爬取印度网络安全中心(CSK)的恶意软件警报,使用本地LLM(llama3.2:1b)自动分析并生成STIX格式的结构化威胁情报,最终通过Streamlit仪表板展示。
正文
一个基于Python的威胁情报平台,通过爬取印度网络安全中心(CSK)的恶意软件警报,使用本地LLM(llama3.2:1b)自动分析并生成STIX格式的结构化威胁情报,最终通过Streamlit仪表板展示。
章节 01
一个基于Python的威胁情报平台,通过爬取印度网络安全中心(CSK)的恶意软件警报,使用本地LLM(llama3.2:1b)自动分析并生成STIX格式的结构化威胁情报,最终通过Streamlit仪表板展示。
章节 02
章节 03
在当今数字化时代,网络安全威胁日益复杂和频繁。传统的威胁情报收集往往依赖人工分析,效率低下且难以应对快速演变的攻击手段。
本项目是一个创新的开源威胁情报平台,它巧妙地结合了网络爬虫技术、本地大语言模型(LLM)和结构化威胁信息表达(STIX)标准,实现了恶意软件警报的自动化采集、智能分析和标准化输出。
章节 04
平台的核心能力之一是自动监控印度网络安全中心(Cyber Swachata Kendra, CSK)发布的最新恶意软件警报。通过使用requests_html库,系统能够:
这种自动化采集方式大大减少了安全分析师手动浏览多个来源的工作量。
章节 05
项目的一大亮点是使用了本地部署的Llama 3.2 1B模型进行威胁分析,而非依赖云端API。这一设计带来了多重优势:
系统通过精心设计的提示词模板,引导LLM从原始警报文本中提取关键信息:
恶意软件名称
恶意软件类型
严重程度
攻击向量
目标平台
能力特征
缓解措施
章节 06
STIX(Structured Threat Information eXpression)是网络安全领域广泛采用的结构化威胁信息格式。平台将LLM分析结果自动转换为STIX兼容的JSON格式,便于与其他安全工具集成:
{
"type": "malware",
"name": "NoEscape",
"malware_type": "Ransomware",
"severity": "High",
"target_os": "Windows, Linux, VMware ESXi servers"
}
章节 07
平台采用模块化的Python架构,各组件职责清晰:
| 模块 | 功能 |
|---|---|
scrape.py |
网页爬取与数据提取 |
threat_analyzer.py |
LLM分析与JSON生成 |
conn.py |
SQLite数据库连接与管理 |
retrieve.py |
数据检索与STIX报告生成 |
app.py |
Streamlit交互式仪表板 |
章节 08
scrape.py从CSK网站获取原始警报数据threat_analyzer.py调用本地Ollama实例运行Llama模型retrieve.py生成格式化的STIX报告