SocketAI 复现：用 LLM 检测 npm 恶意包

本文介绍 ICSE2025 论文 SocketAI 的开源复现项目，该工具基于三阶段 LLM 分析流程实现 npm 包恶意代码检测，支持 CodeQL 预筛选与完整实验数据导出，旨在解决 npm 生态系统中传统静态分析难以应对新型恶意攻击的问题。

npm 作为全球最大软件包仓库（超 200 万包），便利的同时也存在恶意代码注入风险（如 install 脚本执行恶意命令、依赖篡改、混淆隐藏等）。传统检测方法（基于签名需频繁更新规则、基于行为误报率高）存在局限。LLM 的语义理解能力可弥补传统工具不足，区分语法相似但意图不同的代码（如清理临时文件 vs 删除系统文件）。

SocketAI 采用三阶段渐进式分析策略：1.初始恶意评估：LLM 快速筛查文件，评估潜在恶意程度（考虑混淆、网络请求、敏感路径等）；2.自我复核与修正：模型反思初步判断，减少上下文不足或表面相似导致的误判；3.最终文件级判定：综合信息给出明确恶意评分及推理过程供人工审核。

复现版本兼顾学术严谨与工程实用：1.CodeQL 预筛选（可选）：利用 CodeQL 快速识别风险模式，减少 LLM 分析量；2.可观测性：导出每步分析数据（prompt、响应、token 消耗、耗时等）；3.灵活输入：支持本地目录、tgz/tar/zip 归档；4.批量处理：通过 JSONL/CSV 清单批量检测，单个样本错误不中断批次。

使用流程（基于 Python + uv 依赖管理）：基础检测（无 CodeQL）与启用 CodeQL 预筛选的命令示例。关键参数包括 input（输入路径）、model（LLM 模型）、use-codeql/no-codeql、threshold（判定阈值）、temperature（创造性程度）。输出结构清晰，包含运行元信息、包级汇总、文件列表、性能指标、各阶段详细结果及导出数据（CSV 格式）。

对安全团队：补充现有检测体系（传统规则捕获已知威胁 + LLM 发现新型攻击）；对研究人员：完整数据导出便于验证新想法（替换模型、调整策略等）。该工具为 npm 安全检测提供实用研究平台，是学术成果向工程实践转化的范例。

软件供应链攻击日益频繁，npm 包安全检测至关重要。SocketAI 复现版本展示了 LLM 在安全领域的应用潜力，虽非万能，但在语义理解场景下提供传统方法难以实现的能力。开源复现不仅验证原论文方法，也为社区提供可运行、可改进的基线实现。