MACyber：面向网络安全领域的多源对齐基准测试与12B大模型

MACyber项目针对网络安全AI能力评测的挑战，构建了覆盖七大安全领域的综合基准测试体系，配套开发12B参数威胁情报增强大模型，提供标准化评估工具链，为网络安全AI能力评测建立全新范式。核心包含MACyber-INT（多源对齐基准数据集）与MACyber-12B（专用大模型）双轮驱动组件。

网络安全数据异构性强、专业度高，现有通用基准（如MMLU）缺乏安全领域深度覆盖。MACyber团队提出"多源对齐"理念，通过统一框架整合多场景数据，由qcydm团队开源，定位为"基准+模型"双轮驱动的标准化评测体系。

1. 统一数据模式：含元数据、特征数据、标签信息、推理过程（证据链+分析逻辑）、响应建议五大组件；2. MACyber-12B模型：内置RAG双通道架构（已知攻击精确匹配/未知攻击相似度参考）；3. 评估体系：四维加权评分（推理40%、威胁分类30%、处置建议20%、严重级别10%），采用Qwen3-Max作为评判器，支持自动化批量评测。

覆盖31个数据集，含七大核心领域：

• 网络流量安全：识别DDoS、端口扫描等异常；
• IoT安全：分析设备行为模式与异常；
• 系统日志安全：检测权限提升、异常登录等事件；
• DNS安全：识别隧道、DGA等滥用；
• Web安全：覆盖OWASP Top10攻击；
• 漏洞情报：CVE描述与风险评估；
• 威胁情报：多源信息综合分析。

• 安全厂商：客观评估模型能力，辅助产品选型；
• 研究者：填补安全领域标准化基准空白，支持实验对比；
• 实际场景：模型可直接用于SOC智能决策、威胁情报分析、审计报告生成，数据集可用于安全模型微调。

项目完全开源（GitHub），提供数据转换工具与Schema验证机制。未来计划扩展数据集至云安全、供应链安全等新兴领域，探索更大参数安全专用模型，目标成为安全领域AI评测事实标准。