GAMMAF：面向LLM多智能体系统的图异常检测评估框架

GAMMAF是由UC3M（马德里卡洛斯三世大学）团队开发的开源评估框架，专注于为LLM多智能体系统生成合成交互数据集，并评估针对系统完整性攻击的拓扑引导防御方法。它填补了LLM-MAS安全评估领域的工具空白，为该领域研究提供标准化实验平台。

随着LLM多智能体系统（LLM-MAS）快速发展，智能体协作通信成为复杂任务关键能力，但分布式架构带来新安全挑战：恶意智能体可能注入错误信息或操纵通信破坏系统完整性。传统安全评估方法难以捕捉多智能体复杂交互模式，因此急需专门数据集和评估工具测试防御机制有效性。GAMMAF作为全面评估架构，旨在生成合成交互数据集并对防御模型进行基准测试。

GAMMAF采用双管道架构：

训练数据生成阶段

模拟不同网络拓扑下的辩论场景，捕捉智能体交互行为并表示为属性图（同时编码通信内容与拓扑信息）。用户可配置辩论主题、智能体数量、拓扑类型（完全连接、环形、星型、随机网络等）生成定制化训练数据。

防御系统评估阶段

实时推理中动态评估防御模型，检测可疑行为时主动隔离对抗性智能体节点，观察剩余网络协作效果，真实反映防御策略实际部署表现。

GAMMAF基于Python3.11开发，用conda管理环境，兼容任何符合OpenAI API规范的推理服务，本地部署推荐vLLM作为后端。核心脚本包括TrainDataGeneration.py（训练数据生成）和MainEvaluation.py（防御评估），均通过YAML配置文件管理参数。框架提供扩展接口，支持添加新防御模型、文本处理逻辑及任务数据集，模块化设计便于集成算法与现有基准比较。

GAMMAF主要应用场景：

• 防御机制开发：标准化数据集测试新异常检测算法，避免重复数据收集；
• 模型对比分析：统一指标与环境公平比较不同防御策略优劣；
• 攻击模式研究：利用合成数据可控性系统研究各类攻击对多智能体系统影响；
• 教学演示：为学术课程提供直观实验平台，帮助理解分布式系统脆弱性。

使用指南

环境搭建：创建conda环境安装依赖，配置LLM后端参数（BASE_URL、API_KEY、MODEL_NAME），使用预定义配置模板启动数据生成与评估流程。深入定制可参考文档修改架构适应特定需求（添加自定义防御模型、调整文本处理逻辑、引入新任务数据集）。

未来展望

作为开源项目欢迎社区贡献，未来计划扩展更多网络拓扑类型、支持更复杂攻击场景、集成可视化工具展示评估结果，推动LLM-MAS安全研究发展。