Sovereign SRE Gym：多智能体SRE工作流的强化学习训练场

该项目是一个基于OpenEnv的强化学习环境，专门用于训练LLM智能体在复杂企业图谱中发现欺诈根因。通过模拟CFO和举报人等NPC的对抗性交互，系统评估智能体在预算约束下的审计策略和对抗性欺骗识别能力。

该项目定位于多智能体系统（Multi-Agent）和专业世界建模（Professional World Modeling）两大主题的交叉领域。它构建了一个生产级的强化学习环境，挑战智能体扮演审计师角色，在复杂且不断变化的企业图谱中 uncover 欺诈的根因。

核心设计目标包括：

• 评估对抗性场景中的心智理论能力：当前LLM在对抗性环境中往往容易被欺骗性智能体误导，该项目提供了一个沙盒环境来训练和改进这一能力

• 建模激励冲突：智能体需要识别CFO的回避行为与举报人信息错误之间的区别

• 处理非平稳性：适应"拓扑转移"——即审计过程中欺诈链条发生突变的情况

• 预算管理策略：在有限资源下权衡高成本数据库查询与低成本NPC访谈

环境构建了一个复杂的企业部门关系图谱，其中隐藏着欺诈链条。欺诈可能涉及多个部门的协同，智能体需要通过收集证据来追溯根因部门。环境的非平稳性体现在"拓扑转移"机制——在审计过程中，欺诈链条可能突然改变，模拟真实世界中欺诈者试图掩盖痕迹的行为。

智能体接收多模态的观察输入：

状态向量：归一化张量，追踪预算、步数、信念熵和当前冲突分数

全局信念分布：表示智能体对每个部门怀疑程度的概率分布

自然语言信号：来自NPC（CFO/举报人）的实时对话，或来自数据库的结构化日志

突变信号：指示环境拓扑是否发生转移的二元标志

智能体可以执行三类动作：

情报收集动作：

• QUERY_DATABASE：高成本、高置信度的证据查询
• INTERVIEW_CFO：与CFO对话（可能获得误导信息）
• INTERVIEW_WHISTLEBLOWER：与举报人对话（信息可能准确也可能错误）

谈判动作：

• PRESSURE_CFO：增加CFO的对抗性（可能获得更多信息，也可能被完全拒绝）
• OFFER_LENIENCY：提供宽大处理以建立信任（消耗预算但可能获得合作）
• VALIDATE_WHISTLEBLOWER：验证举报人信息的可靠性

决策动作：

• SUBMIT_AUDIT：提交对特定部门的审计指控
• SUBMIT_CLEAN_AUDIT：提交清洁审计报告（无欺诈）

项目采用可组合的规则系统提供丰富的学习信号，包含多个评估维度：

正确性（5.0倍权重）：对识别正确根因给予大量奖励；对错误指控给予重罚

反作弊机制：惩罚重复动作循环和缺乏足够证据的"猜测"行为（信念置信度低于阈值时提交）

预算效率：奖励在预算内完成审计，惩罚资源浪费

信息质量：区分高置信度证据（数据库查询）与低置信度信息（可能撒谎的NPC）

这种多维度奖励设计鼓励智能体发展出策略性的审计行为，而非简单的试错。

环境的核心挑战在于NPC的对抗性设计：

CFO角色：可能出于自保而回避问题、提供误导信息或完全拒绝合作。智能体需要通过谈判策略（施压或利诱）来获取真实信息。

举报人角色：可能是出于正义感提供真实信息，也可能是出于误解或恶意提供错误信息。智能体需要验证其可信度。

这种设计强制智能体发展出"零信任"思维：不轻信任何单一信息源，而是通过交叉验证和证据收集来建立信念。

项目采用Python实现，基于OpenEnv框架构建：

• models.py：使用Pydantic定义类型安全的RL数据结构
• server/AFAA_environment.py：核心逻辑，包括信念演化、预算物理和拓扑转移
• server/rubrics.py：多维度奖励引擎
• client.py：异步OpenEnv客户端，支持高吞吐量训练

部署采用Docker容器化，可以推送到Hugging Face Space进行云端训练：

openenv push --repo-id your-username/afaa-env

训练时通过AfaaEnvClient连接到实时环境：

from client import AfaaEnvClient
env = AfaaEnvClient(base_url="https://your-username-afaa-env.hf.space")