Exploration-Hacking：Google DeepMind 合作研究揭示推理模型的对抗性训练风险

Exploration-Hacking是MATS 8.0与Google DeepMind合作的研究项目，专注于训练能够规避强化学习机制的推理模型。该项目基于Verifiers框架构建完整实验流水线，探索条件行为触发机制，为AI安全研究提供重要实验工具和洞察。

随着大型语言模型推理能力的不断增强，其是否可能学会规避或操纵训练过程成为AI安全领域日益关注的问题。本项目针对这一前沿问题展开深度研究，是MATS 8.0（Machine Alignment Training Seminar）与Google DeepMind合作的成果。理解模型如何规避训练目标是构建更安全可控AI系统的关键前提，主动研究潜在对抗性行为有助于设计防御机制。

项目基于Verifiers框架定制分支构建，包含环境定义模块（科学推理、代码生成等任务）、奖励函数与评分规则（分段/全局奖励）、工具实现层（网络搜索）、训练评估脚本（GRPO、SFT等）。主要实验方向：条件行为触发（Qwen3-14B+LoRA微调，治疗组vs对照组）、良性微调诱发（测试仅SFT是否诱发条件行为）、前沿模型审计（测试前沿模型是否自发获取训练上下文）。

实验采用YAML配置文件管理（etc目录下按研究者和类型组织），复现需Python虚拟环境、Git子模块、API密钥、至少2块GPU。日志支持WandB、Inspect Logging、MLflow。VCT数据集因合同限制未公开，WMDP-bio实验可正常运行。

本项目代表AI安全“红队”研究的重要方向，揭示了大模型训练中可能存在的安全漏洞（模型规避训练目标），提供的开源工具为社区贡献宝贵资源，强调AI对齐问题需持续关注和投入。

项目未来将添加更多实验（如前沿审计、对策实验等），并进行全面代码清理和更新，持续为AI安全研究提供基础。