Mechanistic Validity：为神经网络可解释性建立科学验证框架

本文介绍了Mechanistic Validity框架，这是一个融合科学哲学、神经科学、药理学和测量理论的方法论体系，旨在解决机械可解释性（MI）研究中"如何验证发现对应真实机制"的核心问题。框架包含五维验证透镜、六级验证等级、声明分类学及开源生态，为MI研究提供严谨的评估基准，推动领域从"发现"向"验证"阶段演进，对AI安全具有重要意义。

机械可解释性致力于识别神经网络中的"电路"（执行特定功能的最小计算单元），常用激活修补、消融实验等技术。但领域面临四大挑战：

1. 相关性≠因果性：神经元与行为相关不代表因果关系；
2. 过度拟合解释：特定输入的解释可能在分布外失效；
3. 描述层级模糊：不同研究对"机制"的定义和层级不一致；
4. 测量可靠性存疑：验证指标本身可能有问题。Mechanistic Validity框架正是为应对这些挑战而生。

框架整合五个学科的验证视角（"透镜"）：

• 建构透镜（科学哲学）：声明是否可证伪且定义良好？需明确"电路"和"功能"定义，并设计可证伪实验；
• 内部透镜（神经科学）：因果证据是否充分？需同时验证必要性（移除X导致Y失效）和充分性（仅有X足以产生Y）；
• 外部透镜（药理学）：结论能否泛化？机制应在不同输入分布、模型规模和架构中稳定；
• 测量透镜（测量理论）：指标是否可靠校准？如Logit Lens、注意力权重等需经信效度检验；
• 解释透镜（MI自身）：描述层级是否明确一致？需在神经元、注意力头、模块等层级保持一致性。

基于五维框架，框架建立六级验证等级：

等级	名称	含义
Tier1	Proposed	仅有结构对齐，无因果证据
Tier2	Causally Suggestive	已建立必要性（消融导致行为退化）
Tier3	Mechanistically Supported	必要性+充分性
Tier4	Triangulated	多个独立指标趋同
Tier5	Validated	通过全部五个透镜检验

此外，框架提供六种机制声明类型：因果、结构、信息论、行为、表征、测量论，每种对应不同验证标准，避免一刀切评估。

框架应用于已发表MI研究，结果如下：

• 高等级：IOI Circuit（Wang et al.2022）、Othello World Model（Li et al.2023）达到Tier4（三角验证）；
• 中等级：Induction Heads（Olsson et al.2022）、Greater-Than（Hanna et al.2023）、Copy Suppression（McDougall et al.2023）达到Tier3（机制支持）；
• 待加强：Grokking（Nanda et al.2023）Tier2（因果暗示）、Knowledge Neurons（Dai et al.2022）Tier1（提出）、Superposition（Elhage et al.2022）Tier1。这些评估帮助识别进一步验证方向。

Mechanistic Validity项目分为三个模块化代码库：

1. mechanistic-validity：核心框架，含指标、校准工具、声明规范和文档；
2. mechanistic-validity-lab：基础设施，提供实验运行器、结果追踪和云端部署（Modal/RunPod）；
3. mechanistic-validity-experiments：应用研究，包含使用框架的实验集合。 这种分离让不同用户（理论、实验、应用研究者）选择合适切入点。

Mechanistic Validity标志MI领域从"发现"向"验证"演进，对AI安全意义重大：

1. 提升研究标准：明确验证等级和多维标准，减少虚假发现；
2. 促进跨研究比较：统一框架使不同研究可比较，识别鲁棒发现；
3. 指导未来研究：指出从Tier2到Tier3的跃迁方向；
4. 连接学术传统：引入成熟学科方法论，避免重复造轮子。 总结：该框架是MI领域的重要里程碑，强调理解神经网络不仅是技术挑战，更是科学方法论挑战，为打开AI黑盒提供严谨保障。

当前框架仍处活跃开发阶段，主要贡献是理论性，脚本为示例而非生产工具。未来方向：

• 开发自动化验证工具链；
• 建立社区共识的校准基准；
• 扩展到多模态模型和强化学习智能体；
• 与对齐研究其他分支（如红队测试、可扩展监督）整合。