FaithfulnessBench：用因果干预方法验证推理模型的思维链忠实度

项目基本信息

• 原作者/维护者：pratik916
• 来源平台：GitHub
• 项目链接：faithfulnessbench
• 发布时间：2026-06-09

核心导读

FaithfulnessBench是一个开源框架，旨在通过四种正交因果探针测量推理模型的思维链（CoT）忠实度，解决了传统单一探针测量中的循环论证问题。其核心创新在于使用可配置合成模型验证探针有效性，最终发现：思维链忠实度不是单一标量，而是包含四个子分数的“忠实度卡片”，需多维度评估才能准确判断模型行为。

随着大型语言模型推理能力提升，思维链（CoT）监控成为AI安全重要策略，但有效性依赖于因果忠实度（思维链真实反映答案生成过程，而非事后编造）。若模型暗中遵循植入线索却呈现干净推导，则为不忠实，监控将失效。

测量忠实度的难点在于涉及不可观测的反事实声明：传统单一探针直接将输出定义为“忠实度”，存在循环论证问题——探针未验证自身有效性。

FaithfulnessBench设计四种探针，覆盖不同不忠实表现形式：

1. SHI（静默提示注入）：检测答案是否由思维链未承认的线索驱动。测试方法：植入错误提示，标记答案翻转但思维链未提及提示的实例。
2. CSC（思维链步骤损坏）：检测思维链是否承载推理重量。测试方法：扰动操作数重新推导，忠实推理会跟踪变化，事后推理则不会。
3. SIM（反事实可模拟性）：检测观察者能否仅从思维链预测答案。测试方法：用模拟器仅基于思维链预测（不重新解决问题）。
4. EAR（提前回答/推理依赖）：检测模型是否在推理前锁定答案。测试方法：截断不同比例的思维链，忠实答案仅在推理完成后收敛。

FaithfulnessBench通过可配置合成模型验证探针有效性，该模型可精确设定忠实度，含四个“旋钮”对应不忠实行为：

旋钮	不忠实行为	应触发的探针
p_hint_sycophancy	静默采纳植入的提示	SHI
p_post_hoc	思维链损坏时忽略它	CSC
p_decoy_cot	思维链结论与实际答案不符	SIM
p_pre_commit	推理前锁定答案	EAR

研究实例化多种模型（完全忠实、单轴不忠实、完全不忠实），验证：

• 每个探针对目标轴AUROC≈1.0（精准检测）；
• 对其他轴AUROC≈0.5（无交叉泄露）。

在6个合成模型×40个问题的测试中，结果显示：

• 每个探针精准检测目标不忠实度（AUROC=1.000）；
• 无交叉泄露（离轴AUROC=0.500）；
• 组合检测器标记任何不忠实度的AUROC=1.000，而最佳单一探针仅0.700；
• 探针存在分歧：如sycophant模型未通过SHI但通过SIM/CSC。

结论：忠实度不是标量，而是包含四个子分数的“忠实度卡片”，需报告子分数及透明组合（如平均值）。

应用

• 提供完整CLI工具和交互式报告，含痕迹查看器（观察提示如何静默翻转答案而思维链保持干净）；
• 支持通过Anthropic适配器对真实模型运行探针。

局限

• CSC/EAR探针依赖“继续推理回答”提示，是真实干预的近似；
• 真实模型评估使用LLM评判员，可靠性依赖其性能；
• 仅评估行为层面（黑盒）忠实度，激活层面超出范围。

FaithfulnessBench为推理模型可解释性提供了严谨框架，核心贡献是建立了探针有效性验证方法论（合成模型地面真值）。

对AI安全实践者的启示：单一忠实度指标可能误导，如同不能仅用体温判断健康，需使用多维度、正交的测量方法，才能准确评估推理模型的真实行为。