SilentBench：揭示大语言模型"输出抑制"现象的系统化基准测试

SilentBench是首个专门研究大语言模型"输出抑制"现象的开源基准测试。它通过对比基础模型与指令微调模型，揭示RLHF训练会在特定类别上产生一致性的抑制签名。本文将从背景、方法、证据、结论及未来方向等方面展开讨论。

输出抑制指模型内部形成答案倾向但最终未输出的现象，区别于明确拒绝回答。传统研究关注模型"说了什么"，却忽略"几乎要说但没说"的内容。研究团队提出核心问题：RLHF和指令微调是否系统性改变模型生成边界？

• 数据集：35000条记录，覆盖4个模型家族（OPT、Gemma、Llama3.1、Mistral）的基础与指令微调版本配对测试。
• 测试类别：安全、事实、有争议事实、知识边界、创意。
• 模型对比矩阵：

  模型家族	基础模型	指令微调版本
  OPT	facebook/opt-1.3b	facebook/opt-iml-1.3b
  Gemma	google/gemma-2b	google/gemma-2b-it
  Llama	meta-llama/Llama-3.1-8B	meta-llama/Llama-3.1-8B-Instruct
  Mistral	mistralai/Mistral-7B-v0.1	mistralai/Mistral-7B-Instruct-v0.2

• 技术实现：提供复现代码，包括环境准备（pip install -r requirements.txt）、实验脚本运行及结果分析（结果存于results/complete_stats_table.csv）。

1. 抑制具有完美一致性（标准差std=0.000），是确定性行为模式；
2. RLHF产生类别特异性抑制签名，不同模型家族分布相似；
3. 安全（Cohen's d=1.73）和有争议事实（d=1.49）类别抑制效应最强；
4. 小模型（1B-8B参数）通过输出抑制实现对齐，几乎无硬性拒绝。

• AI安全：提供模型内部知识边界的新分析维度；
• 模型开发：揭示RLHF可能造成知识压制，引发"谁有权决定模型沉默话题"的伦理问题；
• 透明度：开源工具推动全面评估模型行为特征，符合AI透明度运动精神。

• 局限：论文待发表、测试基于英语语料、静态提示集未涵盖动态对话；
• 未来方向：多语言扩展、对话上下文抑制累积效应研究、抑制解除方法探索、用户感知研究。