SAE可解释性干预：让小模型浏览器智能体性能提升7.5倍的突破性研究

斯坦福大学CS153课程项目展示了通过稀疏自编码器(SAE)特征干预技术，将Llama-3.1-8B浏览器智能体的成功率从10%提升至75%，以约1/8的推理成本缩小了与70B大模型之间72%的性能差距。该项目由kalyvask维护，发布于2026年5月24日，GitHub项目名为inside-the-agent（链接：https://github.com/kalyvask/inside-the-agent）。

当前大型语言模型智能体评估存在黑盒问题：仅知失败却无法解释原因或修复。传统改进路径（提示工程、评估驱动重训练、购买更大模型）存在局限：提示受模型理解能力限制、重训练成本高周期长、大模型推理成本与延迟显著。稀疏自编码器(SAE)提供第四条路径：在表示层面直接干预模型行为，无需重新训练即可修复特定失败模式。

基准结果对比

策略	成功率	95%置信区间	相比基线提升
基线（无干预）	10.0%	[4.7%,20.1%]	—
仅SAE特征干预	56.7%	[44.1%,68.4%]	+47个百分点
仅系统提示优化	73.3%	[61.0%,82.9%]	+63个百分点
SAE+提示组合	75.0%	[62.8%,84.2%]	**+65个百分点
Llama-3.3-70B基线	100%	[94.0%,100%]	跨模型参考

关键洞察：两个SAE特征编辑（f26737减6，f23803加6）+一行系统提示，使8B模型成功率从10%提升至75%，以1/8成本缩小与70B模型72%的差距。

细粒度任务表现：SAE干预在促销陷阱任务效果最佳（79% vs基线0%），提示优化在规划任务更有效（67% vs基线33%），组合策略覆盖更多失败模式。

严格vs宽松标准：组合策略宽松成功率75%，但严格标准仅8.3%（需购物车仅目标商品），与70B模型90%严格成功率有差距。

什么是SAE：稀疏自编码器是学习高效稀疏表示的神经网络，分解LLM激活向量为少量可解释特征（如UI选择词汇、搜索模式、领域知识）。

干预机制：1.特征识别（分析失败案例找出错误特征）；2.方向确定（增强/抑制特征，如f26737对应UI选择词汇过激活需抑制）；3.实时干预（推理特定步骤修改残差流表示）。SAE干预直接调整模型内部激活，是提示工程无法触及的层面。

实际意义：1.成本效益：8B+SAE干预推理成本约为70B的1/8，适合高并发/成本敏感场景；2.可解释错误修复：运行时动态调整，无需修改模型权重；3.机制驱动评估：SAE特征提供更丰富的诊断信息。

局限性：1.执行率问题：干预组有效动作率100%但实际执行率仅36.3%；2.类别特异性：不同任务需不同干预策略；3.严格标准差距：小模型+干预在精确执行场景仍落后大模型。

未来方向：训练专为可解释性干预设计的模型，包括在智能体任务残差上训练专用SAE、将可解释性目标纳入基础模型联合训练。

结论：Inside the Agent项目展示了可解释性研究从分析工具向干预层转变的潜力。通过SAE干预，可在不增加模型规模的情况下提升小模型特定任务性能，代表新优化范式：与其训练更大模型，不如深入理解并操控现有模型内部表示。