稀疏自编码器破解大模型黑盒：一项关于机械可解释性的深度案例研究

本文介绍了名为mech_interpretability_case_study的开源项目，通过稀疏自编码器（SAE）技术解决多语义性问题，将大语言模型中纠缠的神经元激活分解为可解释的单语义特征，并实现无需微调的激活引导干预技术，为大模型机械可解释性提供系统化方法论。

多语义性是神经可解释性领域的核心挑战。传统观念认为单个神经元编码特定概念，但实际中单个神经元常同时响应多个无关概念（如数字、标点、语法结构），导致激活纠缠形成复杂分布式表征，是大模型难以解释的深层原因。

SAE核心思想是学习潜在单语义基向量，分解纠缠激活为稀疏可解释特征。架构采用过完备字典学习：编码器映射残差流激活（896维）到更大潜在空间（28672维）；L1正则化鼓励稀疏性；解码器重构原始激活。过完备性提供自由度，稀疏约束确保可解释性。

项目五阶段实验流程： 1.激活收集：用FineWeb-Edu数据集收集Qwen2.5-0.5B第12层残差流激活（200万token）； 2.SAE训练：复合损失函数（MSE+L1正则化+解码器范数约束），L1系数预热机制； 3.质量评估：FVE、稀疏度、死亡特征比例等量化指标； 4.特征解释：分析激活上下文构建特征词典； 5.激活引导：注入特定特征向量干预模型行为，验证特征语义真实性。

项目工程亮点： 1.模块化架构：各阶段独立模块（数据收集、训练、评估、解释、干预）； 2.统一配置管理：config.py集中管理超参数，支持命令行覆盖； 3.实验追踪集成：ClearML记录指标、超参数和模型版本，助力协作复现。

项目意义： 1.从黑盒到灰盒：SAE提供模型内部状态到人类概念的映射工具； 2.因果验证：激活引导实现从相关性到因果干预的跃升； 3.模型安全与对齐：理解内部表征助力识别干预有害特征； 4.可扩展性：方法论可扩展到更大规模模型。 结论：为机械可解释性研究奠定坚实基础。

当前挑战：确保特征对应真实语义、转化特征理解为整体行为预测、大规模模型保持有效性。未来可探索不同架构/规模模型的特征异同。建议感兴趣读者参考项目完整代码与文档，作为入门机械可解释性的优质资源。