CircuitLasso：用稀疏线性回归实现可扩展的大语言模型电路学习

CircuitLasso是一种基于稀疏线性回归的可扩展电路学习方法，旨在解决大语言模型（LLM）机械可解释性中的核心挑战。它将电路学习问题转化为稀疏线性回归，在大幅降低计算成本的同时，恢复与最先进干预方法相当结构精度的电路，并揭示语义特征在模型中的传播路径。该方法为处理稀疏自编码器（SAE）产生的高维特征空间提供了可行方案，推动LLM内部工作机制的理解。

LLM的"黑盒"特性阻碍了对其内部工作机制的理解，带来安全与可控性隐患。机械可解释性领域通过学习稀疏电路（关键神经元/特征的协作组合）来揭示模型行为，但传统方法面临两大挑战：

1. 多语义神经元问题：原始神经元常对应多种概念，SAE虽分解为单语义特征但导致特征空间维度膨胀；
2. 计算成本过高：基于干预的方法需大量实验，成本随组件数量指数增长，难以应对SAE的高维空间。

CircuitLasso的核心创新是将电路学习重新框架为稀疏线性回归问题。其优势包括：

• 利用成熟的稀疏回归算法，无需显式干预实验；
• 通过正则化参数控制电路稀疏度，平衡解释性与覆盖性；
• 可能采用LASSO或其变体，通过L1正则化鼓励选择精简特征子集。

实验结果显示CircuitLasso的优势：

• 结构精度：与最先进干预方法相当，可靠识别重要模型组件；
• 计算效率：大幅降低成本，支持大规模模型与复杂任务；
• 可扩展性：求解可高度并行化，适配现代硬件；
• 传播路径揭示：追踪语义特征在模型层间的传递（如浅层识别词汇特征、中层组合短语、深层关注全局语义）；
• 领域泛化：学习到的电路捕捉任务核心机制，在新领域保持良好性能。

CircuitLasso对AI安全的价值包括：

• 故障模式诊断：定位意外行为的根源；
• 对抗鲁棒性分析：助力设计攻击与防御策略；
• 模型编辑与修正：通过编辑电路修正行为，无需重新训练；
• 价值对齐验证：验证模型是否内化人类价值观，而非表面模仿。

CircuitLasso仍面临挑战：

• 完整性与稀疏性权衡：需平衡电路稀疏度与信息完整性；
• 动态行为捕捉：静态分析难以捕捉上下文动态变化；
• 跨模型迁移：电路在不同架构/规模模型的泛化性待研究；
• 因果关系确认：稀疏回归识别统计关联，需结合干预实验确立因果。

CircuitLasso通过稀疏线性回归框架，在保持精度的同时提升计算效率，使SAE高维特征空间的电路学习成为可能。随着LLM能力提升，这类工具将助力AI系统更透明、可控、可信，为机械可解释性研究提供关键支持。