大语言模型特征空间的普适性：稀疏自编码器揭示跨模型表征共性

一项基于稀疏自编码器（SAE）的研究提出「类比特征普适性」假说，发现不同大语言模型的特征空间在几何结构上具有高度相似性，为可解释性技术的跨模型迁移提供了理论基础。该研究通过SAE解纠缠神经元表征，验证了特征空间的普适性，对LLM可解释性领域具有重要意义。

大语言模型（LLM）的「黑箱」特性是AI可解释性研究的核心挑战。学界提出「普适性假说」，认为不同模型可能收敛到相似概念表征，但直接比较特征面临多语义性障碍——单个神经元常对应多个不相关概念，导致跨模型特征对齐困难。

为解决多语义性问题，研究者引入稀疏自编码器（SAE）。SAE将模型神经元分解为稀疏、可解释的特征表示，每个特征对应独立概念，实现表征「解纠缠」，帮助清晰观察模型内部概念组织方式。

作者提出「类比特征普适性」假说：即使不同模型的SAE学习到不同特征表示，其特征空间几何结构仍相似，可通过旋转变换对齐。这一假说的意义在于，可解释性技术（如引导向量）可能通过变换跨模型迁移。

研究采用两步法验证假说：1. 通过激活相关性分析相同输入文本的特征激活模式，配对跨模型相似特征；2. 用表征相似性分析（RSA）和奇异向量典型相关分析（SVCCA）评估配对特征权重向量的空间关系相似性。

实验对比Pythia系列（70M与160M参数）等模型，发现不同规模模型的特征空间几何结构显著一致。研究还提供交互式可视化工具，通过双面板UMAP投影展示跨模型特征空间对应关系，用户可选择区域同步高亮配对特征。

该研究的实践意义包括：1. 可解释性工具或无需单独开发，通过变换实现跨模型复用；2. 暗示存在LLM趋近的「通用语言」或基础表征；3. 开源代码库和可视化工具为后续研究提供基础设施。未来有望推动通用AI理解工具发展。