LLM如何理解反问句：线性探针揭示的多维表征机制

本研究通过线性探针技术探究LLM对反问句的内部表征机制，核心发现包括：反问信号在模型早期层涌现、末Token表征最稳定；反问句在表征空间中沿多个线性方向编码，不同数据集训练的探针捕获不同修辞现象；跨数据集迁移可检测但存在差异，揭示LLM对反问句的多维理解。

反问句是特殊语言现象，核心功能为修辞表达而非获取信息（如"难道我们不应该保护环境吗？"强调观点）。其语义与语用的张力导致自动识别复杂，需依赖上下文、语气和意图，而非仅句法结构。LLM理解这种细微差别需形成区分修辞意图的内部表征。

采用线性探针技术分析LLM内部表征：冻结预训练模型参数，在隐藏层输出上训练线性分类器，若能区分反问句与普通疑问句，则说明相关特征已被模型学习。研究在两个不同社交媒体数据集上进行，以检验发现的普适性。

反问信号在模型早期层开始涌现，表明LLM处理句子时早就能识别反问修辞特征；末Token表征中反问信号最稳定，与LLM常用末Token做下游预测一致；反问句在单数据集内线性可分，跨数据集迁移AUROC达0.7-0.8，说明存在通用反问相关表征。

跨数据集迁移可行但不同数据集探针应用于同一语料库时排序结果差异大（高排名实例重叠低于0.2），暗示反问句在表征空间中沿多个线性方向编码，每个方向强调不同线索。定性分析显示：部分探针捕获语篇层面修辞立场，部分强调局部句法驱动的疑问行为。

反问句包含多种修辞策略：强调型（如"谁不想成功呢？"）、质疑型（如"你真的相信这种说法吗？"）、讽刺型（如负面语境下的"这难道不是很棒吗？"）。不同类型反问句激活LLM内部不同表征模式，解释单一探针无法捕获所有反问现象的原因。

研究对LLM可解释性的启示：1. 看似单一的概念（如反问句）可能分解为多个维度，概念探测需考虑内在结构；2. 早期层捕获反问信号，符合LLM逐层处理语言信息的特点；3. 跨数据集迁移的可行性与差异性表明LLM有通用修辞感知能力，但表现形式因训练数据而异。

未来研究方向：1. 开发精细探针方法，同时捕获多个线性方向以全面理解反问句表征结构；2. 探索反问句与其他修辞现象（隐喻、反讽）表征的关系，看是否形成统一修辞框架；3. 将发现应用于情感分析、立场检测等NLP任务，提升性能。