FlexAC：多模态大语言模型关联推理的灵活控制框架

NeurIPS 2025 论文官方实现，一个无需训练的轻量级框架，通过推理时隐藏状态干预实现多模态大模型在事实性与创造性之间的灵活切换。

多模态大语言模型（MLLMs）在实际应用中面临一个根本性的两难困境：事实准确性与创造性表达之间的权衡。传统模型往往在这两个极端之间难以平衡——过于保守的模型可能生成准确但乏味的回答，而过于自由的模型则容易产生幻觉，输出与事实不符的内容。

这种困境的本质在于，模型内部的关联推理机制无法被灵活调控。关联推理是指模型根据输入刺激自动激活相关概念和知识的能力，它是创造力的源泉，但也是幻觉产生的根源。如何在不同任务场景下精确控制这种关联强度，一直是多模态AI领域的核心挑战。

FlexAC（Flexible Associative Control）提出了一种革命性的视角：将事实性与创造性视为关联推理强度的不同表现形式。这一洞见使得问题从"如何分别优化两个目标"转变为"如何统一调控一个连续谱"，大大简化了技术路径。

该框架的核心创新在于：

1. 无需重新训练：完全在推理阶段进行干预，避免昂贵的模型微调
2. 轻量级实现：仅通过控制向量注入即可实现行为调控
3. 双向调节：既能抑制过度关联（减少幻觉），也能增强关联（提升创造力）

FlexAC 的实现分为两个主要阶段：

在这一阶段，研究团队通过以下步骤构建稳定的控制向量：

• 幻觉引导的隐藏状态差异分析：识别高关联与正常关联状态下的隐藏层激活差异
• 高关联实例筛选：选择具有代表性的高关联样本，构建更稳定的引导向量
• 任务特定样本融合：可选地融入少量目标任务样本，提升适配性

最终生成的控制向量包括两个方向：

• text_normal_fea.pt：标准关联方向（偏向事实性）
• text_creative_fea.pt：高关联方向（偏向创造性）

在实际推理过程中，FlexAC 将控制向量注入到 Qwen-VL 的中间层（默认第15-17层），并通过自适应校准机制动态调整控制强度：

• FlexAC-P（Faithfulness-oriented）：控制因子设为 -1，抑制过度关联，减少幻觉
• FlexAC-C（Creativity-oriented）：控制因子设为 +1，增强关联能力，提升创造性

这种设计使得同一模型能够在不同任务间无缝切换行为模式。

FlexAC 在多个权威基准上进行了全面评估：

• CHAIR Dataset：专门用于评估图像描述任务中的对象幻觉
• POPE Benchmark：针对对象存在性幻觉的系统性测试