FlexAC: Towards Flexible Control of Associative Reasoning in Multimodal Large Language Models

📄 arXiv: 2510.11190v3 📥 PDF

作者: Shengming Yuan, Xinyu Lyu, Shuailong Wang, Beitao Chen, Jingkuan Song, Lianli Gao

分类: cs.CV

发布日期: 2025-10-13 (更新: 2025-11-06)

备注: 19 pages, 11 figures. Accepted by the 39th Conference on Neural Information Processing Systems (NeurIPS 2025)

🔗 代码/项目: GITHUB

💡 一句话要点

提出FlexAC以解决多模态大语言模型的关联推理灵活性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 关联推理 灵活控制 幻觉引导 创造性任务 模型适应性

📋 核心要点

  1. 现有多模态大语言模型在关联推理的灵活性上存在不足，无法适应不同任务的需求。
  2. 本文提出FlexAC框架，通过引导幻觉生成中间表示，灵活调节关联推理强度，以适应多样化的任务场景。
  3. 实验结果显示，FlexAC在创造性任务上提升了5.8倍，同时在幻觉率上减少了29%，显著优于现有方法。

📝 摘要（中文）

多模态大语言模型（MLLMs）在忠实性与创造性之间存在固有的权衡，不同任务需要不同程度的关联推理。然而，现有方法缺乏调节推理强度的灵活性，限制了MLLMs在事实与创造场景中的适应性。为此，本文提出了一种机制，使MLLMs能够灵活控制关联推理。我们发现中间层在塑造模型的关联倾向中起着关键作用，并且通过修改这些层的表示可以有效调节关联推理强度。基于这些发现，我们引入了灵活关联控制（FlexAC），这是一个轻量级且无需训练的框架，能够调节MLLMs中的关联行为。实验结果表明，FlexAC在创造性上实现了高达5.8倍的提升，并在CHAIR数据集上减少了29%的幻觉率，超越了现有基线，展示了其在多模态大语言模型中灵活控制关联推理的有效性。

🔬 方法详解

问题定义：本文旨在解决多模态大语言模型在关联推理灵活性不足的问题。现有方法无法根据任务需求调节推理强度，限制了模型的适应性。

核心思路：FlexAC框架通过引导幻觉生成中间表示，调节关联推理的强度，以实现对创造性与稳定性的平衡。该设计使模型能够在不同任务中灵活调整其关联行为。

技术框架：FlexAC的整体架构包括三个主要模块：首先，通过幻觉引导生成中间表示以编码关联方向；其次，选择高关联实例构建有效的关联引导向量；最后，结合任务特定的关联向量，增强模型对不同任务的适应性。

关键创新：FlexAC的主要创新在于其轻量级且无需训练的特性，能够通过中间层的调节实现灵活的关联推理控制。这与现有方法的固定推理强度形成了鲜明对比。

关键设计：在FlexAC中，关键参数包括关联引导向量的强度调节机制，以及从目标领域样本中提取的任务特定关联向量，这些设计确保了模型在多样化任务中的表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

FlexAC在创造性任务上实现了高达5.8倍的提升，并在CHAIR数据集上减少了29%的幻觉率，显著超越了现有基线，证明了其在多模态大语言模型中灵活控制关联推理的有效性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、计算机视觉和跨模态任务等。通过灵活控制关联推理，FlexAC能够提升模型在创造性写作、图像生成等任务中的表现，具有重要的实际价值和未来影响。

📄 摘要（原文）

Multimodal large language models (MLLMs) face an inherent trade-off between faithfulness and creativity, as different tasks require varying degrees of associative reasoning. However, existing methods lack the flexibility to modulate this reasoning strength, limiting MLLMs' adaptability across factual and creative scenarios. To bridge this gap, we propose equipping MLLMs with mechanisms that enable flexible control over associative reasoning. We begin by investigating the internal mechanisms underlying associative behavior in MLLMs and find that: (1) middle layers play a pivotal role in shaping model's associative tendencies, (2) modifying representations in these layers effectively regulates associative reasoning strength, and (3) hallucinations can be exploited to derive steering vectors that guide this modulation. Building on these findings, we introduce Flexible Association Control (FlexAC), a lightweight and training-free framework for modulating associative behavior in MLLMs. FlexAC first induces hallucination-guided intermediate representations to encode associative directions. Then, it selects high-association instances to construct effective associative steering vectors, whose strengths are adaptively calibrated to balance creative guidance with output stability. Finally, recognizing the multi-dimensional nature of associative reasoning, FlexAC incorporates task-specific associative vectors derived from a forward pass on a few target-domain samples, enabling models to follow diverse associative directions and better adapt to creative tasks. Notably, our method achieves up to a 5.8x improvement in creativity on Creation-MMBench and a 29% reduction in hallucination rate on CHAIR, surpassing existing baselines and demonstrating its effectiveness in enabling flexible control over associative reasoning in MLLMs. Our code is available at https://github.com/ylhz/FlexAC.