Context-Aware Multi-Turn Visual-Textual Reasoning in LVLMs via Dynamic Memory and Adaptive Visual Guidance

📄 arXiv: 2509.05669v1 📥 PDF

作者: Weijie Shen, Xinrui Wang, Yuanqi Nie, Apiradee Boonmee

分类: cs.CV

发布日期: 2025-09-06

💡 一句话要点

提出CAMVR框架，通过动态记忆和自适应视觉引导增强LVLM在多轮视觉文本推理中的能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多轮视觉推理 上下文感知 视觉语言模型 动态记忆网络 自适应视觉引导

📋 核心要点

  1. 现有LVLM在多轮交互中缺乏深度上下文理解和复杂视觉推理能力，导致推理不连贯和幻觉问题。
  2. CAMVR框架通过引入动态记忆单元VCMU和自适应视觉引导AVFG机制，增强LVLM的上下文感知能力。
  3. 实验结果表明，CAMVR在VisDial、A-OKVQA和MTIF等数据集上均取得了state-of-the-art的性能。

📝 摘要（中文）

当前的大型语言模型（LLM）和视觉语言大型模型（LVLM）在单轮任务中表现出色，但在需要深度上下文理解和复杂视觉推理的多轮交互中面临重大挑战，经常导致推理碎片化、上下文丢失和幻觉。为了解决这些限制，我们提出了上下文感知多轮视觉推理（CAMVR），这是一个旨在增强LVLM的鲁棒和连贯的多轮视觉文本推理能力的新框架。CAMVR引入了两项关键创新：视觉文本上下文记忆单元（VCMU），这是一个动态读写记忆网络，用于存储和管理来自每个交互轮次的关键视觉特征、文本语义表示及其跨模态对应关系；以及自适应视觉焦点引导（AVFG）机制，该机制利用VCMU的上下文来动态调整视觉编码器对上下文相关图像区域的注意力。我们的多层次推理集成策略确保响应生成与当前输入和累积的历史上下文深度一致。在具有挑战性的数据集（包括VisDial、改编的A-OKVQA和我们新颖的多轮指令跟随（MTIF）数据集）上进行的大量实验表明，CAMVR始终如一地实现了最先进的性能。

🔬 方法详解

问题定义：现有LVLM在处理多轮视觉文本推理任务时，由于缺乏对历史上下文的有效记忆和利用，容易出现推理碎片化、上下文信息丢失以及产生幻觉等问题。这些问题严重影响了LVLM在复杂交互场景下的性能和可靠性。

核心思路：CAMVR的核心思路是构建一个动态的上下文记忆机制，用于存储和管理多轮交互中的视觉和文本信息，并利用这些信息来引导视觉编码器关注与当前问题相关的图像区域。通过这种方式，模型可以更好地理解上下文，从而生成更准确和连贯的回答。

技术框架：CAMVR框架主要包含两个核心模块：视觉文本上下文记忆单元（VCMU）和自适应视觉焦点引导（AVFG）机制。VCMU是一个动态读写记忆网络，用于存储每一轮交互中的视觉特征、文本语义表示以及它们之间的跨模态对应关系。AVFG机制则利用VCMU中的上下文信息，动态调整视觉编码器对图像区域的注意力权重。此外，还设计了多层次推理集成策略，确保响应生成与当前输入和历史上下文保持一致。

关键创新：CAMVR的关键创新在于VCMU和AVFG的结合使用。VCMU提供了一个动态的上下文记忆，而AVFG则利用这个记忆来引导视觉编码器，从而实现上下文感知的视觉推理。这种设计使得模型能够更好地理解多轮交互中的上下文信息，并生成更准确和连贯的回答。与现有方法相比，CAMVR能够更有效地利用历史信息，避免上下文丢失和幻觉问题。

关键设计：VCMU采用读写机制，每一轮交互都会更新记忆内容。AVFG通过计算VCMU中上下文向量与视觉特征之间的相似度，动态调整视觉编码器的注意力权重。多层次推理集成策略包括特征层面的融合和决策层面的融合，以确保响应生成与上下文的一致性。具体的参数设置、损失函数和网络结构等细节未在摘要中详细说明，属于未知信息。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

CAMVR在VisDial、改编的A-OKVQA和MTIF等数据集上取得了state-of-the-art的性能，证明了其在多轮视觉文本推理方面的有效性。具体的性能数据和提升幅度未在摘要中给出，属于未知信息。但摘要强调了CAMVR在多个数据集上的一致性表现。

🎯 应用场景

CAMVR框架具有广泛的应用前景，例如智能客服、视觉对话机器人、教育辅导系统等。它可以帮助LVLM更好地理解用户的意图，并提供更准确、更个性化的服务。此外，该研究还可以促进多模态交互和上下文推理领域的发展，为未来的研究提供新的思路和方法。

📄 摘要（原文）

Current Large Language Models (LLMs) and Vision-Language Large Models (LVLMs) excel in single-turn tasks but face significant challenges in multi-turn interactions requiring deep contextual understanding and complex visual reasoning, often leading to fragmented reasoning, context loss, and hallucinations. To address these limitations, we propose Context-Aware Multi-Turn Visual Reasoning (CAMVR), a novel framework designed to empower LVLMs with robust and coherent multi-turn visual-textual inference capabilities. CAMVR introduces two key innovations: a Visual-Textual Context Memory Unit (VCMU), a dynamic read-write memory network that stores and manages critical visual features, textual semantic representations, and their cross-modal correspondences from each interaction turn; and an Adaptive Visual Focus Guidance (AVFG) mechanism, which leverages the VCMU's context to dynamically adjust the visual encoder's attention to contextually relevant image regions. Our multi-level reasoning integration strategy ensures that response generation is deeply coherent with both current inputs and accumulated historical context. Extensive experiments on challenging datasets, including VisDial, an adapted A-OKVQA, and our novel Multi-Turn Instruction Following (MTIF) dataset, demonstrate that CAMVR consistently achieves state-of-the-art performance.