When History Helps and Hurts: Selective History Use across Multimodal Turns
作者: Shuoyang Sun, Kerui Gu, Hao Fang, Shaoli Huang, Bin Chen
分类: cs.CL
发布日期: 2026-10-08
💡 一句话要点
提出ReTurn基准以解决多模态对话历史选择性使用问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态交互 对话系统 历史信息选择 基准评估 视觉音频证据 任务设计 模型评估
📋 核心要点
- 现有多轮对话评估方法未能有效区分历史使用需求与问题难度，导致评估结果不够全面。
- 本文提出ReTurn基准，通过7000个任务评估多模态对话中的选择性历史使用，涵盖视觉和音频证据。
- 实验表明，模型在对话中的开放式准确率显著下降，且高问题回忆率与任务应用能力之间存在矛盾。
📝 摘要（中文）
可靠的多模态交互依赖于对对话历史的选择性使用：早期问题可能仍然相关，而其先前答案可能已过时；当前请求可能依赖于历史证据，尽管存在相互矛盾的新观察。现有的多轮评估很少将这些历史使用需求与潜在问题难度分开。为了解决这一问题，本文提出了ReTurn基准，包含7000个基础任务，涵盖视觉和音频证据，以评估选择性历史使用。任务支持开放式和多项选择评估，并提供了单轮参考答案。实验结果显示，在13种多模态模型中，模型的开放式准确率从93.7%降至72.3%。
🔬 方法详解
问题定义：本文解决的问题是多模态对话中历史信息的选择性使用，现有方法未能有效评估历史信息对当前请求的影响，导致评估结果不准确。
核心思路：论文的核心思路是通过设计ReTurn基准，创建多种任务以评估模型在不同历史使用场景下的表现，特别关注历史信息的相关性和有效性。
技术框架：ReTurn基准包含7000个任务，分为两类：任务携带历史（Reconfirm/Reground）和证据携带历史（Retrieve/Rebind），每类任务都保持目标问题、媒体和答案的一致性。
关键创新：最重要的技术创新点在于引入了选择性历史使用的评估框架，能够明确区分历史信息的使用需求与问题的难度，提供了更为细致的评估标准。
关键设计：任务设计中，历史信息的相关性和当前媒体的竞争性被系统地变化，以评估模型在不同情况下的表现，采用开放式和多项选择评估方式，确保结果的全面性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在13种多模态模型中，开放式准确率从93.7%降至72.3%，表明在对话中历史信息的使用对模型性能影响显著。此外，行为探测表明高问题回忆率与较弱的任务应用能力共存，竞争媒体会将答案引导偏离历史目标。
🎯 应用场景
该研究的潜在应用领域包括智能助手、客服机器人和多模态交互系统等，能够提升这些系统在复杂对话场景中的表现。通过更好地理解和使用历史信息，未来的多模态模型将能够提供更为精准和上下文相关的响应，增强用户体验。
📄 摘要（原文）
Reliable multimodal interaction depends on selective use of conversational history: an earlier question may remain relevant while its previous answer is outdated, whereas a current request may depend on historical evidence despite conflicting new observations. Existing multi-turn evaluations rarely separate these history-use demands from underlying question difficulty. To address this gap, we introduce ReTurn, a benchmark of 7,000 base tasks spanning visual and audio evidence for evaluating selective history use. For task-carrying history, Reconfirm/Reground require applying a historical question to current media while varying historical agreement; for evidence-carrying history, Retrieve/Rebind require answering a current question using historical media while varying current-media competition. Each pair preserves the target question, media, and answer. Tasks support open-ended and multiple-choice evaluation, with matched single-turn counterparts serving as answerability references. Across 13 omni-modal, vision-language, and audio-language models, median model-level open-ended accuracy falls from 93.7% with direct input to 72.3% in conversation. Behavioral probes show that high question recall can coexist with weaker task application, while competing media can redirect answers away from historical targets. Supervised adaptation yields only partial gains. ReTurn provides a controlled framework for assessing whether multimodal models select and use the historical information required by each request.