Recognizing Dialogue Ambiguity via Candidate Set Visual Grounding

📄 arXiv: 2610.19723v1 📥 PDF

作者: Shun Inadumi, Lee Sangmyeong, Koichiro Yoshino

分类: cs.CL, cs.AI, cs.CV

发布日期: 2026-10-14

备注: Data: https://huggingface.co/datasets/SInadumi/CandVG, Code: https://github.com/OU-sigma-dis/candvg

💡 一句话要点

提出候选集视觉定位以解决对话歧义问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 对话系统 视觉定位 多模态学习 候选集生成 人工智能

📋 核心要点

  1. 现有的交互式视觉定位方法主要集中在一旦获得足够的对话上下文后识别唯一对象，未能有效处理模糊发言的多重指称问题。
  2. 本文提出候选集视觉定位（CSVG）任务，旨在根据对话上下文估计可能的对象集合，从而更好地处理对话中的歧义。
  3. 实验结果表明，尽管视觉定位能力较强的模型在CSVG任务中表现不佳，但通过特定指令的设计，能够在一定程度上改善模型性能。

📝 摘要（中文）

在现实互动中，解释模糊的发言通常需要超出单一发言的上下文。当发言涉及视觉场景中的对象时，必须在上下文积累的过程中维护和更新合理的指称对象集合，而不假设可用信息能识别唯一对象。为了解决这一问题，本文提出了候选集视觉定位（CSVG）任务，旨在估计与给定对话上下文一致的对象集合。此外，本文引入了CandVG基准，评估候选集在对话轮次中的变化。我们的评估显示，视觉定位能力更强的模型并不一定在CSVG任务中表现更好，尤其是在候选生成和早期轮次对小候选集的过早承诺方面存在困难。然而，我们发现，通过为CSVG设计的指令，可以在评估的大规模模型中部分缓解这一限制。

🔬 方法详解

问题定义：本文旨在解决在对话中如何有效识别模糊发言所指的多个可能对象的问题。现有方法往往假设可用信息能够识别唯一对象，未能考虑到对话上下文的动态变化和多重指称的可能性。

核心思路：论文提出候选集视觉定位（CSVG）任务，通过估计与对话上下文一致的对象集合，来应对模糊发言的挑战。这种方法允许模型在对话过程中动态更新候选对象集合，而不是仅依赖于单一的上下文信息。

技术框架：整体架构包括对话上下文的解析、候选对象的生成和更新、以及最终的候选集评估。主要模块包括对话理解模块、视觉信息提取模块和候选集更新模块，确保模型能够在每个对话轮次中适应新的信息。

关键创新：最重要的技术创新在于引入了候选集的动态更新机制，使得模型能够在对话过程中灵活调整候选对象集合。这一方法与现有方法的本质区别在于不再追求唯一对象的识别，而是关注候选集的全面性和准确性。

关键设计：在模型设计中，采用了特定的损失函数来优化候选集的生成和更新过程，同时在网络结构上引入了多模态融合机制，以增强视觉和语言信息的交互。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，尽管视觉定位能力较强的模型在CSVG任务中表现不佳，但通过为CSVG设计的指令，能够在评估的大规模模型中部分缓解这一限制。具体而言，模型在候选集的完整性预测上存在困难，尤其是在早期对话轮次中对候选集的过早承诺。

🎯 应用场景

该研究的潜在应用领域包括人机交互、智能助手和自动驾驶等场景。在这些应用中，能够有效处理模糊指称的能力将显著提升用户体验和系统的智能化水平。未来，该方法可能会推动更复杂的对话系统和视觉理解模型的发展。

📄 摘要（原文）

Interpreting an ambiguous utterance in real-world interactions often requires context beyond a single utterance. When the utterance refers to objects in a visual scene, it is necessary to maintain and update the set of plausible referents as context accumulates, without assuming that the available information identifies a unique object. However, prior work on interactive visual grounding, which localizes objects referred to by linguistic expressions, has focused on identifying a unique object once sufficient dialogue context becomes available. To address this gap, we propose Candidate Set Visual Grounding (CSVG), a task for estimating the set of objects consistent with the given dialogue context. We further introduce CandVG, a benchmark that evaluates how the candidate set changes across dialogue turns. Our evaluation of vision-language models shows that stronger visual grounding capability does not necessarily yield better CSVG performance. In particular, models have difficulty predicting the complete candidate set, owing to challenges in candidate generation and premature commitment to a small set of candidates in early turns. Nevertheless, we find that this limitation can be partially mitigated in the evaluated large-scale models using instructions designed for CSVG.