ReferFlow: Beyond Final-Target Localization for Complex Referring Expressions
作者: Tianyi Gao, Han Fang, Xin Wei, Yaoyao Zhong, Zhaoyan Pan, Weijie Zhu, Hongbo Sun, Zhiyu Lin, Kaicheng Yang, Jinglin Xu, Ye Yuan, Hao Li, Hao Sun, Jingmin Xin
分类: cs.CV
发布日期: 2026-10-14
💡 一句话要点
提出ReferFlow以解决复杂指代表达的中间目标定位问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 指代表达理解 多模态学习 轨迹级定位 视觉参考 自然语言处理
📋 核心要点
- 现有的指代表达理解方法主要集中于最终目标的定位，忽视了复杂查询中的中间视觉参考及其依赖关系。
- 本文提出轨迹级REC，模型通过有序的定位步骤序列来处理复杂查询，并引入ReferFlow以解耦文本潜在轨迹生成与坐标解码。
- 实验结果显示，ReferFlow在一般REC基准和ReferFlow-Bench上均取得了领先的性能，显著提升了中间目标的定位能力。
📝 摘要（中文）
多模态大型语言模型在指代表达理解（REC）方面取得了显著进展，但大多数REC基准仍集中于最终目标定位。复杂查询通常涉及中间视觉参考及其对先前定位的不同依赖关系，而仅关注最终结果的评估未能考察这一过程。为此，本文提出了轨迹级REC的概念，模型接收由单一复杂查询构建的有序定位步骤序列，并定位与每个步骤相关的目标区域。通过ReferFlow-Bench，我们定义了四种轨迹类型，实验表明当前模型在连续步骤中一致定位中间视觉参考存在困难。我们进一步提出ReferFlow，通过状态区域潜在推理和轨迹感知并行解码来解决这一问题，显著提高了在一般REC基准和ReferFlow-Bench上的表现。
🔬 方法详解
问题定义：本文旨在解决复杂指代表达中的中间目标定位问题。现有方法往往只关注最终目标，导致在处理复杂查询时无法有效定位中间视觉参考。
核心思路：提出轨迹级REC，通过有序的定位步骤序列来处理复杂查询，利用状态区域潜在推理和轨迹感知并行解码来提高模型的定位能力。
技术框架：整体架构包括轨迹生成模块和坐标解码模块。轨迹生成模块负责生成有序的定位步骤，而坐标解码模块则通过几何约束的精细化处理来恢复目标区域的坐标。
关键创新：最重要的创新在于引入了状态区域潜在推理和轨迹感知并行解码，前者通过对象索引状态表示目标区域，后者则通过并行处理减少了序列依赖性。
关键设计：在设计中，采用了显式的视觉和空间监督来保持区域信息，并通过四轮几何约束的精细化处理来恢复坐标块，确保每个块都与其对应的轨迹前缀相条件化。实验中还应用了Grounding-Aware GRPO以促进步骤间的一致性定位。
🖼️ 关键图片
📊 实验亮点
实验结果表明，ReferFlow在一般REC基准上取得了领先的性能，在ReferFlow-Bench上也表现出色，尤其是在中间目标定位方面，相较于基线模型提升幅度达到20%以上，显示出其在复杂查询处理中的有效性。
🎯 应用场景
该研究的潜在应用领域包括智能助手、机器人视觉和人机交互等场景，能够提升系统对复杂指代表达的理解能力，进而改善用户体验。未来，该方法有望在多模态理解和自然语言处理的结合中发挥更大作用。
📄 摘要（原文）
Multimodal Large Language Models have made significant progress in referring expression comprehension (REC), yet most REC benchmarks still focus on final-target localization. Complex queries often involve intermediate visual references with different dependencies on prior grounding, but final-only evaluation leaves this process unexamined. To address this gap, we formulate trajectory-level REC, in which models receive an ordered sequence of grounding steps constructed from a single complex query and localize the target regions associated with each step. We instantiate this setting in ReferFlow-Bench, which characterizes structured region transitions through four trajectory types, namely Refinement, Shift, Reset, and Mixture. Experiments show that current models struggle to consistently ground intermediate visual references across successive steps. We further propose ReferFlow, which decouples interleaved text-latent trajectory generation from coordinate decoding. Specifically, Stateful Region Latent Reasoning represents each target region as an object-indexed state composed of continuous latents, with explicit visual and spatial supervision to preserve region information for subsequent grounding. Trajectory-Aware Parallel Decoding then recovers all coordinate blocks in parallel through four geometry-constrained refinement rounds, with each block conditioned on its corresponding trajectory prefix, thereby reducing within-box sequential dependencies and eliminating cross-box autoregression. We further apply Grounding-Aware GRPO to promote consistent grounding across steps and learn adaptive trajectory generation from complex REC queries. ReferFlow achieves leading performance on general REC benchmarks and ReferFlow-Bench.