ContourVLA: A Closed-Loop Perception-Action Contour Policy for Generalized Referring Expression Segmentation

📄 arXiv: 2610.12107v1 📥 PDF

作者: Ruicheng Zhang, Kaiwen Shen, Jiaqi Hou, Shuhan Yang, Junchao Huang, Kewei Zhang, Jun Zhou, Li Jiang, Shen Zhao

分类: cs.CV

发布日期: 2026-10-08

💡 一句话要点

提出ContourVLA以解决通用指称表达分割问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 通用指称表达 视觉-语言 闭环控制 边界分割 多模态感知 深度学习 实例级优化

📋 核心要点

  1. 现有方法在处理动态语言指定的参照物时，面临静态特征接口和单次掩码预测的限制，导致感知和几何校正能力不足。
  2. ContourVLA将GRES视为闭环的视觉-运动过程，通过可编辑轮廓作为策略状态，结合几何动作块动态更新感知。
  3. 在gRefCOCO的验证集、测试集A和测试集B上，ContourVLA分别提高了8.7、2.8和2.7的gIoU，并在所有RefCOCO系列中达到了最高的mIoU。

📝 摘要（中文）

通用指称表达分割（GRES）需要在识别语言指定的可变数量的参照物与精确边界划分之间动态平衡高层语义与细粒度视觉证据。这一需求对现有的级联视觉-语言架构提出了挑战，后者通常依赖静态特征接口和单次掩码预测，限制了自适应感知和几何校正。本文提出ContourVLA，一种将GRES重新构建为闭环视觉-运动过程的视觉-语言-动作策略，其中可编辑的轮廓作为显式策略状态，调节多模态感知并通过几何动作块进行更新。通过监督初始化，Dustbin-Augmented Entropic Credit Transport GRPO（DECT-GRPO）联合优化离散基础和连续轮廓动作，基于实例级别的信用进行调整。

🔬 方法详解

问题定义：本文解决通用指称表达分割（GRES）中的动态语义识别与精确边界划分之间的平衡问题。现有方法依赖静态特征接口，无法适应多变的输入和复杂的几何形状。

核心思路：ContourVLA通过将GRES视为闭环视觉-运动过程，利用可编辑轮廓作为策略状态，结合几何动作块来动态更新感知，从而实现更高效的边界识别和语义理解。

技术框架：ContourVLA的整体架构包括多个模块：首先进行监督初始化，然后通过Dustbin-Augmented Entropic Credit Transport GRPO（DECT-GRPO）优化离散基础和连续轮廓动作，最后通过演化感知语义调度（EASS）实现多层次多模态特征的状态条件路由。

关键创新：最重要的创新在于将可编辑轮廓作为显式策略状态，结合几何动作块进行动态更新，这一方法显著提升了感知的适应性和几何校正能力，与传统的静态特征方法形成鲜明对比。

关键设计：在设计中，DECT-GRPO通过实例级别的信用优化离散和连续动作，损失函数考虑了假阳性和漏检目标的影响，确保了模型在复杂场景下的鲁棒性。整体网络结构采用了多层次特征融合，增强了模型的表达能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ContourVLA在gRefCOCO的验证集、测试集A和测试集B上分别提高了gIoU 8.7、2.8和2.7点，且在所有RefCOCO系列中达到了最高的mIoU，显示出其在通用指称表达分割任务中的显著性能提升。

🎯 应用场景

该研究的潜在应用领域包括智能监控、自动驾驶、机器人视觉等，需要在复杂环境中进行精确的目标识别和分割。ContourVLA的闭环感知-动作策略能够提升这些领域中对动态场景的理解和处理能力，具有重要的实际价值和未来影响。

📄 摘要（原文）

Generalized referring expression segmentation (GRES) requires dynamically balancing high-level semantics for identifying a variable number of language-specified referents with fine-grained visual evidence for precise boundary delineation. This requirement challenges existing cascaded vision-language architectures, which typically rely on static feature interfaces and single-pass mask prediction, limiting adaptive perception and geometric correction. We introduce ContourVLA, a vision-language-action policy that recasts GRES as a closed-loop visuomotor process, in which editable contours serve as explicit policy states that condition multimodal perception and are updated by geometric action chunks. Evolution-Aware Semantic Scheduling (EASS) couples contour-guided bidirectional boundary sampling with state-conditioned routing of multilevel multimodal features, adapting perception to each contour state. Following supervised initialization, Dustbin-Augmented Entropic Credit Transport GRPO (DECT-GRPO) jointly optimizes discrete grounding and continuous contour actions with instance-level credits. Its rollout rewards and credits are derived from soft prediction-target correspondences that account for false positives and missed targets. ContourVLA improves gIoU over the strongest evaluated baselines by 8.7, 2.8, and 2.7 points on gRefCOCO val, testA, and testB, respectively, and achieves the highest mIoU across all eight RefCOCO, RefCOCO+, and RefCOCOg splits.