CoEvolve: Construct-to-Edit Visual Grounding with Bidirectional State Refinement
作者: Dongwei Sun, Yujie Zhang, Bowen Yao, Pei Liu, Jing Yao, Xiangyong Cao
分类: cs.AI, cs.CV
发布日期: 2026-10-01
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出CoEvolve框架以解决视觉定位中的状态编辑问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉定位 多模态融合 状态编辑 深度学习 机器人视觉 语义推理
📋 核心要点
- 现有的多模态视觉定位方法将多个任务压缩为单一预测，导致定位错误难以修正。
- CoEvolve框架通过将视觉定位分为状态构建和状态编辑，提供了更清晰的推理过程和可编辑的空间状态。
- 在实验中，CoEvolve在定位准确性上超过了许多大型模型，并在控制条件下显著提高了边界框的重叠度。
📝 摘要（中文）
视觉定位旨在通过语言描述定位对象并生成边界框。现有的多模态定位模型将目标识别、空间推理和边界估计压缩为单一预测，导致中间定位错误难以诊断和修正。为此，本文提出了CoEvolve框架，将定位过程分为明确的状态构建和状态编辑。区域演化强化（RER）将定位分析组织为渐进的语义-空间轨迹，每一步推理都承诺一个明确的候选区域。双向去噪精炼器（BDR）将推理文本视为固定的语义上下文，通过双向同位置重构来精炼轨迹的坐标场。实验结果显示，CoEvolve在自然图像和遥感定位中表现出色，能够在定位准确性上与参数高达241B的模型相媲美。
🔬 方法详解
问题定义：本文旨在解决现有视觉定位模型在目标识别、空间推理和边界估计中的不足，尤其是中间定位错误难以诊断和修正的问题。
核心思路：提出CoEvolve框架，通过将视觉定位过程分为明确的状态构建和状态编辑，增强推理的可解释性和可编辑性，从而提高定位的准确性。
技术框架：CoEvolve框架包括两个主要模块：区域演化强化（RER）和双向去噪精炼器（BDR）。RER负责组织定位分析为渐进的语义-空间轨迹，而BDR则通过双向重构来精炼轨迹的坐标场。
关键创新：最重要的创新在于将视觉定位过程分为状态构建和状态编辑，使得推理过程更加明确和可控。这一设计与现有方法的单一预测机制形成鲜明对比。
关键设计：在模型设计中，采用了9B的基础网络，并通过几何和行为级目标提供目标几何和编辑偏好信号，以巩固可靠的候选区域，确保输入的准确性或纠正至标注。
🖼️ 关键图片
📊 实验亮点
实验结果显示，CoEvolve在自然图像和遥感定位任务中表现优异，能够与高达241B参数的模型相媲美。在控制条件下，单次BDR处理使得平均边界框重叠度提高超过27个百分点，显示出强大的错误恢复能力。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶、机器人视觉、智能监控等场景，能够有效提高视觉定位的准确性和可靠性。未来，CoEvolve框架有望在多模态交互和人机协作中发挥重要作用，推动智能系统的进一步发展。
📄 摘要（原文）
Visual grounding localizes an object described by language with a bounding box. Most multimodal grounding models compress target identification, spatial reasoning, and boundary estimation into one terminal prediction. Free-form rationales make reasoning linguistically explicit but do not necessarily expose measurable, editable spatial states. Intermediate localization errors are therefore difficult to diagnose and correct, allowing incorrect region choices and imprecise boundaries to persist in the final box. We introduce CoEvolve, a construct-to-edit framework that separates grounding into explicit state construction and state editing. Region-Evolution Reinforcement (RER) organizes grounding analysis into a progressive semantic--spatial trajectory, with each reasoning step committing to an explicit candidate region. Bidirectional Denoising Refiner (BDR) treats the reasoning text as fixed semantic context and refines the trajectory's coordinate fields through bidirectional same-position reconstruction. Geometry- and behavior-level objectives provide target geometry and edit-preference signals for consolidating reliable candidates, preserving accurate inputs, or correcting toward annotations. Evaluations cover natural-image and remote-sensing grounding. With a 9B backbone, CoEvolve rivals models up to 241B parameters in grounding accuracy. Under controlled corruption, a single BDR pass improves mean box overlap by over 27 percentage points, demonstrating strong recovery from substantial localization errors. State-source comparisons further support the complementarity of explicit state construction and source-matched editing. The project is at https://sundongwei.github.io/CoEvolve_Project/.