Jag: Direct Box Prediction for Efficient Visual Grounding
作者: Xiuyuan Zhu, Ke Lu, Hao Wu, Zijin Du, Dongming Zhang, Jian Xue
分类: cs.CV
发布日期: 2026-10-09
备注: 16 pages, 6 figures, 13 tables
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出Jag以解决视觉定位中的效率与准确性问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉定位 多模态模型 几何监督 框预测 自回归模型
📋 核心要点
- 现有的自回归多模态模型在视觉定位中效率低下，尤其是在坐标生成和文本解析方面。
- Jag通过直接预测框坐标，采用轻量级回归头和几何监督，简化了多模态处理流程。
- 实验表明，Jag在多个基准上提高了定位准确性，并在延迟和内存使用上表现优异。
📝 摘要（中文）
视觉定位结合了图像与语言理解以及几何预测，但现有的自回归多模态模型通常将框表示为坐标序列，导致计算复杂度增加。本文提出Jag，适应了一个紧凑的预训练多模态模型以实现直接的连续框预测。通过轻量级回归头，Jag在图像和参考表达的条件下，读取最后有效输入标记状态，并同时预测四个框坐标。几何监督共同调整语言主干、视觉合并和回归头，使得定位损失能够塑造多模态表示和坐标映射。在推理过程中，Jag保留了图像与语言处理，并在一次前向传递中返回框，避免了坐标生成或文本解析。实验结果表明，Jag在多个基准测试中均显著提高了定位准确性，并在单请求延迟和GPU内存使用上优于现有的专用定位模型。
🔬 方法详解
问题定义：本文旨在解决现有自回归多模态模型在视觉定位中效率低下的问题，尤其是坐标生成和文本解析带来的计算复杂性。
核心思路：Jag通过直接预测框坐标，避免了传统方法的序列解码过程，采用轻量级回归头来简化计算。
技术框架：Jag的整体架构包括一个预训练的多模态模型，轻量级回归头，以及几何监督机制。推理阶段通过一次前向传递完成图像与语言的处理和框的预测。
关键创新：Jag的主要创新在于将几何监督引入多模态表示的适应过程，使得定位损失能够有效塑造模型的输出，提升了准确性。
关键设计：在设计中，Jag使用了轻量级回归头来同时预测四个框坐标，并通过几何监督来调整语言主干和视觉合并模块，确保模型在推理时高效且准确。
🖼️ 关键图片
📊 实验亮点
Jag在多个基准测试中表现出色，相较于基线模型，定位准确性显著提高，且在单请求延迟和GPU内存使用上均优于现有专用模型，展示了其在效率与准确性上的双重优势。
🎯 应用场景
Jag的研究成果在视觉定位、图像理解和人机交互等领域具有广泛的应用潜力。其高效的框预测能力可以提升自动驾驶、机器人导航和增强现实等技术的性能，未来可能推动多模态模型在实际应用中的普及与发展。
📄 摘要（原文）
Visual grounding combines image--language understanding with geometric prediction, yet autoregressive multimodal models often express a box as a coordinate sequence. Sequential decoding adds computation to the multimodal processing needed for localization. Adapting these representations to box geometry offers a route to direct prediction. We present Jag, which adapts a compact pretrained multimodal model for direct continuous box prediction. A lightweight regression head reads the last valid input-token state, conditioned on the image and referring expression, and predicts all four box coordinates together. Geometric supervision jointly adapts the language backbone, visual merger, and regression head, allowing localization losses to shape both the multimodal representations and the coordinate mapping. Inference retains image--language processing and returns the box in one forward pass, without coordinate generation or text parsing. Across benchmarks, Jag consistently improves grounding accuracy over its base model across the observed target sizes and expression groups. Component ablation show that jointly adapting the representations and head substantially improves accuracy over training the head alone. Against existing specialized grounding models, it achieves competitive accuracy with lower single-request latency and GPU memory use. These results show how supervision tailored to the geometric answer can specialize a compact pretrained multimodal model for accurate grounding and efficient direct prediction. Project page: https://xyzzzh.github.io/Jag/