UniRef-UAV: A Multimodal Benchmark for Universal Referring in UAV Imagery
作者: Haibin Tian, Huichao Xie, Xuelin Qian, Ruitao Lu, Junwei Han, Dingwen Zhang
分类: cs.CV
发布日期: 2026-07-09
💡 一句话要点
提出UniRef-UAV以解决无人机图像中的多模态指代问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 无人机图像 多模态指代 视觉定位 集合预测 目标检测
📋 核心要点
- 现有的指代表达理解方法主要基于文本查询，无法有效处理多模态指令和多目标实例的情况。
- 本文提出了UniRef-UAV基准，支持多种查询模式，并引入UAV-URNet作为检测风格的基线模型。
- 实验结果显示，UAV-URNet在无目标识别和一致性方面表现出色，且实现更为轻量和可重复。
📝 摘要（中文）
无人机（UAV）越来越依赖视觉定位能力，从复杂的空中场景中根据多样的指令定位任务相关目标。然而，现有的指代表达理解（REC）基准和方法主要围绕文本查询和单一目标输出构建，限制了其在实际无人机场景中的适用性。为了解决这一问题，本文提出了“通用指代”任务，并构建了UniRef-UAV基准，支持文本、图像及文本+图像查询，涵盖多种目标数量的情况。我们还提出了UAV-URNet作为基线，能够将异构查询映射到共享查询空间，并通过集合预测来预测可变大小的目标集。实验表明，UAV-URNet在无目标识别和实现的轻量性方面优于大型通用MLLMs。
🔬 方法详解
问题定义：本文旨在解决现有无人机图像中指代表达理解方法的局限性，尤其是对多模态查询和多目标实例的支持不足。
核心思路：通过引入“通用指代”任务，扩展查询模态和输出数量，构建UniRef-UAV基准，支持文本、图像及其组合的查询形式。
技术框架：整体架构包括多个模块，首先是查询模态的处理，其次是目标检测模块，最后通过集合预测生成可变大小的目标集。
关键创新：最重要的创新在于引入了多模态查询和目标数量的灵活性，使得模型能够更好地适应复杂的无人机场景。
关键设计：在模型设计中，采用了共享查询空间的映射机制，并设计了适应不同模态的损失函数，以提高模型的泛化能力。实验中还进行了多种参数设置和消融研究，以验证设计的有效性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，UAV-URNet在无目标识别上表现出更高的一致性，相较于大型通用MLLMs，其实现更加轻量且可重复，具体性能提升幅度未知。
🎯 应用场景
该研究的潜在应用领域包括无人机监控、搜索与救援、农业监测等场景，能够有效提升无人机在复杂环境中的目标识别和定位能力。未来，该技术有望推动无人机在智能城市、环境保护等领域的广泛应用。
📄 摘要（原文）
Unmanned aerial vehicles (UAVs) increasingly rely on visual grounding capabilities to localize task-relevant targets from diverse instructions in complex aerial scenes. Existing referring expression comprehension (REC) benchmarks and methods, however, are largely built around text-only queries and single-object outputs, which limits their applicability to practical UAV scenarios involving reference images, multimodal instructions, absent targets, and multiple valid target instances. To address this gap, we introduce \emph{Universal Referring}, a generalized UAV referring task that jointly expands the query modality and the output cardinality. We construct \emph{UniRef-UAV}, a multimodal benchmark that supports text-only, image-only, and text+image queries with modality-dependent target cardinality, where text-only and text+image queries admit no-target, single-target, and multi-target grounding while image-only queries focus on existence-aware single-instance grounding. It also provides in-domain and cross-domain evaluation protocols for visual-query generalization. We further present \emph{UAV-URNet}, a detection-style baseline that maps heterogeneous queries into a shared query space and predicts variable-size target sets through set prediction. Extensive experiments show that UAV-URNet provides a stable and reproducible baseline with more consistent no-target discrimination and a more lightweight, reproducible implementation than large general-purpose MLLMs. Additional domain analysis, query-representation analysis, and ablation studies demonstrate that multimodal queries help reduce visual-query ambiguity and promote a more unified query--target alignment space. The annotations, visual query crops/images, train/validation/test splits, evaluation scripts, and baseline code will be made publicly available to facilitate reproducible research.