Spatial Latent Reasoning for Embodied Reference Understanding
作者: Ling Li, Jianhui Zhong, Wei Liu, Zheng Jiang aand Yuxuan Liu, Jingyu Li, Zhidong Deng
分类: cs.CV
发布日期: 2026-10-07
💡 一句话要点
提出空间潜在推理框架以解决指向手势视觉定位问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 空间潜在推理 指向手势 视觉定位 几何信息 奇偶池化 多模态学习 人机交互
📋 核心要点
- 现有方法在将手部几何信息与视觉特征结合时存在组织不当的问题，导致定位精度不足。
- 本文提出空间潜在推理（SLR）框架，通过有序的几何和视觉状态序列来构建有效的中间监督。
- 在EgoPoint-Ground数据集上，SLR框架在不同模型上分别提高了2.8、17.5和21.1个百分点的mIoU，YouRefIt数据集上精度达到77.6%。
📝 摘要（中文）
指向手势视觉定位需要将手部几何形状与所指对象的视觉特征和范围相连接。持续的潜在推理面临的主要挑战是如何将这些互补线索组织成有用的中间监督。为此，本文提出了空间潜在推理（SLR）框架，该框架围绕几何和视觉状态的有序序列构建监督。通过引入奇偶池化，本文在EgoPoint-Ground和YouRefIt数据集上显著提高了模型性能，验证了任务结构化监督的有效性。
🔬 方法详解
问题定义：本文旨在解决指向手势视觉定位中的几何信息与视觉特征整合不足的问题。现有方法在处理这些互补线索时，往往缺乏有效的中间监督机制，导致定位精度不高。
核心思路：提出空间潜在推理（SLR）框架，通过有序的几何和视觉状态序列来构建监督。该设计旨在更好地组织手部几何信息与目标区域特征，从而提高模型的推理能力。
技术框架：SLR框架包括多个模块：首先，利用指尖位置和指向方向监督空间光线状态；其次，生成与目标区域特征对齐的四个状态；最后，通过奇偶池化对区域标记进行聚合。训练和推理过程中，所有状态均为递归生成，辅助注释仅在训练阶段需要。
关键创新：本文的主要创新在于引入了奇偶池化技术，通过多相位分组平均区域标记，显著提升了视觉目标的构建效果。这一方法与传统的池化操作相比，能够更有效地捕捉空间特征。
关键设计：在模型训练中，采用了递归生成的状态设计，确保了几何和视觉信息的联合监督。此外，奇偶池化的实现细节包括对四个交错空间支持的区域标记进行平均，优化了特征提取过程。具体的损失函数和网络结构细节在论文中进行了详细描述。
🖼️ 关键图片
📊 实验亮点
在EgoPoint-Ground数据集上，SLR框架在不同模型上分别提高了mIoU 2.8、17.5和21.1个百分点，且在YouRefIt数据集上实现了77.6%的精度，较现有最佳结果提升5.2个百分点。这些结果表明SLR框架在指向手势视觉定位任务中的有效性和优越性。
🎯 应用场景
该研究的潜在应用场景包括人机交互、增强现实和机器人视觉等领域。通过提高指向手势的视觉定位精度，可以增强用户体验，推动智能设备的普及和应用。同时，该框架的设计理念也可为其他多模态学习任务提供参考，具有广泛的实际价值和未来影响。
📄 摘要（原文）
Pointing-gesture visual grounding requires connecting hand geometry with the visual identity and extent of a referred object. A central challenge for continuous latent reasoning is how to organize these complementary cues into useful intermediate supervision. We propose Spatial Latent Reasoning (SLR), a framework that structures this supervision around an ordered sequence of geometric and visual states. A spatial ray state is supervised by fingertip position and pointing direction, followed by four states aligned with target-region features. To construct the visual targets, we introduce parity pooling, which applies polyphase grouping to average region tokens on four interleaved spatial supports. All states are generated recurrently during training and inference; auxiliary annotations are required only during training. On EgoPoint-Ground, the framework improves mIoU over same-backbone supervised fine-tuning by 2.8, 17.5, and 21.1 percentage points on Qwen3.5-4B, Qwen2.5-VL-7B, and Qwen3-VL-8B, respectively, with improvements on both hard subsets. On YouRefIt, it achieves 77.6% precision at IoU 0.5, a numerical margin of 5.2 percentage points over the reported state of the art under differing evaluation protocols. Ablations support joint geometric and visual supervision on the standard and similar-object sets, and favor parity over three alternative pooling operators on the standard set. These results support task-structured supervision for continuous pointing grounding. We will release the code and supporting materials.