StreamRig: Exploiting Intra-Rig Geometry for Streaming Multi-Camera Odometry

📄 arXiv: 2609.40244v1 📥 PDF

作者: Yufei Wei, Shuhao Ye, Qi Wang, Xin Zheng, Qing Huang, Rong Xiong, Yue Wang

分类: cs.CV, cs.RO

发布日期: 2026-09-30

备注: 8 pages, 4 figures, 5 tables. Code: https://github.com/WeiYuFei0217/StreamRig

🔗 代码/项目: GITHUB

💡 一句话要点

提出StreamRig以解决多摄像头里程计的高效利用问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多摄像头里程计 流式3D模型 因果注意力 姿态估计 机器人导航

📋 核心要点

  1. 现有的流式3D模型主要针对单目输入，无法充分利用多摄像头阵列的几何信息，导致里程计精度不足。
  2. StreamRig通过冻结的多视角3D基础模型，结合因果注意力机制和轻量级姿态回归，提出了一种新的流式里程计框架。
  3. 在NCLT、TartanGround、KITTI-360等多个数据集上，StreamRig在平移和旋转漂移方面均优于现有的单目流式和离线模型，且推理成本低。

📝 摘要（中文）

移动机器人和车辆通常配备同步的多摄像头设备，但许多流式3D基础模型仅针对单目输入，导致无法高效利用摄像头阵列的几何信息。本文提出了StreamRig，一个冻结与流式框架，基于冻结的多视角3D基础模型构建校准设备的因果流式里程计。该框架通过Rig-Resampler压缩特征，CausalBridge应用因果注意力，并通过轻量级头部回归设备姿态。实验结果表明，StreamRig在多个数据集上实现了较低的平移和旋转漂移，同时保持低推理成本。

🔬 方法详解

问题定义：本文旨在解决多摄像头设备在流式3D里程计中的高效利用问题。现有方法多为单目输入，无法充分利用多摄像头的几何信息，导致里程计精度不足。

核心思路：StreamRig的核心思路是利用冻结的多视角3D基础模型，通过因果流式处理来实现高效的姿态估计。该设计使得系统能够在保持低推理成本的同时，充分利用多摄像头的同步视图。

技术框架：StreamRig的整体架构包括多个模块：首先，冻结的前端模型联合感知同步视图；其次，Rig-Resampler模块压缩特征；然后，CausalBridge模块应用因果注意力机制，并使用键值缓存；最后，轻量级头部用于回归设备姿态。

关键创新：最重要的技术创新在于引入了因果注意力机制和周期性重新锚定协议，使得在长序列中能够稳定地进行姿态估计。这与现有方法的本质区别在于，StreamRig能够有效处理多视角输入，而非单一视角。

关键设计：StreamRig的参数设置为74.6M，训练仅依赖相对姿态作为监督信号。采用两阶段训练策略，结合组重定位预训练和因果设备训练，以转移冻结前端的几何先验和预训练模块的对齐能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在NCLT、TartanGround、KITTI-360及自收集的ZJH数据集上，StreamRig在平移和旋转漂移方面均优于非预知的单目流式和基于设备的离线模型，且推理成本低。具体而言，StreamRig在所有数据集上均实现了显著的性能提升，验证了其有效性。

🎯 应用场景

该研究的潜在应用领域包括移动机器人、自动驾驶车辆和增强现实等场景，能够显著提高多摄像头系统在复杂环境中的定位和导航能力。未来，StreamRig有望推动更高效的流式3D视觉应用，提升机器人自主决策能力。

📄 摘要（原文）

Mobile robots and vehicles carry synchronized multi-camera rigs, yet many streaming 3D foundation models are designed for monocular input, leaving efficient use of rig geometry a challenge. We present StreamRig, a freeze-and-stream framework that builds causal streaming odometry for calibrated rigs on a frozen multi-view 3D foundation model. The frozen front-end jointly perceives the synchronized views using rig calibration. A Rig-Resampler compresses their features, a CausalBridge applies causal attention with a key-value cache, and a lightweight head regresses rig poses. A periodic re-anchoring protocol supports stable pose estimation over long sequences. Only these modules are trained, 74.6M parameters in total, with relative poses as the sole supervision. Our two-stage training strategy combines group relocalization pretraining with causal rig training to transfer the geometric priors of the frozen front-end and the alignment ability of the pretrained modules to streaming odometry. We evaluate on NCLT, TartanGround, KITTI-360, and our self-collected humanoid-robot dataset ZJH, where training uses only simulation and real-world evaluation is zero-shot. Across all four datasets, StreamRig achieves lower translation and rotation drift than the evaluated non-oracle monocular streaming and rig-aware offline models, while maintaining low inference cost. Ablations and controlled camera-count experiments identify the sources of these gains. We further examine how longer training windows affect inference over longer horizons. Code has been released at https://github.com/WeiYuFei0217/StreamRig.