Info3R: Information-Adaptive Test-Time Training for 3D Reconstruction

📄 arXiv: 2609.21938v1 📥 PDF

作者: Sunghyun Baek, Hanna Bae, Minchan Kwon, Junmo Kim

分类: cs.CV

发布日期: 2026-09-18

💡 一句话要点

提出Info3R以解决长图像序列中的3D重建问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D重建 信息自适应 动态状态重置 长序列处理 Transformer模型

📋 核心要点

  1. 现有方法在处理长图像序列时，未能有效考虑每帧的重要性和模型状态的信息饱和度，导致性能下降。
  2. 本文提出Info3R，通过信息感知的状态更新和动态状态重置机制，增强模型在长序列中的适应能力。
  3. 在KITTI Odometry数据集上，Info3R的表现显著优于基线方法LongStream，展示了在长序列评估中的优势。

📝 摘要（中文）

近年来，基于Transformer的模型在图像的3D重建中表现出色，但现有方法在处理长图像序列时忽视了每帧的重要性和模型内部状态的信息饱和度。本文提出了Info3R，一种信息自适应的测试时训练方法，旨在在线3D重建中引入信息感知的状态更新机制，根据每帧的冗余性和信息量调节状态更新强度。同时，提出动态状态重置机制，以恢复状态的可塑性，确保模型能够有效整合新观察。实验结果表明，该方法在相机姿态估计、视频深度估计和3D重建上均有显著提升，尤其在KITTI Odometry数据集上，平均绝对误差（ATE）比LongStream低1.68倍，展示了其在长序列评估中的鲁棒性。

🔬 方法详解

问题定义：本文旨在解决在长图像序列中进行3D重建时，现有方法未能充分利用每帧信息和模型状态饱和的问题，导致性能下降。

核心思路：提出信息自适应的测试时训练方法Info3R，通过信息感知的状态更新和动态状态重置机制，增强模型对新观察的整合能力。

技术框架：整体架构包括信息感知状态更新模块和动态状态重置模块，前者根据每帧的冗余性和信息量调整状态更新强度，后者在状态更新累积到一定程度时重置状态以保持可塑性。

关键创新：最重要的创新在于引入信息感知的状态更新和动态状态重置机制，这与传统方法不同，后者通常不考虑信息冗余和状态饱和。

关键设计：在参数设置上，动态状态重置的触发条件基于状态更新的累积幅度和模型预测的置信度，同时结合锚点与世界坐标的对齐，确保模型在长序列中的稳定性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在KITTI Odometry数据集上，Info3R方法的平均绝对误差（ATE）比基线方法LongStream低1.68倍，展示了在长序列评估中的显著性能提升，验证了其在实际应用中的有效性和鲁棒性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、增强现实和机器人导航等，能够有效提升在复杂环境中进行3D重建的准确性和鲁棒性。未来，该方法有望在实时视频处理和长序列数据分析中发挥重要作用。

📄 摘要（原文）

Transformer-based models have recently achieved strong performance on 3D reconstruction from images, and recent works extend them to process video streams in an online manner for real-world deployment. However, existing methods overlook two key signals when handling long image streams: the importance of each incoming frame and the information saturation of the model's internal state. In this paper, we propose Info3R, a novel information-adaptive test-time training method for the online 3D reconstruction. We introduce an information-aware state update that modulates the state update strength based on the redundancy and informativeness of each incoming frame. To restore the state's plasticity -- its capacity to incorporate new observations -- we propose a dynamic state reset, triggered by the cumulative magnitude of state updates and the model's prediction confidence and accompanied by an anchor-to-world alignment. Our method achieves consistent improvements on camera pose estimation, video depth estimation, and 3D reconstruction, while substantially mitigating the performance degradation in the long sequence evaluation. Notably, on KITTI Odometry, our method achieves on average 1.68x lower ATE than LongStream, demonstrating its robustness on extended outdoor sequences.