OmniCam: Omni-Camera Trajectory Generation via Geometry-Grounded Pose Token Learning

📄 arXiv: 2610.09513v1 📥 PDF

作者: Zhenyang Liu, Chenjie Cao, Yisu Zhang, Xuhui Zuo, Xiangyang Xue, Yanwei Fu, Tengfei Wang, Chunchao Guo

分类: cs.CV, cs.AI

发布日期: 2026-10-07

💡 一句话要点

提出OmniCam以解决全景图像生成相机轨迹问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 相机轨迹生成 全景图像 几何学习 自回归模型 机器人感知 视频生成 场景重建

📋 核心要点

  1. 现有方法在从语言生成相机轨迹时，难以有效结合场景几何信息和目标感知，导致生成的轨迹不准确。
  2. 本文提出的OmniCam模型通过几何基础的姿态标记学习，从全景图像和文本描述中生成相机轨迹，提升了生成质量。
  3. 实验结果表明，OmniCam在轨迹误差和碰撞率方面相较于基线方法有显著提升，分别减少了43.0%和62.3%。

📝 摘要（中文）

相机轨迹在视频生成、场景重建和机器人感知中起着关键作用。从语言生成相机轨迹需要考虑场景几何和目标感知框架。本文提出OmniCam，一种自回归模型，能够从单个全景图像和文本轨迹描述中生成相机姿态序列。其几何基础的姿态标记学习结合了三个组件：用于全向几何上下文的全景点云编码器；具有时间一致四元数符号的混合绝对旋转和相对平移标记化；以及带有明确3D目标锚的几何和语义条件流。我们还构建了OmniCaT，包含267,700个轨迹，涵盖四种相机行为。在OmniCaT评估中，OmniCam相较于在OmniCaT上重新训练的GenDoP，轨迹误差减少了28-47%，碰撞率减少了65.8%。

🔬 方法详解

问题定义：本文旨在解决从语言描述生成相机轨迹的挑战，现有方法在结合场景几何和目标感知方面存在不足，导致生成的轨迹不够准确和稳定。

核心思路：OmniCam通过几何基础的姿态标记学习，利用全景图像和文本描述生成相机轨迹，设计了一个自回归模型，能够有效捕捉场景几何信息和目标感知。

技术框架：OmniCam的整体架构包括三个主要模块：全景点云编码器用于提取几何上下文，混合绝对旋转和相对平移标记化用于生成轨迹，以及几何和语义条件流以增强生成的准确性。

关键创新：论文的主要创新在于引入几何基础的姿态标记学习和混合标记化策略，使得模型能够在时间上保持一致性，并有效结合几何和语义信息，显著提升生成效果。

关键设计：模型设计中采用了时间一致的四元数符号，确保了相机姿态的连续性；同时，明确的3D目标锚设计增强了模型对目标的感知能力，提升了生成的轨迹质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，OmniCam在OmniCaT评估中表现优异，相较于重新训练的GenDoP，轨迹误差减少了28-47%，碰撞率减少了65.8%。与最佳基线相比，平均轨迹误差（ATE）和碰撞率分别减少了43.0%和62.3%，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括视频生成、虚拟现实、增强现实以及机器人导航等。通过提高相机轨迹生成的准确性，OmniCam可以在这些领域中实现更自然的视角变化和更精确的场景重建，具有重要的实际价值和未来影响。

📄 摘要（原文）

Camera trajectories control viewpoint changes in video generation, scene reconstruction, and robotic perception. Generating them from language requires both scene geometry and target-aware framing. We introduce OmniCam, an autoregressive model that generates camera pose sequences from a single panorama and textual trajectory descriptions. Its geometry-grounded pose token learning combines three components: a panoramic point-cloud encoder for omnidirectional geometric context; hybrid absolute-rotation and relative-translation tokenization with temporally consistent quaternion signs; and separate geometric and semantic conditioning streams with an explicit 3D target anchor. We also construct OmniCaT, containing 267,700 trajectories across four camera behaviors. On the reported OmniCaT evaluation, OmniCam reduces trajectory errors by 28--47% and collision rate by 65.8% relative to GenDoP retrained on OmniCaT. Against the best baseline for each metric, the ATE and collision reductions are 43.0% and 62.3%, respectively. Component ablations support the use of geometric and target-aware conditioning, while downstream experiments examine camera-controlled video generation and robotic active perception.