Moving Regions, Not Moving Objects: Segmenting What Actually Moves under Camera Motion

📄 arXiv: 2610.31209v1 📥 PDF

作者: Wenhua Jin, Tiancheng Chen, Sheng Tang, Jiahao Li, Yupeng Liu, Weiqi Zhang, Juntong Fang, Zesong Li

分类: cs.CV

发布日期: 2026-10-22

备注: Project page and video demonstrations: https://kosmoresearch.github.io/MoRSe/

💡 一句话要点

提出MoRSe以解决动态场景下运动区域分割问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 运动物体分割 相机运动 动态场景 深度学习 计算机视觉 运动区域掩码 视频分析

📋 核心要点

  1. 现有运动物体分割方法在相机运动情况下无法准确定位实际运动区域，常常将整个实例标记为运动。
  2. 本文提出MoRSe，通过联合分析两帧图像，预测运动区域掩码，从而区分真实场景运动与相机引起的表观运动。
  3. MoRSe在MoRSe-5K基准测试中超越了专门的运动物体分割方法和密集4D重建方法，且假阳性最少。

📝 摘要（中文）

运动物体分割通常在序列和对象层面进行，标记整个实例为运动。然而，现有方法在处理相机运动时存在局限，无法准确区分实际运动区域与静止区域。本文提出MoRSe，通过联合解释两帧图像来预测运动区域掩码，克服了传统方法的不足。MoRSe使用单一RGB编码器，简化了推理过程，并在MoRSe-5K基准测试中表现优异，能够在不同场景和相机运动条件下有效区分和定位运动与静止区域。

🔬 方法详解

问题定义：本文旨在解决在相机运动情况下，现有运动物体分割方法无法准确识别和定位实际运动区域的问题。现有方法通常将整个实例标记为运动，导致掩码生成不准确。

核心思路：论文提出MoRSe，通过联合解释两帧图像，直接预测运动区域掩码。这种方法强调运动是相对的，只有通过比较至少两帧才能确定。

技术框架：MoRSe的整体架构包括一个单一的RGB编码器，取代了多阶段的基础模型。该框架不需要光流、点轨迹或单独的掩码生成器，简化了推理过程。

关键创新：MoRSe的核心创新在于其运动区域掩码的生成方式，区别于传统方法的实例级预测，能够更准确地反映实际运动区域。

关键设计：在网络结构上，MoRSe采用了简化的单一编码器架构，避免了复杂的多阶段处理。同时，损失函数设计上注重运动区域的准确性，确保模型在不同场景下的鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在MoRSe-5K基准测试中，MoRSe在运动与静止区域的区分和定位上表现优异，超越了多种现有方法，假阳性率最低，显示出其在动态场景下的强大能力。

🎯 应用场景

该研究的潜在应用领域包括视频监控、自动驾驶、增强现实等场景，能够有效提升动态场景下的物体识别和跟踪能力。未来，MoRSe有望在更复杂的环境中应用，推动智能视觉系统的发展。

📄 摘要（原文）

Moving object segmentation is conventionally formulated at the sequence and object level, marking an entire instance as moving once it moves anywhere in a video. Recent instantaneous formulations distinguish moving from stationary intervals, but still generate masks at the object level through frozen segmentation foundation models. Because the mask is derived from an instance-level proposal, motion is typically attributed to the entire instance rather than localized to the regions that actually move. Moreover, such instance-level predictions can produce masks even when no part of the instance is actually moving, revealing a more fundamental issue: motion is not an intrinsic property of an instance; it can only be determined by comparing at least two frames. Building on this premise, we introduce MoRSe, which jointly interprets two frames to predict a moving-region mask, distinguishing actual scene motion from apparent motion induced by the camera. A single RGB encoder replaces multi-stage foundation stacks, so no optical flow, point tracks, or separate mask generator is needed at inference. We release MoRSe-5K, a benchmark of 42 sequences with Static, Dynamic-Static, and Dynamic settings designed to evaluate the model's ability to distinguish and localize moving and stationary regions under different camera and scene motion conditions. MoRSe outperforms both specialized moving object segmentation methods and dense 4D reconstruction methods with motion-thresholded predictions, while producing the fewest false positives on sequences where nothing moves.