Ego-InBetween: Generating Object State Transitions in Ego-Centric Videos

📄 arXiv: 2604.17749v1 📥 PDF

作者: Mengmeng Ge, Takashi Isobe, Xu Jia, Yanan Sun, Zetong Yang, Weinong Wang, Dong Zhou, Dong Li, Huchuan Lu, Emad Barsoum

分类: cs.CV

发布日期: 2026-04-20

备注: CVPR2026

💡 一句话要点

EgoInBetween：提出EgoIn框架，用于生成以自我为中心的视频中物体状态过渡帧。

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)

关键词: 自我中心视频 物体状态转换 视觉语言模型 条件生成 人机交互

📋 核心要点

  1. 现有生成模型难以理解自我中心视角下的复杂场景，并难以推理物体状态间的转换步骤。
  2. EgoIn框架通过TransitionVLM推断多步转换过程，并利用Transition Conditioning模块生成中间帧。
  3. 实验表明，EgoIn在生成连贯的物体状态转换序列方面优于现有方法，尤其是在人-物和机器人-物交互场景中。

📝 摘要（中文）

理解物理转换过程对于人类认知和人工智能系统至关重要，尤其是在以自我为中心的视角下，这构成了人机交互中动作建模的关键桥梁。我们将此建模过程定义为以自我为中心的指导性视觉状态转换（EIVST），即在简短的动作指令下，生成描述初始状态和目标状态之间物体转换的中间帧。EIVST对当前的生成模型提出了两个挑战：（1）理解初始和目标状态的视觉场景，并从自我中心视角推理转换步骤；（2）生成一致的中间过渡，既遵循给定的指令，又保持物体在两个视觉状态中的外观一致性。为了应对这些挑战，我们提出了EgoIn框架。它首先使用TransitionVLM推断两个给定状态之间的多步转换过程，该模型在我们精心策划的数据集上进行了微调，以更好地适应此任务并减少幻觉信息。然后，它基于提出的Transition Conditioning模块生成的转换条件来生成一系列帧。此外，我们引入了对象感知的辅助监督，以在整个转换过程中保持一致的物体外观。在人-物和机器人-物交互数据集上的大量实验表明，EgoIn在生成语义上有意义且视觉上连贯的转换序列方面表现出色。

🔬 方法详解

问题定义：论文旨在解决以自我为中心的视频中，根据给定的初始状态、目标状态和动作指令，生成物体状态过渡的中间帧的问题。现有方法难以同时理解自我中心视角下的场景，并生成语义一致且视觉连贯的过渡序列，容易出现幻觉和物体外观不一致的问题。

核心思路：论文的核心思路是利用预训练的视觉语言模型（VLM）来推理状态之间的转换步骤，并结合条件生成和对象感知的辅助监督来生成高质量的中间帧。通过微调VLM，使其更好地适应EIVST任务，并减少幻觉信息的产生。

技术框架：EgoIn框架主要包含两个阶段：1) Transition Inference: 使用TransitionVLM推断初始状态和目标状态之间的多步转换过程，生成一系列转换条件。2) Frame Generation: 基于Transition Conditioning模块生成的转换条件，生成一系列中间帧，并利用对象感知的辅助监督来保持物体外观的一致性。

关键创新：论文的关键创新在于：1) 提出了EgoIn框架，专门用于生成以自我为中心的物体状态过渡帧。2) 利用TransitionVLM进行多步转换推理，并针对EIVST任务进行了微调，减少了幻觉。3) 引入了Transition Conditioning模块和对象感知的辅助监督，以生成语义一致且视觉连贯的过渡序列。

关键设计：TransitionVLM基于预训练的视觉语言模型，通过在EIVST数据集上进行微调，学习状态转换的知识。Transition Conditioning模块将转换条件编码为中间帧生成的条件信息。对象感知的辅助监督通过在训练过程中引入额外的损失函数，鼓励模型生成具有一致物体外观的中间帧。具体的损失函数和网络结构细节在论文中有详细描述（未知）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文在人-物和机器人-物交互数据集上进行了大量实验，结果表明EgoIn框架在生成语义上有意义且视觉上连贯的转换序列方面表现出色。具体的性能数据和对比基线在论文中有详细描述（未知），但总体而言，EgoIn能够显著提升中间帧的生成质量，减少幻觉，并保持物体外观的一致性。

🎯 应用场景

该研究成果可应用于机器人操作、虚拟现实、人机交互等领域。例如，可以帮助机器人理解人类指令并生成相应的动作序列，或者在虚拟现实环境中生成逼真的物体状态转换效果，提升用户体验。此外，该技术还可以用于视频编辑和内容创作，自动生成物体状态过渡的中间帧，提高效率。

📄 摘要（原文）

Understanding physical transformation processes is crucial for both human cognition and artificial intelligence systems, particularly from an egocentric perspective, which serves as a key bridge between humans and machines in action modeling. We define this modeling process as Egocentric Instructed Visual State Transition (EIVST), which involves generating intermediate frames that depict object transformations between initial and target states under a brief action instruction. EIVST poses two challenges for current generative models: (1) understanding the visual scenes of the initial and target states and reasoning about transformation steps from an egocentric view, and (2) generating a consistent intermediate transition that follows the given instruction while preserving object appearance across the two visual states. To address these challenges, we propose the EgoIn framework. It first infers the multi-step transition process between two given states using TransitionVLM, fine-tuned on our curated dataset to better adapt to this task and reduce hallucinated information. It then generates a sequence of frames based on transition conditions produced by the proposed Transition Conditioning module. Additionally, we introduce Object-aware Auxiliary Supervision to preserve consistent object appearance throughout the transition. Extensive experiments on human-object and robot-object interaction datasets demonstrate EgoIn's superior performance in generating semantically meaningful and visually coherent transformation sequences.