InterSyn: Interleaved Learning for Dynamic Motion Synthesis in the Wild

📄 arXiv: 2508.10297v1 📥 PDF

作者: Yiyi Ma, Yuanzhi Liang, Xiu Li, Chi Zhang, Xuelong Li

分类: cs.CV

发布日期: 2025-08-14

备注: Accepted by ICCV2025

💡 一句话要点

提出InterSyn以解决动态运动合成中的交互问题

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion)

关键词: 动态运动合成 交互学习 多角色交互 自然语言处理 计算机动画

📋 核心要点

  1. 现有方法通常将单人和多人动态分开处理，导致生成的动作缺乏真实感和协调性。
  2. InterSyn通过交错学习策略，联合建模单人和交互行为，从而更好地捕捉自然的动态交互。
  3. 实验结果显示，InterSyn在文本与动作的对齐度和多样性上显著优于现有方法，设定了新的性能基准。

📝 摘要（中文）

我们提出了运动合成的交错学习框架InterSyn，旨在通过学习综合考虑单人和多人动态的运动生成真实的交互动作。与以往将这些组件分开处理的方法不同，InterSyn采用交错学习策略，以捕捉现实场景中自然的动态交互和细微的协调。该框架包含两个关键模块：交错交互合成模块（INS），从第一人称视角统一建模单人和交互行为，以支持多角色交互；相对协调精炼模块（REC），精炼相互动态，确保角色之间的同步动作。实验结果表明，InterSyn生成的运动序列在文本与动作的对齐度和多样性上优于近期方法，为稳健和自然的运动合成设定了新的基准。此外，我们的代码将在未来开源，以促进该领域的进一步研究和发展。

🔬 方法详解

问题定义：本论文旨在解决动态运动合成中交互动作生成的不足，现有方法往往将单人和多人动态分开处理，导致生成的动作缺乏真实感和协调性。

核心思路：论文提出的核心思路是采用交错学习策略，联合建模单人和交互行为，以捕捉现实场景中的自然动态交互和细微协调。这样的设计能够更好地反映真实世界中的复杂交互。

技术框架：InterSyn框架由两个主要模块组成：交错交互合成模块（INS）和相对协调精炼模块（REC）。INS模块从第一人称视角建模单人和交互行为，而REC模块则负责精炼角色之间的相互动态，确保动作的同步性。

关键创新：InterSyn的主要创新在于其交错学习策略，能够同时考虑单人和多人动态，显著提升了生成动作的自然性和协调性。这与传统方法的分开处理形成了鲜明对比。

关键设计：在技术细节上，INS模块通过特定的损失函数来优化单人和交互行为的建模，而REC模块则通过相对动态的精炼机制来确保角色之间的动作同步。

📊 实验亮点

实验结果表明，InterSyn生成的运动序列在文本与动作的对齐度上提高了显著性，且多样性方面也优于最新的基线方法，设定了新的性能基准，展示了其在动态运动合成中的有效性。

🎯 应用场景

该研究的潜在应用领域包括动画制作、游戏开发和虚拟现实等，能够为角色交互和动态场景生成提供更真实的运动合成方案。未来，InterSyn可能会推动相关领域的技术进步，提升用户体验和交互质量。

📄 摘要（原文）

We present Interleaved Learning for Motion Synthesis (InterSyn), a novel framework that targets the generation of realistic interaction motions by learning from integrated motions that consider both solo and multi-person dynamics. Unlike previous methods that treat these components separately, InterSyn employs an interleaved learning strategy to capture the natural, dynamic interactions and nuanced coordination inherent in real-world scenarios. Our framework comprises two key modules: the Interleaved Interaction Synthesis (INS) module, which jointly models solo and interactive behaviors in a unified paradigm from a first-person perspective to support multiple character interactions, and the Relative Coordination Refinement (REC) module, which refines mutual dynamics and ensures synchronized motions among characters. Experimental results show that the motion sequences generated by InterSyn exhibit higher text-to-motion alignment and improved diversity compared with recent methods, setting a new benchmark for robust and natural motion synthesis. Additionally, our code will be open-sourced in the future to promote further research and development in this area.