CoDA: Coordinated Diffusion Noise Optimization for Whole-Body Manipulation of Articulated Objects
作者: Huaijin Pi, Zhi Cen, Zhiyang Dou, Taku Komura
分类: cs.GR, cs.CV, cs.RO
发布日期: 2025-05-27
备注: Project page: https://phj128.github.io/page/CoDA/index.html
💡 一句话要点
CoDA：协同扩散噪声优化，实现铰接物体全身操控
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱七：动作重定向 (Motion Retargeting)
关键词: 全身操控 扩散模型 运动合成 铰接物体 噪声优化
📋 核心要点
- 现有方法难以实现全身运动中手部与身体的紧密协调，且铰接物体操控对精度要求高，手指需精确定位。
- 提出协同扩散噪声优化框架，分别训练身体、左手和右手扩散模型，通过梯度流动实现协调。
- 采用基于基点集的统一表示，编码手部与物体间的空间关系，指导扩散噪声优化，提升交互精度。
📝 摘要（中文）
本文提出了一种新颖的协同扩散噪声优化框架，用于合成铰接物体的全身操控动作，包括身体运动、手部运动和物体运动。该任务极具挑战性，并在虚拟人和机器人领域有着广泛的应用。核心挑战在于：一是实现逼真的全身运动需要手部和身体其他部位之间的紧密协调，因为它们在操控过程中相互依赖；二是铰接物体操控通常涉及高自由度，需要更高的精度，通常需要将手指放置在特定区域以驱动可移动部件。为了解决这些挑战，我们对身体、左手和右手三个专门的扩散模型进行噪声空间优化，每个模型都在其自身的运动数据集上进行训练以提高泛化能力。通过沿人体运动链的梯度流动，自然地产生协调，从而使全局身体姿势能够高保真地适应手部运动目标。为了进一步提高手部与物体交互的精度，我们采用了一种基于基点集（BPS）的统一表示，其中末端执行器的位置被编码为到用于对象几何体的相同BPS的距离。这种统一的表示捕捉了手部和铰接物体部件之间精细的空间关系，并且生成的轨迹作为目标来指导扩散噪声的优化，从而产生高度精确的交互运动。大量的实验表明，我们的方法在运动质量和物理合理性方面优于现有方法，并实现了各种能力，例如物体姿势控制、同步行走和操控以及仅从手部数据生成全身运动。
🔬 方法详解
问题定义：论文旨在解决铰接物体全身操控的运动合成问题，包括身体、手部和物体的协调运动。现有方法难以在全身运动中实现手部与身体的自然协调，并且对于高自由度的铰接物体操控，精度不足，难以实现手指的精确定位。
核心思路：论文的核心思路是利用多个扩散模型分别生成身体、左手和右手的运动，并通过梯度流动实现它们之间的协调。同时，采用基于基点集的统一表示来精确捕捉手部与物体之间的空间关系，从而提高操控精度。
技术框架：整体框架包含三个独立的扩散模型，分别用于生成身体、左手和右手的运动。这些模型在各自的运动数据集上进行训练。在生成过程中，通过优化噪声空间，利用梯度信息将手部运动目标传递到身体，实现协调运动。此外，使用基于基点集的统一表示来编码手部和物体之间的空间关系，并将其作为目标来指导扩散噪声的优化。
关键创新：最重要的技术创新点在于协同扩散噪声优化框架，它能够有效地协调身体、左手和右手的运动，并利用基于基点集的统一表示来提高手部与物体交互的精度。与现有方法相比，该方法能够生成更自然、更逼真的全身操控运动。
关键设计：论文的关键设计包括：1) 使用三个独立的扩散模型，以提高泛化能力；2) 通过梯度流动实现身体与手部的协调；3) 采用基于基点集的统一表示，精确编码手部与物体之间的空间关系；4) 通过优化噪声空间，将手部运动目标传递到身体。
🖼️ 关键图片
📊 实验亮点
实验结果表明，CoDA方法在运动质量和物理合理性方面优于现有方法。例如，CoDA能够生成更自然的行走和操控同步运动，并且能够仅从手部数据生成全身运动。此外，CoDA在物体姿势控制方面也表现出色，能够精确地控制铰接物体的运动。
🎯 应用场景
该研究成果可广泛应用于虚拟人动画生成、机器人操控、人机交互等领域。例如，可以用于创建逼真的虚拟角色，使其能够自然地操控各种物体；也可以用于训练机器人，使其能够完成复杂的装配任务；还可以用于开发更自然、更智能的人机交互界面。
📄 摘要（原文）
Synthesizing whole-body manipulation of articulated objects, including body motion, hand motion, and object motion, is a critical yet challenging task with broad applications in virtual humans and robotics. The core challenges are twofold. First, achieving realistic whole-body motion requires tight coordination between the hands and the rest of the body, as their movements are interdependent during manipulation. Second, articulated object manipulation typically involves high degrees of freedom and demands higher precision, often requiring the fingers to be placed at specific regions to actuate movable parts. To address these challenges, we propose a novel coordinated diffusion noise optimization framework. Specifically, we perform noise-space optimization over three specialized diffusion models for the body, left hand, and right hand, each trained on its own motion dataset to improve generalization. Coordination naturally emerges through gradient flow along the human kinematic chain, allowing the global body posture to adapt in response to hand motion objectives with high fidelity. To further enhance precision in hand-object interaction, we adopt a unified representation based on basis point sets (BPS), where end-effector positions are encoded as distances to the same BPS used for object geometry. This unified representation captures fine-grained spatial relationships between the hand and articulated object parts, and the resulting trajectories serve as targets to guide the optimization of diffusion noise, producing highly accurate interaction motion. We conduct extensive experiments demonstrating that our method outperforms existing approaches in motion quality and physical plausibility, and enables various capabilities such as object pose control, simultaneous walking and manipulation, and whole-body generation from hand-only data.