Long-Horizon Multi-Object Rearrangement via Distilled Tree Search over Continuous Actions

📄 arXiv: 2610.25785v1 📥 PDF

作者: Kallol Saha, Yining Hong, Amber Li, Yejin Choi, Maxim Likhachev, David Held

分类: cs.RO

发布日期: 2026-10-19

备注: Accepted at CoRL 2026 (Oral). Project page: https://distilled-search.github.io

💡 一句话要点

提出DISCO以解决长时间多物体重排问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 长时间操作 多物体重排 蒸馏树搜索 连续动作 蒙特卡洛树搜索 政策学习 物理仿真

📋 核心要点

  1. 长时间操作的政策学习面临累积错误和未来可行性保持的挑战，现有方法难以有效解决。
  2. DISCO通过在连续动作空间中使用渐进扩展的MCTS生成长时间计划，并将其蒸馏到政策-价值模型中。
  3. 在模拟和真实世界的重排任务中，DISCO显著优于行为克隆和强化学习等基线方法，展示了其有效性。

📝 摘要（中文）

尽管近年来政策学习取得了进展，但长时间操作仍然困难，因为学习的政策必须避免累积错误，同时保持未来的可行性。搜索基础的规划可以明确推理未来后果，但在高维连续动作空间中迅速变得昂贵。为此，本文提出了DISCO：在连续动作上进行蒸馏树搜索。DISCO利用物理仿真中的渐进扩展蒙特卡洛树搜索（MCTS）生成长时间计划。在搜索过程中，学习的政策提出连续动作，而学习的价值函数根据任务完成的预期进展对动作进行评分。通过GPU并行化仿真，DISCO定期将MCTS生成的计划蒸馏到政策-价值模型中，从而改善后续搜索中使用的动作提议和价值估计。最终，学习的政策-价值模型可以在测试时直接部署，无需基于仿真的搜索。在模拟和真实世界的重排任务中，DISCO的表现优于行为克隆、强化学习和基于搜索的基线。

🔬 方法详解

问题定义：本文旨在解决长时间多物体重排中的策略学习问题，现有方法在高维连续动作空间中面临累积错误和搜索效率低下的挑战。

核心思路：DISCO通过结合渐进扩展的蒙特卡洛树搜索（MCTS）与学习的政策和价值函数，生成长时间计划并进行蒸馏，从而提高策略的有效性和效率。

技术框架：DISCO的整体架构包括物理仿真模块、MCTS搜索模块和政策-价值模型。首先在物理仿真中进行搜索，然后将生成的计划蒸馏到模型中，最后在测试阶段直接使用学习的模型进行决策。

关键创新：DISCO的主要创新在于将搜索生成的计划蒸馏到政策-价值模型中，使得在测试时无需依赖仿真搜索，提升了操作的实时性和灵活性。

关键设计：在设计中，使用了GPU并行化的仿真以加速MCTS过程，并通过特定的损失函数优化政策和价值函数的学习，确保在复杂任务中的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多项实验中，DISCO在模拟和真实世界的重排任务中均表现优异，超越了行为克隆、强化学习和基于搜索的基线，展示了显著的性能提升，具体提升幅度未知。

🎯 应用场景

DISCO的研究成果在机器人操作、智能家居和自动化仓储等领域具有广泛的应用潜力。通过提高长时间操作的效率和准确性，能够显著提升这些领域的自动化水平和用户体验。未来，DISCO的技术还可能扩展到其他复杂的决策任务中，如自动驾驶和人机协作等。

📄 摘要（原文）

Despite recent advances in policy learning, long-horizon manipulation remains difficult because learned policies must avoid compounding errors while preserving future feasibility. While search-based planning can explicitly reason over such future consequences, it quickly becomes expensive in high-dimensional continuous action spaces. This raises a central question: how can long-horizon reasoning from search be transferred into policies in continuous action spaces? To this end, we propose DISCO: Distilled Tree Search over Continuous Actions. DISCO uses progressive-widening MCTS in physics simulation to generate long-horizon plans. During search, a learned policy proposes continuous actions, while a learned value function scores actions by their expected progress toward task completion. Using GPU-parallelized simulation, DISCO periodically distills MCTS-generated plans into the policy-value model, improving the action proposals and value estimates used in subsequent searches. Finally, the learned policy-value model can be directly deployed without the need for simulator-based search at test time. Across simulated and real-world rearrangement tasks, DISCO outperforms behavior cloning, reinforcement learning, and search-based baselines.