From Local Whole-Body VLA Behaviors to Scene-Scale Aerial Manipulation

📄 arXiv: 2609.39670v1 📥 PDF

作者: Weixiang Guo, Rui Jin, Haotian Jin, Xinhang Xu, Ruiyang Liu, Haoran Zhao, Yi Wang, Weiqi Gai, Kun Cao, Lihua Xie

分类: cs.RO

发布日期: 2026-09-30

💡 一句话要点

提出统一框架以解决场景规模无人机操控中的挑战

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 无人机操控 合成策略训练 动态轨迹 多视角观察 测量进度对齐 关系场景图 拓扑引导转移

📋 核心要点

  1. 现有的视觉-语言-动作模型在场景规模的空中操控中面临高成本演示和延迟引起的状态不对齐等挑战。
  2. 本文提出了一种合成策略训练和场景规模执行的统一框架，避免了物理演示的需求，并通过MPAR技术实现动态可行轨迹。
  3. 在模拟实验中，局部VLA技能在理想条件下取得了65%的成功率，MPAR技术显著减少了接管阶段的误差，系统在多站点任务中完成了42%的成功率。

📝 摘要（中文）

视觉-语言-动作（VLA）模型使得任务条件下的交互成为可能，但将其扩展到场景规模的空中操控仍然面临挑战，包括高成本的全身演示、延迟引起的动作状态不对齐以及跨站点行为组合问题。本文提出了一种统一框架，用于合成策略训练和在关节式无人机上的场景规模执行。该框架通过合成任务条件下的运动轨迹和同步的多视角观察，避免了物理平台演示的需求。通过测量进度对齐实现（MPAR），将异步返回的动作块与执行进度对齐，并将其实现为连续的动态可行轨迹。关系场景图将语言目标与对象实例和可行交互区域相结合，同时拓扑引导转移连接了不同站点的局部行为。

🔬 方法详解

问题定义：本文旨在解决将视觉-语言-动作（VLA）模型扩展到场景规模空中操控中的一系列挑战，包括高成本的全身演示、延迟引起的动作状态不对齐以及跨站点行为组合的复杂性。

核心思路：提出一种统一框架，通过合成任务条件下的运动轨迹和多视角观察，避免物理平台演示的需求，并利用MPAR技术对异步动作块进行进度对齐，从而实现动态可行的轨迹。

技术框架：整体架构包括一个场景可重构的管道，用于合成运动轨迹和观察；MPAR模块用于对齐动作与执行进度；关系场景图用于将语言目标与对象实例和交互区域关联。

关键创新：最重要的创新在于MPAR技术，它能够有效对齐异步返回的动作块与执行进度，从而实现连续的动态轨迹，这在现有方法中尚未得到解决。

关键设计：关键设计包括运动轨迹的合成算法、MPAR的实现细节，以及关系场景图的构建方法，确保了系统在多站点任务中的有效性和灵活性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，局部VLA技能在理想条件下取得了65%的成功率，MPAR技术在500毫秒延迟下减少了接管阶段的误差0.212秒，完整系统在多站点任务中完成了42%的成功率，验证了其有效性。

🎯 应用场景

该研究的潜在应用领域包括无人机配送、空中救援和环境监测等场景，能够提高无人机在复杂环境中的操作能力和效率。未来，该框架有望推动无人机技术的进一步发展，促进智能化和自动化的应用。

📄 摘要（原文）

Vision-language-action (VLA) models enable task-conditioned interaction, but extending them to scene-scale aerial manipulation remains challenging due to costly whole-body demonstrations, latency-induced action-state misalignment, and cross-site behavior composition. We present a unified framework for synthetic policy training and scene-scale execution on articulated uncrewed aerial manipulators (UAMs). A scene-reconfigurable pipeline synthesizes task-conditioned, kinodynamically feasible trajectories and synchronized multiview observations for VLA training without physical-platform demonstrations. Measured-progress-aligned realization (MPAR) aligns asynchronously returned action chunks with measured execution progress and realizes them as continuous, dynamically feasible trajectories. A relational Scene Graph grounds language goals to object instances and feasible interaction regions, while topology-guided transfer connects local behaviors across sites. Local VLA skills achieve 39/60 successes (65.0%) in simulation under oracle target and feasible-handoff conditions. Under 500-ms added latency, with and without a transient command-update stall, MPAR reduces median takeover phase error by 0.212 s over nominal-time alignment. The complete system completes 21/50 simulated multi-site missions (42.0%) and is further validated on a physical articulated UAM.