Fly-by-Code: Embodied Coding Agents for Aerial Manipulation with Active Visual and Physical Feedback
作者: Jaewoo Lee, Jeongyeon Seo, Sihyun Cho, Gyeongrak Choe, Yutong Wang, Bavin Saravanan, Jia-Bin Huang, Furong Huang, Sebastian Scherer, Guanya Shi, H. Jin Kim, Seungjae Lee, Dongjae Lee
分类: cs.RO, cs.CV, cs.LG
发布日期: 2026-10-08
备注: Project Page: https://fly-by-code.github.io/
💡 一句话要点
提出主动反馈框架以解决无人机操作中的反馈不足问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 具身编码代理 主动反馈 空中操作 任务成功率 机器人技术 模拟环境 物理交互
📋 核心要点
- 现有的具身编码代理在空中操作中面临反馈不足的问题，尤其是由于部分可观测性和有限的交互鲁棒性，导致任务成功率低。
- 本文提出了一种主动反馈框架，通过在模拟环境中生成诊断程序，帮助代理获取缺失的信息并优化任务执行。
- 实验结果显示，使用主动反馈框架后，错误完成声明从25降至5，任务成功率从31.7%提升至75%。
📝 摘要（中文）
本研究提出了一种具身编码代理，通过自然语言指令生成可执行程序并根据执行反馈进行优化。然而，空中操作面临部分可观测性和有限交互鲁棒性的问题，导致执行反馈无法提供足够的信息。为了解决这一问题，本文引入了主动反馈（Active Feedback, AF）框架，允许代理在执行反馈不充分时，通过模拟运行诊断程序来获取未观察到的结果或测试失败原因。实验结果表明，AF显著提高了任务成功率，从31.7%提升至75%。
🔬 方法详解
问题定义：本研究旨在解决具身编码代理在空中操作中由于部分可观测性和有限交互鲁棒性导致的反馈不足问题。现有方法依赖于执行反馈来判断任务成功与否，但在复杂环境中，这种反馈往往不够充分，无法提供有效的指导。
核心思路：论文提出的主动反馈框架（Active Feedback, AF）通过在模拟环境中生成诊断程序，帮助代理在执行反馈不充分时获取缺失的信息。该框架允许代理从不同视角观察未见结果或通过有针对性的物理交互测试失败原因，从而提高任务成功率。
技术框架：AF框架包括两个主要模块：视角观察（View）和假设测试（Probe）。在执行反馈不充分时，代理首先通过视角观察模块获取未观察到的结果，然后利用假设测试模块进行物理交互以验证失败原因。
关键创新：AF框架的创新之处在于其主动生成诊断程序的能力，使得具身编码代理能够在执行过程中动态调整策略，而不仅仅依赖于静态的反馈信息。这一方法与传统的反馈机制相比，显著提高了任务执行的灵活性和成功率。
关键设计：在实现AF框架时，设计了特定的参数设置和损失函数，以确保代理能够有效地从模拟中学习并应用于实际操作。此外，使用共享的机器人API，使得在模拟中优化的任务程序能够无缝迁移到物理无人机上。
🖼️ 关键图片
📊 实验亮点
实验结果表明，主动反馈框架显著提升了任务执行的有效性。错误完成声明从25减少至5，任务成功率从31.7%提升至75%，显示出AF在空中操作中的有效性和实用性。
🎯 应用场景
该研究的潜在应用领域包括无人机物流、农业监测和灾后救援等场景。在这些领域中，能够有效处理复杂环境中的任务执行和反馈问题，将显著提升无人机的操作效率和成功率。未来，该方法有望推广到其他类型的机器人操作中，进一步推动智能机器人技术的发展。
📄 摘要（原文）
Embodied coding agents construct robot policies from natural-language instructions by generating executable programs and refining them from execution feedback. This refinement assumes that execution feedback reveals whether the task succeeded and, after a failure, provides sufficient evidence to guide program revision. Aerial manipulation violates this assumption in two ways. Payload constraints restrict onboard camera coverage and leave task-critical outcomes outside the robot's view (partial observability), while strong dynamic coupling and limited control margins make physical interactions fragile (limited interaction robustness) and leave failure causes unresolved. Re-examining the same feedback cannot recover observations that were never collected or separate failure causes that the available evidence does not distinguish. To acquire this missing evidence, we introduce Active Feedback (AF), an active "View and Probe" framework. When execution feedback leaves unresolved questions, the agent synthesizes a separate diagnostic program that runs in simulation to inspect unseen outcomes from informative viewpoints (View) or test hypotheses about failure causes through targeted physical interactions (Probe). Across six simulated aerial manipulation tasks with 60 trials per condition, AF reduces false completion declarations from 25 to 5 and raises final task success from 31.7% to 75% compared with terminal feedback under the same coding-agent configuration and task-execution limit. Using shared robot APIs, task programs refined with AF in simulation run on a physical aerial manipulator without task-program source-code modification and complete multi-stage manipulation tasks in the real world. These results show that executable diagnosis fills gaps in execution feedback for embodied coding agents, improving both completion assessment and program refinement in aerial manipulation.