OVITA: Open-Vocabulary Interpretable Trajectory Adaptations

📄 arXiv: 2508.17260v1 📥 PDF

作者: Anurag Maurya, Tashmoy Ghosh, Anh Nguyen, Ravi Prakash

分类: cs.RO

发布日期: 2025-08-24

备注: Accepted to Robotics and Automation Letters 2025. Code link: https://github.com/anurag1000101/OVITA

💡 一句话要点

提出OVITA框架以解决机器人轨迹适应性问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人轨迹规划 自然语言处理 用户交互 动态环境 大规模语言模型

📋 核心要点

  1. 现有方法在动态环境中难以有效适应用户的个性化需求，尤其是非专家用户的交互能力有限。
  2. OVITA框架通过自然语言指令，结合多个预训练的LLM，实现机器人轨迹的灵活适应和用户友好的交互。
  3. 实验结果表明，OVITA在多种异构机器人平台上表现出色，能够有效应对时空变化的任务，提升了轨迹调整的准确性和灵活性。

📝 摘要（中文）

在非结构化环境中，适应动态情况和用户偏好的轨迹调整对机器人操作至关重要。自然语言使用户能够以互动方式表达这些调整。我们提出OVITA，一个可解释的开放词汇、基于语言的框架，旨在根据人类指令在动态和新颖的情况下调整机器人轨迹。OVITA利用多个预训练的大型语言模型（LLMs）将用户命令整合到由运动规划器生成或通过演示学习的轨迹中。OVITA采用LLM生成的代码作为适应策略，使用户能够调整单个航点，从而提供灵活的控制。另一个LLM作为代码解释器，消除了对专家用户的需求，实现直观交互。通过广泛的仿真和真实环境中的多样任务，展示了OVITA框架的有效性和重要性。

🔬 方法详解

问题定义：本论文旨在解决机器人在动态和非结构化环境中，如何根据用户的自然语言指令灵活调整轨迹的问题。现有方法往往依赖于专家用户的输入，缺乏直观性和适应性。

核心思路：OVITA框架的核心思想是利用多个预训练的大型语言模型，将用户的自然语言命令转化为可执行的轨迹调整策略，从而实现灵活的用户交互和轨迹适应。

技术框架：OVITA的整体架构包括用户输入模块、轨迹生成模块和代码解释模块。用户通过自然语言输入指令，系统利用LLM生成适应策略，并通过代码解释模块提供反馈，确保用户理解和控制。

关键创新：OVITA的主要创新在于将自然语言处理与机器人轨迹规划相结合，利用LLM生成的代码作为适应策略，显著降低了对专家知识的依赖，提升了用户交互的直观性。

关键设计：在设计中，OVITA采用了多种LLM进行任务分工，一个用于生成轨迹调整代码，另一个用于解释代码，确保用户能够轻松理解和操作。

📊 实验亮点

实验结果显示，OVITA在多种任务中相较于传统方法提高了轨迹调整的准确性，尤其是在处理时空变化时，机器人能够更好地适应用户的指令，提升了整体操作效率和用户满意度。

🎯 应用场景

OVITA框架具有广泛的应用潜力，适用于服务机器人、工业机器人以及无人机等多种机器人平台。其灵活的轨迹适应能力使其能够在复杂和动态的环境中执行多样化任务，提升了机器人在实际应用中的智能化水平和用户体验。

📄 摘要（原文）

Adapting trajectories to dynamic situations and user preferences is crucial for robot operation in unstructured environments with non-expert users. Natural language enables users to express these adjustments in an interactive manner. We introduce OVITA, an interpretable, open-vocabulary, language-driven framework designed for adapting robot trajectories in dynamic and novel situations based on human instructions. OVITA leverages multiple pre-trained Large Language Models (LLMs) to integrate user commands into trajectories generated by motion planners or those learned through demonstrations. OVITA employs code as an adaptation policy generated by an LLM, enabling users to adjust individual waypoints, thus providing flexible control. Another LLM, which acts as a code explainer, removes the need for expert users, enabling intuitive interactions. The efficacy and significance of the proposed OVITA framework is demonstrated through extensive simulations and real-world environments with diverse tasks involving spatiotemporal variations on heterogeneous robotic platforms such as a KUKA IIWA robot manipulator, Clearpath Jackal ground robot, and CrazyFlie drone.