Robot Learning with Vision-Language-Action Models for Agricultural Manipulation
作者: Hamid Hafezi, Javad Mohammadpour Velni, Mohammadreza Davoodi
分类: cs.RO
发布日期: 2026-10-19
💡 一句话要点
提出视觉-语言-动作模型以解决农业操作中的机器人学习问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 机器人学习 农业操作 视觉-语言-动作模型 模拟到真实 任务特定演示 预训练策略 多模态学习
📋 核心要点
- 现有的机器人操作方法在农业环境中面临植物几何变化和视角变化等挑战，导致操作效率低下。
- 本文提出了一种模拟到真实的机器人学习框架，结合任务特定的演示收集与预训练策略的适应，以提高农业操作的有效性。
- 实验结果显示，$π_{0.5}$在任务表现上优于Octo，并在不同条件下表现出更好的鲁棒性，验证了方法的有效性。
📝 摘要（中文）
农业环境中的机器人操作面临植物几何变化、遮挡和相机视角等挑战。预训练的视觉-语言-动作（VLA）模型和通用机器人策略为应对这些挑战提供了有前景的方法。然而，将这些策略适应于农业任务需要特定领域的演示，这在物理机器人上收集既昂贵又耗时。本文开发了一种模拟到真实的机器人学习框架，集成了任务特定的演示收集和预训练策略的适应。通过使用MuJoCo开发了多样化的番茄植物结构的农业环境，以支持演示收集和控制评估。通过操纵杆遥控收集专家演示，并使用低级控制器执行机器人动作。对两个预训练的通用机器人策略Octo和$π_{0.5}$进行了适应，并在物理Franka Research 3操纵器上进行了进一步微调。结果表明，$π_{0.5}$在任务表现上优于Octo，并在分布转移下表现出更少的退化。
🔬 方法详解
问题定义：本文旨在解决农业环境中机器人操作的复杂性，现有方法在面对植物几何变化和视角变化时表现不佳，难以适应特定任务。
核心思路：提出了一种结合模拟与真实环境的学习框架，通过收集任务特定的演示并适应预训练策略，以提高机器人在农业操作中的表现。
技术框架：整体架构包括三个主要模块：1) MuJoCo基础的农业环境，用于演示收集；2) 通过操纵杆遥控收集专家演示；3) 将预训练的通用策略进行适应和微调。
关键创新：最重要的创新在于将预训练的通用策略与任务特定的演示学习相结合，显著提高了机器人在农业操作中的适应能力和表现。
关键设计：采用低级控制器执行机器人动作，确保动作的精确性；对策略进行微调时，使用了特定的损失函数和网络结构，以优化任务表现。
🖼️ 关键图片
📊 实验亮点
实验结果显示，$π_{0.5}$在任务表现上得分高于Octo，且在视角和空间转移条件下表现出更少的性能退化，验证了该方法在不同条件下的鲁棒性和有效性。
🎯 应用场景
该研究具有广泛的应用潜力，特别是在农业自动化和智能农业领域。通过提高机器人在复杂环境中的操作能力，可以显著提升农业生产效率，降低人力成本，并推动农业技术的进步。
📄 摘要（原文）
Robotic manipulation in agricultural environments remains challenging due to variations in plant geometry, occlusion, and camera viewpoints. Pretrained vision-language-action (VLA) and generalist robot policies offer a promising approach to addressing these challenges by learning manipulation behaviors from multimodal observations and language instructions. However, adapting these policies to agricultural tasks requires domain-specific demonstrations, which are costly and time-consuming to collect on physical robots. In this work, we develop a simulation-to-real robot-learning framework for agricultural reaching and grasping that integrates task-specific demonstration collection and pretrained policy adaptation. A MuJoCo-based agricultural environment is developed with diverse tomato plant structures to support demonstration collection and controlled evaluation. Expert demonstrations are collected through joystick teleoperation, with a low-level controller used to execute robot actions. Two pretrained generalist robot policies, Octo and $π_{0.5}$, are adapted using simulated demonstrations, followed by further fine-tuning on a physical Franka Research 3 manipulator using real-robot demonstrations. The adapted policies are evaluated under in-distribution, viewpoint/spatial-shift, and out-of-distribution conditions in simulation, followed by physical-robot experiments. The influence of proprioceptive information on policy performance is also investigated. Results show that $π_{0.5}$ achieves higher task-performance scores than Octo and exhibits less degradation under distribution shifts. These findings demonstrate the potential of integrating pretrained generalist policies with task-specific demonstration learning for agricultural manipulation.