DexFruit: Dexterous Manipulation and Gaussian Splatting Inspection of Fruit
作者: Aiden Swann, Alex Qiu, Matthew Strong, Angelina Zhang, Samuel Morstein, Kai Rayle, Monroe Kennedy
分类: cs.RO
发布日期: 2025-08-09 (更新: 2025-12-05)
备注: 8 pages, 5 figures
💡 一句话要点
提出DexFruit框架以解决水果柔性操作与损伤评估问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 机器人操作 水果采摘 光学触觉 损伤评估 3D高斯散点 自动化农业 机器学习
📋 核心要点
- 现有方法在处理易损水果时，往往无法有效减少损伤，且缺乏精确的损伤评估手段。
- 论文提出DexFruit框架，结合光学触觉传感和FruitSplat技术，实现水果的温和操作与高效损伤评估。
- 实验结果显示，DexFruit在抓取成功率和视觉损伤方面均显著优于基线方法，验证了其有效性。
📝 摘要（中文）
DexFruit是一个机器人操作框架，能够实现对易损水果的温和自主处理和精确损伤评估。许多水果易受损伤，需人工小心采摘。本文通过光学触觉传感，展示了如何实现对水果的自主操作，且损伤最小。我们证明了基于触觉信息的扩散策略在减少损伤和提高采摘成功率方面优于基线方法，涉及草莓、番茄和黑莓。此外，我们引入了FruitSplat技术，通过3D高斯散点表示法量化视觉损伤，克服了现有度量标准的不足。最终，我们在630次实验中实现了92%的抓取成功率，视觉损伤减少20%，抓取成功率提升31%。
🔬 方法详解
问题定义：本文旨在解决在采摘易损水果时，如何实现温和操作以减少损伤，并提供准确的损伤评估。现有方法往往缺乏有效的触觉反馈和量化损伤的手段，导致水果损伤率高。
核心思路：DexFruit框架通过结合光学触觉传感与基于触觉信息的扩散策略，能够实现对水果的自主操作，最大限度地减少损伤。同时，FruitSplat技术提供了一种新的方式来量化水果的视觉损伤，提升了评估的准确性。
技术框架：DexFruit的整体架构包括两个主要模块：一是基于触觉的操作策略模块，二是FruitSplat损伤评估模块。操作策略模块通过实时触觉反馈调整抓取动作，而损伤评估模块则利用3D高斯散点表示法进行损伤量化。
关键创新：最重要的创新在于引入了触觉信息驱动的扩散策略和FruitSplat技术，前者提高了操作的精确性，后者则提供了一种新的损伤评估标准，二者结合显著提升了水果采摘的成功率和损伤控制能力。
关键设计：在设计中，触觉反馈的参数设置至关重要，损失函数采用了针对抓取成功率和损伤程度的综合考虑。此外，网络结构经过优化，以适应不同水果的特性，确保在多种环境下的有效性。
📊 实验亮点
实验结果显示，DexFruit实现了92%的抓取成功率，相较于基线方法，视觉损伤减少了20%，抓取成功率提升了31%。这些结果通过630次实验验证，表明该框架在水果操作中的有效性和可靠性。
🎯 应用场景
DexFruit框架具有广泛的应用潜力，尤其是在农业自动化和食品加工领域。通过实现对易损水果的温和处理，该技术可以提高采摘效率，减少损耗，进而提升农产品的市场价值。未来，该框架还可扩展至其他类型的脆弱物体操作，推动机器人技术在更多领域的应用。
📄 摘要（原文）
DexFruit is a robotic manipulation framework that enables gentle, autonomous handling of fragile fruit and precise evaluation of damage. Many fruits are fragile and prone to bruising, thus requiring humans to manually harvest them with care. In this work, we demonstrate by using optical tactile sensing, autonomous manipulation of fruit with minimal damage can be achieved. We show that our tactile informed diffusion policies outperform baselines in both reduced bruising and pick-and-place success rate across three fruits: strawberries, tomatoes, and blackberries. In addition, we introduce FruitSplat, a novel technique to represent and quantify visual damage in high-resolution 3D representation via 3D Gaussian Splatting (3DGS). Existing metrics for measuring damage lack quantitative rigor or require expensive equipment. With FruitSplat, we distill a 2D strawberry mask as well as a 2D bruise segmentation mask into the 3DGS representation. Furthermore, this representation is modular and general, compatible with any relevant 2D model. Overall, we demonstrate a 92% grasping policy success rate, up to a 20% reduction in visual bruising, and up to an 31% improvement in grasp success rate on challenging fruit compared to our baselines across our three tested fruits. We rigorously evaluate this result with over 630 trials. Please checkout our website at https://dex-fruit.github.io .