Learning Adaptive Force Control for Contact-Rich Sample Scraping with Heterogeneous Materials
作者: Cenk Cetin, Shreyas Pouli, Gabriella Pizzuto
分类: cs.RO
发布日期: 2026-03-11
备注: 8 pages, 6 figures, 4 tables; Submitted to IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS) 2026
💡 一句话要点
提出一种自适应力控制框架，用于异构材料样本刮取任务
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 机器人操作 力控制 强化学习 自适应控制 样本刮取
📋 核心要点
- 现有机器人化学任务难以处理多样化的化学品，尤其是在受限空间内进行精细操作，如样本刮取。
- 提出一种自适应力控制框架，结合笛卡尔阻抗控制和强化学习，动态调整末端执行器的交互力。
- 在模拟环境中训练策略，并成功迁移到真实机器人，在不同材料设置下，性能平均提升10.9%。
📝 摘要（中文）
为了应对全球挑战，加速科学发现的需求日益增长，这突显了对先进人工智能驱动机器人的需求。在以人为中心的实验室中部署机器人化学家是自主发现的下一个前沿，因为复杂的任务仍然需要人类科学家的灵巧性。在这种背景下，机器人操作面临着独特的挑战，即在不同的实验室条件下处理各种化学品（颗粒状、粉末状或粘性液体）。例如，人类使用刮铲从样品瓶壁上刮取材料。自动化这一过程具有挑战性，因为它超越了简单的机器人插入任务和传统的实验室自动化，需要在受限环境（样品瓶）内执行精细的运动。我们的工作提出了一种自适应控制框架来解决这个问题，该框架依赖于低级笛卡尔阻抗控制器来实现稳定和顺从的物理交互，以及一个高级强化学习代理，该代理学习动态调整末端执行器上的交互力。该代理由感知反馈引导，感知反馈提供材料的位置。我们首先创建了一个具有代表性的任务模拟环境，其中包含一个Franka Research 3机器人、一个刮铲工具和一个包含异构材料的样品瓶。为了促进自适应策略的学习和模拟多样化的特征，样品被建模为球体的集合，其中每个球体被分配一个唯一的脱落力阈值，该阈值使用Perlin噪声程序生成。我们训练一个代理来自主学习和调整用于模拟中样本刮取任务的最佳接触力，然后成功地将该策略转移到真实的机器人设置中。我们的方法在五种不同的材料设置中进行了评估，平均优于固定力基线10.9%。
🔬 方法详解
问题定义：论文旨在解决在实验室环境中，机器人如何自主地从样品瓶中刮取异构材料的问题。现有方法要么依赖于固定的力控制，无法适应不同材料的特性，要么需要人工示教，难以泛化到新的材料和环境。痛点在于缺乏一种能够根据材料特性动态调整交互力的自适应控制策略。
核心思路：论文的核心思路是将低层级的笛卡尔阻抗控制与高层级的强化学习相结合。笛卡尔阻抗控制保证了机器人与环境交互的稳定性和顺从性，而强化学习代理则负责根据感知反馈动态调整作用在末端执行器上的力。这种分层控制结构使得机器人既能保持稳定的接触，又能根据材料的特性进行自适应调整。
技术框架：整体框架包含以下几个主要模块：1) 感知模块：用于获取材料的位置信息，作为强化学习代理的输入。2) 低层级笛卡尔阻抗控制器：负责实现机器人末端执行器的力/位姿控制，保证交互的稳定性。3) 高层级强化学习代理：根据感知信息和环境反馈，学习动态调整作用在末端执行器上的力。4) 仿真环境：用于训练强化学习代理，该环境模拟了Franka Emika机器人、刮铲工具和包含异构材料的样品瓶。
关键创新：最重要的技术创新点在于将强化学习应用于力控制参数的自适应调整。与传统的固定力控制或人工示教方法相比，该方法能够根据材料的特性动态调整交互力，从而提高刮取任务的成功率和效率。此外，通过仿真环境进行训练，可以降低真实机器人实验的成本和风险。
关键设计：在仿真环境中，异构材料被建模为球体的集合，每个球体都有一个唯一的脱落力阈值，该阈值使用Perlin噪声生成，以模拟材料特性的多样性。强化学习代理使用深度神经网络作为策略网络，输入是材料的位置信息，输出是作用在末端执行器上的力。损失函数的设计旨在最大化刮取材料的数量，同时避免过大的力导致损坏。具体使用的强化学习算法未知。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法在五种不同的材料设置中，平均优于固定力基线10.9%。这表明该方法能够有效地学习和适应不同材料的特性，实现更高效的样本刮取。此外，该策略成功地从仿真环境迁移到真实机器人，验证了该方法的实用性和泛化能力。
🎯 应用场景
该研究成果可应用于自动化实验室、化学合成、材料科学等领域。通过机器人自主刮取样本，可以提高实验效率、减少人为误差，并降低实验人员接触有害物质的风险。未来，该技术有望扩展到其他需要精细力控制的机器人操作任务，如装配、打磨等。
📄 摘要（原文）
The increasing demand for accelerated scientific discovery, driven by global challenges, highlights the need for advanced AI-driven robotics. Deploying robotic chemists in human-centric labs is key for the next horizon of autonomous discovery, as complex tasks still demand the dexterity of human scientists. Robotic manipulation in this context is uniquely challenged by handling diverse chemicals (granular, powdery, or viscous liquids), under varying lab conditions. For example, humans use spatulas for scraping materials from vial walls. Automating this process is challenging because it goes beyond simple robotic insertion tasks and traditional lab automation, requiring the execution of fine-granular movements within a constrained environment (the sample vial). Our work proposes an adaptive control framework to address this, relying on a low-level Cartesian impedance controller for stable and compliant physical interaction and a high-level reinforcement learning agent that learns to dynamically adjust interaction forces at the end-effector. The agent is guided by perception feedback, which provides the material's location. We first created a task-representative simulation environment with a Franka Research 3 robot, a scraping tool, and a sample vial containing heterogeneous materials. To facilitate the learning of an adaptive policy and model diverse characteristics, the sample is modelled as a collection of spheres, where each sphere is assigned a unique dislodgement force threshold, which is procedurally generated using Perlin noise. We train an agent to autonomously learn and adapt the optimal contact wrench for a sample scraping task in simulation and then successfully transfer this policy to a real robotic setup. Our method was evaluated across five different material setups, outperforming a fixed-wrench baseline by an average of 10.9%.