FORGE: Towards Functional Tool-Use Generalization via Keypoint Trajectory Reasoning
作者: Chuhao Zhou, Liquan Wang, Shuxin Cao, Xiangyu Chen, Yuxuan Hu, Boyu Ma, Animesh Garg, Jianfei Yang
分类: cs.RO, cs.AI, cs.CV
发布日期: 2026-07-07
备注: 15 pages, 8 figures, 6 tables
💡 一句话要点
提出FORGE以解决机器人工具功能泛化问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 功能泛化 关键点轨迹 机器人学习 工具适应性 动作执行 智能机器人 机器学习
📋 核心要点
- 现有机器人在面对新工具时，无法有效转移已学功能，导致功能泛化能力不足。
- 本文提出FORGE，通过关键点轨迹推理实现功能推理与动作执行的解耦，提升机器人对新工具的适应能力。
- 在七种工具的打击功能基准测试中，FORGE在模拟和现实环境中均表现优异，成功率提升超过2倍。
📝 摘要（中文）
人类能够灵活地将不同工具用于相似功能，而现有机器人在面对新工具时却难以实现功能转移。本文提出了一种名为FORGE的两阶段策略，通过关键点轨迹推理来实现功能推理与动作执行的解耦。研究发现，关键点轨迹在功能表达与动作可实现性之间取得了良好的平衡。FORGE在七种工具的打击功能基准测试中，显著超越了现有最先进的方法，在未见工具上实现了超过2倍的成功率提升。
🔬 方法详解
问题定义：本文旨在解决机器人在面对新工具时无法有效转移功能的问题。现有方法通常依赖于特定工具的训练，缺乏对工具功能的泛化能力。
核心思路：FORGE的核心思想是通过关键点轨迹推理，将功能推理与动作执行解耦。通过从无动作数据中预测可泛化的关键点轨迹，再将其转化为机器人动作，提升了对新工具的适应性。
技术框架：FORGE的整体架构分为两个主要阶段：第一阶段是功能推理，利用无动作数据生成关键点轨迹；第二阶段是动作执行，将生成的轨迹转化为具体的机器人动作。
关键创新：FORGE的创新在于引入了关键点轨迹作为中间表示，平衡了功能表达与动作可实现性。这一设计使得机器人能够在未见工具上实现更好的功能泛化。
关键设计：在技术细节上，FORGE采用了特定的损失函数来优化关键点轨迹的生成，并设计了适应不同工具的网络结构，以确保动作执行的准确性和有效性。
🖼️ 关键图片
📊 实验亮点
FORGE在七种工具的打击功能基准测试中，成功率提升超过2倍，显著优于现有最先进的方法。这一成果表明，FORGE在未见工具上的功能泛化能力具有显著优势，展示了其在实际应用中的潜力。
🎯 应用场景
该研究的潜在应用领域包括服务机器人、工业自动化和人机协作等场景。通过提升机器人对新工具的适应能力，FORGE能够在多种实际应用中实现更高的灵活性和效率，推动智能机器人技术的发展。
📄 摘要（原文）
While humans readily repurpose a book, a stone, or a shoe to drive a nail, robots trained on specific tools fail to transfer the same function to novel ones -- a gap we formalize as functional generalization. Such tools share a common functional intent that is visually recognizable, yet this perceptual similarity does not carry over to action space, where each tool demands an entirely different motor pattern. To bridge this gap, we explore intermediate representations including affordance images, human video prompts, and 2D keypoint trajectories, finding that keypoint trajectories best balance functional expressiveness and action groundability. Building on this, we propose FunctiOnal Reasoning and Grounded Execution (FORGE), a two-stage policy that decouples functional reasoning from action execution: predicting generalizable keypoint trajectories from action-free data, then grounding them into robot actions with limited demonstrations. On a seven-tool hitting-function benchmark, FORGE consistently outperforms state-of-the-art methods on unseen tools in both simulation and the real world, achieving over 2X improvement in average success rate.