ViIK: Flow-based Vision Inverse Kinematics Solver with Fusing Collision Checking

📄 arXiv: 2408.11293v2 📥 PDF

作者: Qinglong Meng, Chongkun Xia, Xueqian Wang

分类: cs.RO, cs.LG

发布日期: 2024-08-21 (更新: 2024-08-28)

🔗 代码/项目: GITHUB

💡 一句话要点

提出ViIK：一种融合碰撞检测的基于Flow的视觉逆运动学求解器

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 逆运动学 碰撞检测 Flow模型 视觉伺服 机器人运动规划

📋 核心要点

  1. 传统IK求解器需重复执行碰撞检测，耗时且依赖结构化地图，限制了其在复杂环境中的应用。
  2. ViIK通过Flow模型融合IK和碰撞检测，利用RGB图像直接生成多种无碰撞的机器人配置。
  3. 实验表明，ViIK能在40ms内生成1000个配置，精度为3mm/1.5°，碰撞率低，效率显著提升。

📝 摘要（中文）

逆运动学(IK)旨在寻找满足末端执行器目标姿态的机器人配置。在运动规划中，需要多种配置，以防找不到可行的轨迹。同时，需要对IK求解器提供的每个配置进行碰撞检测(CC)，例如定向包围盒(OBB)、离散定向多面体(DOP)和Quickhull，以确保运动规划的每个目标配置都可用。这意味着对于每个配置，经典的IK求解器和CC算法应该重复执行。因此，当所需的目标配置数量很大时，例如在集群环境中进行运动规划时，准备时间很长。此外，经典的碰撞检测算法需要结构化地图，而这可能难以获得。为了规避这两个问题，我们提出了一种基于Flow的视觉方法，该方法可以通过融合逆运动学和碰撞检测来输出多种可用的配置，称为视觉逆运动学求解器(ViIK)。此外，ViIK使用RGB图像作为环境感知。ViIK可以在40毫秒内输出1000个配置，精度约为3毫米和1.5度。通过经典IK求解器在几次迭代中进行细化，可以获得更高的精度。自碰撞率可以低于2%。在大多数场景中，与环境的碰撞率可以低于10%。代码可在https://github.com/AdamQLMeng/ViIK 获取。

🔬 方法详解

问题定义：论文旨在解决机器人运动规划中，传统逆运动学求解器(IK)与碰撞检测(CC)串行执行导致效率低下的问题。尤其是在需要大量无碰撞配置的场景下，例如集群环境中的运动规划，传统方法的准备时间过长。此外，传统的碰撞检测算法通常依赖于精确的结构化地图，这在实际应用中可能难以获取。

核心思路：论文的核心思路是将逆运动学求解和碰撞检测融合到一个统一的框架中，利用基于Flow的模型直接从RGB图像中预测出无碰撞的机器人配置。通过学习环境的视觉表征，模型能够隐式地进行碰撞检测，避免了对结构化地图的依赖和重复的碰撞检测计算。

技术框架：ViIK的整体框架包含以下几个主要部分：1) RGB图像输入：使用RGB图像作为环境的感知输入。2) Flow-based模型：使用基于Flow的模型学习从图像到机器人配置的映射。该模型能够生成多样化的配置，并隐式地进行碰撞检测。3) 经典IK求解器优化（可选）：可以使用经典的IK求解器对生成的配置进行优化，以提高精度。

关键创新：ViIK最重要的技术创新在于将逆运动学求解和碰撞检测融合到一个基于Flow的视觉模型中。与传统的串行方法相比，ViIK能够直接从RGB图像中生成无碰撞的机器人配置，显著提高了效率。此外，ViIK避免了对结构化地图的依赖，使其能够应用于更广泛的场景。

关键设计：论文中没有详细描述Flow模型的具体结构和参数设置，以及损失函数的具体形式。但是，可以推断，Flow模型的设计需要保证生成配置的多样性，并且能够有效地学习环境的视觉表征，从而隐式地进行碰撞检测。损失函数可能包含重构损失、碰撞损失等，以保证生成配置的精度和安全性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ViIK在实验中表现出显著的性能优势。它能够在40毫秒内生成1000个机器人配置，精度约为3毫米和1.5度。自碰撞率低于2%，与环境的碰撞率在大多数场景中低于10%。通过经典IK求解器进行优化后，精度可以进一步提高。这些结果表明，ViIK能够高效地生成高质量的无碰撞机器人配置。

🎯 应用场景

ViIK在机器人运动规划领域具有广泛的应用前景，尤其适用于需要在复杂环境中快速生成大量无碰撞配置的场景，例如集群机器人协同作业、自主导航、以及在非结构化环境中进行操作。该方法能够降低运动规划的准备时间，提高机器人的自主性和适应性，加速机器人在工业、服务等领域的应用。

📄 摘要（原文）

Inverse Kinematics (IK) is to find the robot's configurations that satisfy the target pose of the end effector. In motion planning, diverse configurations were required in case a feasible trajectory was not found. Meanwhile, collision checking (CC), e.g. Oriented bounding box (OBB), Discrete Oriented Polytope (DOP), and Quickhull \cite{quickhull}, needs to be done for each configuration provided by the IK solver to ensure every goal configuration for motion planning is available. This means the classical IK solver and CC algorithm should be executed repeatedly for every configuration. Thus, the preparation time is long when the required number of goal configurations is large, e.g. motion planning in cluster environments. Moreover, structured maps, which might be difficult to obtain, were required by classical collision-checking algorithms. To sidestep such two issues, we propose a flow-based vision method that can output diverse available configurations by fusing inverse kinematics and collision checking, named Vision Inverse Kinematics solver (ViIK). Moreover, ViIK uses RGB images as the perception of environments. ViIK can output 1000 configurations within 40 ms, and the accuracy is about 3 millimeters and 1.5 degrees. The higher accuracy can be obtained by being refined by the classical IK solver within a few iterations. The self-collision rates can be lower than 2%. The collision-with-env rates can be lower than 10% in most scenes. The code is available at: https://github.com/AdamQLMeng/ViIK.