AI-Enabled Image-Based Hybrid Vision/Force Control of Tendon-Driven Aerial Continuum Manipulators
作者: Shayan Sepahvand, Farrokh Janabi-Sharifi, Farhad Aghili
分类: cs.RO, cs.CV
发布日期: 2026-04-21
💡 一句话要点
提出AI驱动的图像-力混合控制框架，用于肌腱驱动空中连续体机械臂与环境的自主交互。
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 空中连续体机械臂 混合视觉/力控制 图神经网络 径向基函数神经网络 自主操作 滑模控制
📋 核心要点
- 现有空中操作方法难以应对视觉和力测量的不确定性，限制了其在复杂环境中的应用。
- 论文提出一种AI驱动的级联混合视觉/力控制框架，利用神经网络在线学习不确定性，提高控制精度。
- 实验结果表明，该方法在不同初始条件下均表现出良好的鲁棒性，并能有效完成操作任务。
📝 摘要（中文）
本文提出了一种基于AI的级联混合视觉/力控制框架，用于肌腱驱动的空中连续体机械臂，该机械臂基于$SE(3)$中的恒定应变建模，作为一个耦合系统。所提出的控制器旨在实现与静态环境的自主物理交互，同时稳定图像特征误差。该策略结合了级联的快速固定时间滑模控制和径向基函数神经网络，以应对手眼单目相机获取的图像以及力传感设备测量中的不确定性。这确保了视觉和力相关不确定性的快速在线学习，而无需离线训练。此外，特征通过最先进的图神经网络架构提取，该架构被视觉伺服框架使用，利用线特征，而不是依赖于启发式几何线提取器，从而同时有助于跟踪接触期间所需的法向交互力并调节图像特征误差。一项比较研究将所提出的控制器与已建立的刚性臂空中操作方法进行基准测试，评估了各种场景和特征提取策略的鲁棒性。仿真和实验结果展示了所提出的方法在各种初始条件下的有效性，并证明了在执行操作任务中的稳健性能。
🔬 方法详解
问题定义：论文旨在解决肌腱驱动空中连续体机械臂在与静态环境进行物理交互时，由于视觉信息和力信息的不确定性，难以实现精确的力和位姿控制的问题。现有方法通常依赖于精确的系统模型和环境信息，但在实际应用中，这些信息往往难以获取或存在误差，导致控制性能下降。
核心思路：论文的核心思路是利用AI技术，特别是径向基函数神经网络（RBFNN）和图神经网络（GNN），来在线学习和补偿视觉和力测量中的不确定性。通过级联的控制结构，将视觉伺服和力控制相结合，实现对机械臂位姿和交互力的精确控制。
技术框架：整体框架采用级联控制结构。首先，利用图神经网络从手眼相机图像中提取线特征，并计算图像特征误差。然后，利用快速固定时间滑模控制（Fast Fixed-Time Sliding Mode Control）来控制机械臂的运动，以减小图像特征误差。同时，利用力传感器测量交互力，并利用径向基函数神经网络在线学习力相关的不确定性，从而实现对交互力的精确控制。整个系统无需离线训练，可以实时适应环境变化。
关键创新：论文的关键创新在于以下几点：1) 提出了一种AI驱动的混合视觉/力控制框架，能够同时实现对机械臂位姿和交互力的精确控制。2) 利用径向基函数神经网络在线学习视觉和力测量中的不确定性，无需离线训练。3) 采用图神经网络提取图像特征，避免了传统几何线提取器的局限性。4) 使用快速固定时间滑模控制，保证了控制系统的快速性和鲁棒性。
关键设计：在网络结构方面，采用了先进的图神经网络架构进行特征提取，具体结构未知。在控制方面，使用了快速固定时间滑模控制，其关键在于设计合适的滑模面和控制律，以保证系统的快速收敛性和鲁棒性。径向基函数神经网络的关键在于选择合适的基函数和网络参数，以保证其学习能力和泛化能力。具体的参数设置和损失函数细节未知。
🖼️ 关键图片
📊 实验亮点
论文通过仿真和实验验证了所提出方法的有效性。实验结果表明，该方法在各种初始条件下均表现出良好的鲁棒性，能够有效地跟踪期望的交互力并减小图像特征误差。与传统的刚性臂空中操作方法相比，该方法在应对不确定性和实现精确控制方面具有显著优势。具体的性能数据和提升幅度未知。
🎯 应用场景
该研究成果可应用于复杂环境下的空中操作任务，例如桥梁检测、电力线维护、建筑物检查等。通过自主的物理交互，机械臂可以完成诸如接触式测量、清洁、维修等任务，降低人工操作的风险和成本，提高工作效率。未来，该技术有望扩展到其他类型的连续体机械臂和机器人系统，实现更广泛的应用。
📄 摘要（原文）
This paper presents an AI-enabled cascaded hybrid vision/force control framework for tendon-driven aerial continuum manipulators based on constant-strain modeling in $SE(3)$ as a coupled system. The proposed controller is designed to enable autonomous, physical interaction with a static environment while stabilizing the image feature error. The developed strategy combines the cascaded fast fixed-time sliding mode control and a radial basis function neural network to cope with the uncertainties in the image acquired by the eye-in-hand monocular camera and the measurements from the force sensing apparatus. This ensures rapid, online learning of the vision- and force-related uncertainties without requiring offline training. Furthermore, the features are extracted via a state-of-the-art graph neural network architecture employed by a visual servoing framework using line features, rather than relying on heuristic geometric line extractors, to concurrently contribute to tracking the desired normal interaction force during contact and regulating the image feature error. A comparative study benchmarks the proposed controller against established rigid-arm aerial manipulation methods, evaluating robustness across diverse scenarios and feature extraction strategies. The simulation and experimental results showcase the effectiveness of the proposed methodology under various initial conditions and demonstrate robust performance in executing manipulation tasks.