A Modular AIoT Framework for Low-Latency Real-Time Robotic Teleoperation in Smart Cities

📄 arXiv: 2510.11421v1 📥 PDF

作者: Shih-Chieh Sun, Yun-Cheng Tsai

分类: cs.RO, cs.HC

发布日期: 2025-10-13

💡 一句话要点

提出基于AIoT的模块化低延迟机器人遥操作框架，应用于智慧城市。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 机器人遥操作 AIoT 智慧城市 低延迟 目标检测 MQTT WebRTC

📋 核心要点

  1. 传统遥操作平台缺乏模块化部署和实时AI感知能力，难以适应智慧城市复杂多变的应用场景。
  2. 该系统采用模块化设计，结合AI目标检测、MQTT控制和WebRTC视频流，实现低延迟的远程机器人操作。
  3. 实验结果表明，即使在国际VPN环境下，该系统也能实现低至0.2秒的执行器响应时间和低于1.2秒的视频延迟。

📝 摘要（中文）

本文提出了一种基于AI驱动的IoT机器人遥操作系统，专为智慧城市应用中的实时远程操作和智能视觉监控而设计。该架构集成了基于Flutter的跨平台移动界面、基于MQTT的控制信令和通过LiveKit框架实现的WebRTC视频流。部署了YOLOv11-nano模型用于轻量级目标检测，从而实现实时感知，并将带有注释的视觉覆盖层传递到用户界面。控制命令通过MQTT传输到基于ESP8266的执行器节点，该节点通过Arduino Mega2560控制器协调多轴机械臂运动。后端基础设施托管在DigitalOcean上，确保可扩展的云编排和稳定的全球通信。在本地和国际VPN场景（包括香港、日本和比利时）下进行的延迟评估表明，即使在高延迟网络中，执行器响应时间也低至0.2秒，总视频延迟低于1.2秒。这种低延迟双协议设计确保了响应式闭环交互和分布式环境中的稳健性能。与传统的遥操作平台不同，该系统强调模块化部署、实时AI感知和适应性通信策略，使其非常适合远程基础设施检查、公共设备维护和城市自动化等智慧城市场景。未来的增强功能将侧重于边缘设备部署、自适应路由以及与城市级IoT网络的集成，以增强弹性和可扩展性。

🔬 方法详解

问题定义：现有机器人遥操作系统通常存在延迟高、部署复杂、缺乏智能感知等问题，难以满足智慧城市中实时性要求高的应用需求，例如远程基础设施巡检、公共设施维护等。传统方案在网络不稳定或带宽受限的情况下，用户体验会显著下降。

核心思路：论文的核心思路是构建一个模块化的、基于AIoT的机器人遥操作框架，通过轻量级的AI模型进行实时感知，利用MQTT和WebRTC等协议优化通信，降低延迟，并采用跨平台的用户界面，提高系统的易用性和可部署性。

技术框架：该系统主要包含以下模块：1) 基于Flutter的跨平台移动应用，作为用户界面；2) 基于MQTT的控制信令传输模块，负责发送控制指令；3) 基于LiveKit框架的WebRTC视频流模块，用于实时视频传输；4) YOLOv11-nano目标检测模型，用于实时视觉感知；5) 基于ESP8266的执行器节点，负责接收控制指令并驱动机械臂；6) 基于Arduino Mega2560的机械臂控制器；7) DigitalOcean云平台，提供后端基础设施。整个流程为：用户通过移动应用发送指令，指令通过MQTT传输到执行器节点，执行器节点控制机械臂运动，同时YOLOv11-nano模型对视频流进行目标检测，并将结果通过WebRTC传输到移动应用。

关键创新：该系统的关键创新在于：1) 模块化设计，方便灵活部署和扩展；2) 采用YOLOv11-nano模型进行轻量级实时目标检测，降低计算负担；3) 结合MQTT和WebRTC协议，优化控制信令和视频流传输，降低延迟；4) 采用跨平台移动应用，提高用户体验。与传统遥操作系统相比，该系统更注重实时性、智能化和易用性。

关键设计：YOLOv11-nano模型的选择是关键设计之一，它在保证目标检测精度的前提下，显著降低了计算复杂度，使其能够在资源受限的边缘设备上运行。MQTT协议的选择是因为其轻量级和低功耗的特点，适合IoT环境下的控制信令传输。WebRTC协议的选择是因为其能够提供低延迟的实时视频流传输。此外，DigitalOcean云平台提供了可扩展的后端基础设施，保证了系统的稳定性和可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该系统在本地网络环境下，执行器响应时间低至0.2秒，总视频延迟低于1.2秒。即使在国际VPN环境下（香港、日本、比利时），总视频延迟也保持在1.2秒以下，证明了该系统在不同网络条件下的稳定性和低延迟性能。这些数据表明，该系统能够满足实时性要求高的遥操作应用需求。

🎯 应用场景

该研究成果可应用于智慧城市中的多个领域，例如远程基础设施巡检（桥梁、隧道等）、公共设备维护（路灯、交通信号灯等）、危险环境下的操作（核电站、化工厂等）以及城市自动化。通过远程控制机器人，可以减少人工成本，提高工作效率，降低安全风险，并实现更智能化的城市管理。

📄 摘要（原文）

This paper presents an AI-driven IoT robotic teleoperation system designed for real-time remote manipulation and intelligent visual monitoring, tailored for smart city applications. The architecture integrates a Flutter-based cross-platform mobile interface with MQTT-based control signaling and WebRTC video streaming via the LiveKit framework. A YOLOv11-nano model is deployed for lightweight object detection, enabling real-time perception with annotated visual overlays delivered to the user interface. Control commands are transmitted via MQTT to an ESP8266-based actuator node, which coordinates multi-axis robotic arm motion through an Arduino Mega2560 controller. The backend infrastructure is hosted on DigitalOcean, ensuring scalable cloud orchestration and stable global communication. Latency evaluations conducted under both local and international VPN scenarios (including Hong Kong, Japan, and Belgium) demonstrate actuator response times as low as 0.2 seconds and total video latency under 1.2 seconds, even across high-latency networks. This low-latency dual-protocol design ensures responsive closed-loop interaction and robust performance in distributed environments. Unlike conventional teleoperation platforms, the proposed system emphasizes modular deployment, real-time AI sensing, and adaptable communication strategies, making it well-suited for smart city scenarios such as remote infrastructure inspection, public equipment servicing, and urban automation. Future enhancements will focus on edge-device deployment, adaptive routing, and integration with city-scale IoT networks to enhance resilience and scalability.