CognitiveReality: Robot-Agnostic Semantic Gaussian Mapping with an LLM Agent for Immersive Collaborative VR Teleoperation
作者: Timofei Kozlov, Dmitrii Maliukov, Andrey Marchenko, Dmitrii Plotnikov, Miguel Altamirano Cabrera, Dzmitry Tsetserukou
分类: cs.RO
发布日期: 2026-09-25
💡 一句话要点
提出CognitiveReality以解决机器人语义映射与协作遥操作问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 语义映射 遥操作 虚拟现实 机器人技术 高斯-TSDF 多模态交互 工具使用代理
📋 核心要点
- 现有的遥操作系统无法有效传达场景内容和对象观察质量，限制了操作员的操作能力。
- CognitiveReality通过创建语义索引的高斯-TSDF地图，结合语言代理，实现了更高效的机器人遥操作。
- 实验结果显示，该系统在导航请求和重观察请求中表现优异，显著提高了对象质量和操作精确度。
📝 摘要（中文）
CognitiveReality将机器人的RGB-D流转化为共享的语义索引高斯-TSDF地图，供虚拟现实中的操作员和工具使用语言代理使用。该系统通过配置即可在任何平台上运行，能够处理来自机器人SLAM、关节运动学、动作捕捉或视觉跟踪器的位姿数据，并在定位中断时使用影子跟踪器和关键帧锚定PnP来弥补。通过验证的工具和操作员确认的机器人动作，语音和控制器射线能够与持久场景对象相结合。在控制代理评估中，部署的Qwen3-VL-8B路由器达到了81.24%的工具精确匹配率，且在机器人数据上，CognitiveReality超越了高斯加SDF基线2-8 dB。
🔬 方法详解
问题定义：本论文旨在解决现有遥操作系统在场景理解和机器人动作执行中的不足，尤其是在对象识别和语义映射方面的挑战。现有方法往往无法提供足够的场景信息和对象质量评估，导致操作员在执行任务时的效率低下。
核心思路：CognitiveReality的核心思路是将机器人的RGB-D流实时转化为一个语义索引的高斯-TSDF地图，允许操作员在虚拟现实环境中与机器人进行更直观的交互。该系统通过配置实现平台无关性，能够处理多种输入数据源，增强了系统的灵活性和适应性。
技术框架：该系统的整体架构包括多个模块：首先是数据输入模块，接收来自SLAM、运动捕捉等的位姿数据；其次是地图生成模块，实时构建高斯-TSDF地图；然后是语义索引模块，确保对象的持久性和质量评估；最后是交互模块，支持语音和控制器输入的处理。
关键创新：CognitiveReality的主要创新在于其能够在不同平台上无缝运行，并通过语义索引实现高效的对象识别和质量评估。这种设计使得系统在面对定位中断时仍能保持较高的准确性，显著提升了遥操作的可靠性。
关键设计：系统采用了影子跟踪器和关键帧锚定PnP技术来处理定位中断，同时在对象识别中实现了开放词汇实例身份的维护，确保每个对象的质量评估在2 Hz的频率下进行。
🖼️ 关键图片
📊 实验亮点
在实验中，CognitiveReality在机器人数据上超越了高斯加SDF基线2-8 dB，且在控制代理评估中，Qwen3-VL-8B路由器达到了81.24%的工具精确匹配率。此外，系统在处理导航和重观察请求时表现出色，成功执行了26个导航请求和20个重观察请求，显著提高了对象质量2-5 dB。
🎯 应用场景
CognitiveReality的研究成果在多个领域具有广泛的应用潜力，包括远程医疗、工业自动化和灾难救援等场景。通过提升机器人在复杂环境中的操作能力，该系统能够帮助操作员更有效地进行任务执行，未来可能推动机器人技术在更多实际应用中的普及。
📄 摘要（原文）
A photorealistic 3D view tells a teleoperator where a robot is, but not what the scene contains, how well each object has been observed, or how to turn pointing and speech into robot action. CognitiveReality turns a robot's RGB-D stream into a live, semantically indexed Gaussian-TSDF map shared by an operator in virtual reality and a tool-using language agent. One mapper binary serves any platform through configuration alone: it ingests poses from robot SLAM, joint kinematics, motion capture or an inline visual tracker, bridges localization outages with a shadow tracker and keyframe-anchored PnP, and maintains open-vocabulary instance identities with per-object quality at 2 Hz. Speech and controller rays are grounded against persistent scene objects through validated typed tools and operator-confirmed robot actions. In the controlled agent evaluation, the deployed local Qwen3-VL-8B router reaches 81.24\% tool exact match, while merge-aware replay correctly redirects 101 absorbed object identifiers. On robot data CognitiveReality exceeds a Gaussian-plus-SDF baseline by 2-8 dB; pose error through 5-40 s SLAM outages stays within 1-8 cm. Deployed live on two quadrupeds, the agent executed 26 of 30 navigation requests and 20 of 20 re-observation requests, raising object quality by 2-5 dB.