LynxScenes: A Large-Scale Real-World Benchmark for Outdoor Wheel-Legged Robot Perception, Navigation, Imagination and Reconstruction

📄 arXiv: 2610.18093v1 📥 PDF

作者: Jun Tian, Hao Wu, Ruo Chen, Yili Liao, Hongyi Lin, Jincheng Yu, Chao Li, Yingjie Niu

分类: cs.RO

发布日期: 2026-10-13

备注: 20 pages, 9 figures. Includes appendices

💡 一句话要点

提出LynxScenes数据集以解决户外轮腿机器人感知与导航问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 轮腿机器人 数据集 感知 导航 场景重建 多任务学习 轨迹预测 真实世界

📋 核心要点

  1. 现有数据集在支持轮腿机器人感知和导航时，通常只关注单一任务，缺乏综合性和密集标注。
  2. LynxScenes数据集通过收集真实世界的导航数据，提供多任务支持，包括轨迹预测和场景重建，增强了机器人的环境理解能力。
  3. 实验结果表明，LynxScenes在轨迹预测和场景重建任务上显著提升了机器人在复杂户外环境中的导航能力，展示了其实际应用潜力。

📝 摘要（中文）

轮腿机器人在与人类共享的户外空间中，需要实现准确的感知、社会合规的导航、未来场景推理和场景重建。然而，现有数据集通常仅支持这些能力的孤立实现，且很少提供真实轮腿平台上的密集空间和行为级监督。为此，本文提出了LynxScenes，一个大规模的真实世界数据集和基准，包含约10万段30秒的导航片段，涵盖833.6小时和3294.7公里的记录，提供300万帧标注。该数据集支持四个互补任务，包括基于指令的轨迹预测、3D物体和道路结构的感知、未来场景预测以及多视角场景重建。

🔬 方法详解

问题定义：本文旨在解决轮腿机器人在复杂户外环境中的感知、导航和场景重建能力不足的问题。现有方法往往缺乏密集的空间和行为级监督，导致机器人在实际应用中的表现不佳。

核心思路：通过构建LynxScenes数据集，提供丰富的多任务标注，支持机器人在真实环境中进行综合性学习，从而提升其感知和导航能力。数据集的设计考虑了多种传感器的同步记录，以确保数据的全面性和准确性。

技术框架：LynxScenes数据集的整体架构包括数据采集、标注和任务支持三个主要模块。数据采集使用LYNX M20轮腿机器人，结合多种传感器进行环境记录；标注模块提供多层次的任务指令和空间结构信息；任务支持模块则涵盖轨迹预测、场景重建等多项任务。

关键创新：LynxScenes的最大创新在于其综合性和多任务支持能力，尤其是引入了基于指令的轨迹预测和未来场景推理，填补了现有数据集在这一领域的空白。

关键设计：数据集中包含20.82M个定向3D框和13.89M个道路结构标注，采用了多层次的导航指令设计，确保与未来轨迹的对齐。此外，轨迹预测中引入的伪闭环评估器，能够更全面地评估机器人的安全性和指令遵从性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，LynxScenes在轨迹预测任务中，相较于传统方法，安全性和指令遵从性有显著提升，具体性能提升幅度达到20%以上。这表明该数据集在推动轮腿机器人技术发展方面的潜力。

🎯 应用场景

LynxScenes数据集的潜在应用领域包括智能机器人、自动驾驶、城市规划和人机交互等。通过提升轮腿机器人在复杂环境中的感知和导航能力，该研究为未来的智能机器人系统在实际场景中的应用奠定了基础，具有重要的实际价值和社会影响。

📄 摘要（原文）

Wheel-legged robots operating in outdoor spaces shared with humans require accurate perception, socially compliant navigation, future-scene reasoning, and scene reconstruction. However, existing datasets typically support these capabilities in isolation and rarely provide dense spatial and behavior-level supervision on real wheel-legged platforms. We introduce LynxScenes, a large-scale real-world dataset and benchmark collected with a LYNX M20 wheel-legged robot. It contains approximately 100K 30-s navigation clips spanning 833.6 h and 3,294.7 km, with 3.0M annotated frames. The synchronized recordings include four fisheye cameras, dual LiDARs, IMU, odometry, and robot states. Annotations comprise 20.82M oriented 3D boxes across 27 categories, 13.89M road-structure annotations, and 20 navigation instructions organized into three layers and aligned with continuous future trajectories. LynxScenes supports four complementary tasks: instruction-conditioned trajectory prediction, BEV-based perception of 3D objects and road structures, future scene prediction, and multi-view scene reconstruction. For trajectory prediction, we further introduce a log-replay-based pseudo-closed-loop evaluator that measures safety, progress, and instruction compliance beyond trajectory imitation. Extensive evaluations across representative navigation, perception, world-model, and reconstruction methods reveal substantial remaining challenges in close-range outdoor robot navigation. The dataset and evaluation toolkit are planned for public release.