Unreal is all you need: Multimodal ISAC Data Simulation with Only One Engine

📄 arXiv: 2507.08716v3 📥 PDF

作者: Kongwu Huang, Shiyi Mu, Jun Jiang, Yuan Gao, Shugong Xu

分类: cs.CV

发布日期: 2025-07-11 (更新: 2025-07-26)

🔗 代码/项目: GITHUB

💡 一句话要点

Great-X：基于Unreal Engine的多模态ISAC数据高效仿真平台

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: ISAC 多模态数据仿真 无人机 Unreal Engine 射线追踪 CSI定位 数据集

📋 核心要点

  1. 现有ISAC研究缺乏高效的多模态数据仿真平台，限制了大规模数据的探索和算法验证。
  2. Great-X平台利用Unreal Engine重建射线追踪计算，集成自动驾驶工具，实现多模态数据同步仿真。
  3. 构建了Great-MSD数据集，并验证了基于CSI的无人机3D定位算法的有效性和泛化能力。

📝 摘要（中文）

为了探索大规模定律在ISAC研究中的潜力，本文提出了Great-X。这是一个单引擎多模态数据孪生平台，它在Unreal Engine中重建了Sionna的射线追踪计算，并与自动驾驶工具深度集成。这实现了包括CSI、RGB、Radar和LiDAR在内的多模态数据的高效同步仿真。基于该平台，我们构建了一个名为Great-MSD的开源、大规模、低空无人机多模态数据集，并提出了一种基于CSI的无人机3D定位算法作为基线，证明了其在不同CSI仿真引擎中的可行性和泛化性。相关的代码和数据集将在https://github.com/hkw-xg/Great-MCD上提供。

🔬 方法详解

问题定义：现有ISAC（Integrated Sensing and Communication）研究面临缺乏大规模、多模态同步数据的挑战。传统的仿真方法往往依赖于多个引擎或工具，导致数据生成效率低下，模态之间难以同步，限制了算法的开发和验证。尤其是在低空无人机场景下，精确的多模态数据对于感知、定位等任务至关重要。

核心思路：本文的核心思路是利用Unreal Engine强大的渲染和物理仿真能力，构建一个统一的多模态数据孪生平台。通过在Unreal Engine中重建Sionna的射线追踪计算，并集成自动驾驶工具，实现CSI、RGB、Radar、LiDAR等多种模态数据的同步仿真。这种单引擎的方法能够显著提高数据生成效率，并保证模态之间的时间一致性。

技术框架：Great-X平台的核心是一个基于Unreal Engine的仿真环境。该环境集成了Sionna的射线追踪模型，用于生成CSI数据。同时，平台还集成了自动驾驶工具，用于模拟无人机的运动和传感器数据（RGB、Radar、LiDAR）。整个仿真流程包括场景建模、无人机轨迹规划、传感器数据生成和数据存储等环节。平台支持自定义场景、无人机轨迹和传感器配置，以满足不同的研究需求。

关键创新：Great-X的关键创新在于其单引擎多模态数据仿真能力。与传统的需要多个引擎或工具协同工作的方法相比，Great-X能够显著提高数据生成效率，并保证模态之间的时间一致性。此外，该平台还提供了一个开源的大规模多模态数据集Great-MSD，为ISAC研究提供了宝贵的数据资源。

关键设计：在CSI仿真方面，Great-X重建了Sionna的射线追踪计算，并针对Unreal Engine的特性进行了优化。在传感器数据仿真方面，平台利用Unreal Engine的渲染引擎和物理引擎，模拟了RGB、Radar和LiDAR等传感器的输出。为了保证模态之间的时间同步，平台采用了统一的时间戳机制，并对数据生成流程进行了精细的控制。此外，Great-MSD数据集包含了多种场景、无人机轨迹和传感器配置，以提高算法的泛化能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，基于Great-X平台生成的Great-MSD数据集，可以有效地训练基于CSI的无人机3D定位算法。该算法在不同的CSI仿真引擎中都表现出良好的泛化能力，证明了Great-X平台生成的数据的真实性和有效性。此外，Great-X平台相比于传统的多引擎仿真方法，数据生成效率提升显著。

🎯 应用场景

该研究成果可广泛应用于低空无人机感知、定位、导航等领域。通过Great-X平台，研究人员可以高效地生成大规模、多模态的训练数据，用于开发和验证各种ISAC算法。此外，该平台还可以用于无人机任务规划、环境建模和安全评估等方面，具有重要的实际应用价值和未来发展潜力。

📄 摘要（原文）

Scaling laws have achieved success in LLM and foundation models. To explore their potential in ISAC research, we propose Great-X. This single-engine multimodal data twin platform reconstructs the ray-tracing computation of Sionna within Unreal Engine and is deeply integrated with autonomous driving tools. This enables efficient and synchronized simulation of multimodal data, including CSI, RGB, Radar, and LiDAR. Based on this platform, we construct an open-source, large-scale, low-altitude UAV multimodal synaesthesia dataset named Great-MSD, and propose a baseline CSI-based UAV 3D localization algorithm, demonstrating its feasibility and generalizability across different CSI simulation engines. The related code and dataset will be made available at: https://github.com/hkw-xg/Great-MCD.