AIMS: An Agentic AI Framework for Sim-to-Real Multi-Modal ISAC

📄 arXiv: 2609.39964v1 📥 PDF

作者: Yijie Bian, Kai Zhang, Wei Guo, Zixin Wang, Shenghui Song, Jun Zhang, Khaled B. Letaief

分类: cs.AI, cs.MA

发布日期: 2026-09-30

💡 一句话要点

提出AIMS框架以解决多模态ISAC的仿真到现实问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 多模态ISAC 仿真到现实 代理人工智能 场景构建 任务学习 结构化领域知识 反馈驱动规划

📋 核心要点

  1. 现有多模态ISAC模型依赖大量标注的真实数据，限制了其在实际部署中的可扩展性。
  2. AIMS框架通过自然语言请求生成特定的仿真到现实配置，协调场景构建与任务学习。
  3. 在DeepSense~6G数据集上的实验显示，AIMS在车辆检测和波束预测方面优于现有的仿真和融合基线。

📝 摘要（中文）

多模态集成感知与通信（ISAC）为智能无线网络提供环境感知和可靠连接。现有的数据驱动多模态ISAC模型严重依赖标注的真实数据，限制了其可扩展性。尽管合成数据生成可以减轻这一负担，但现有的仿真管道在适应目标部署时面临场景、感知、无线和学习配置之间的不一致性，影响了仿真到现实的可转移性。为此，本文提出了一种名为AIMS的代理人工智能框架，能够根据自然语言的部署请求生成特定的仿真到现实配置，并协调执行以产生特定任务模型。实验结果表明，该框架在真实世界的DeepSense~6G数据集上实现了车辆检测和波束预测的性能提升。

🔬 方法详解

问题定义：本文旨在解决多模态ISAC中仿真到现实的转移问题，现有方法在场景、感知和无线配置之间存在不一致，导致转移性能下降。

核心思路：AIMS框架通过自然语言描述的部署请求，自动生成适应特定任务的仿真到现实配置，协调场景构建与任务学习，从而提高转移效果。

技术框架：AIMS采用双代理架构，其中场景构建代理生成地理基础的感知和无线记录，场景理解代理则配置任务相关的模态和混合专家学习，支持零-shot推理或少-shot适应。

关键创新：AIMS的主要创新在于其代理架构和基于结构化领域知识的依赖感知规划，能够有效提升任务模型的生成和适应能力。

关键设计：框架中使用了结构化领域知识来指导规划，验证证据支持反馈驱动的决策修正，确保生成的任务模型在不同部署请求下的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在DeepSense~6G数据集上的实验结果表明，AIMS框架在车辆检测和波束预测任务中，相较于现有的仿真和融合基线，性能提升显著，具体提升幅度未知，且在任务解释、依赖推理和反馈驱动的重新规划方面表现出更高的计划正确性。

🎯 应用场景

AIMS框架具有广泛的应用潜力，尤其在智能交通、无人驾驶和智能城市等领域。通过提高多模态ISAC的仿真到现实转移能力，能够更好地支持实时环境感知和通信，提升系统的智能化水平和可靠性。未来，该框架可能推动更多基于AI的智能系统的开发与应用。

📄 摘要（原文）

Multi-modal integrated sensing and communication (ISAC) enables environmental perception and reliable connectivity for intelligent wireless networks. Data-driven multi-modal ISAC models depend heavily on annotated real-world data to learn relationships across sensing and wireless observations, thereby constraining scalable deployment. Although synthetic data generation reduces the burden, adapting existing simulation pipelines to a target deployment requires consistent scene, sensing, wireless, and learning configurations, while mismatches among these coupled components impair sim-to-real transferability. To address the challenge, we propose an agentic artificial intelligence (AI) framework for sim-to-real multi-modal ISAC, named AIMS. Given a natural-language deployment request specifying the target task, deployment conditions, and real-data budget, AIMS derives a deployment-specific sim-to-real configuration and coordinates its execution to produce a deployment-specific task model. A two-agent architecture coordinates scene construction with task learning. A scene construction agent generates geographically grounded, synchronized sensing and wireless records from shared physical states, while a scene understanding agent configures task-relevant modalities and mixture-of-experts (MoE) learning for zero-shot inference or few-shot adaptation. Structured domain knowledge guides dependency-aware planning, while validation evidence supports feedback-driven revision of affected decisions. Experiments on the real-world DeepSense~6G dataset demonstrate improved vehicle detection and beam prediction over the considered simulation and fusion baselines. A separate orchestration benchmark evaluates task interpretation, dependency reasoning, and feedback-driven replanning across diverse deployment requests, showing improved plan correctness with structured domain knowledge and validation feedback.