Closing the Loop: Unified 3D Scene Generation and Immersive Interaction via LLM-RL Coupling

📄 arXiv: 2605.05711v1 📥 PDF

作者: Anh H. Vo, Sungyo Lee, Phil-Joong Kim, Soo-Mi Choi, Yong-Guk Kim

分类: cs.CV, cs.GR, cs.HC, cs.LG, cs.MM

发布日期: 2026-05-07

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出基于LLM-RL耦合的统一框架，实现3D场景生成与沉浸式交互的闭环。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D场景生成 大型语言模型 强化学习 人机交互 虚拟现实

📋 核心要点

  1. 现有方法将3D场景生成和用户交互视为独立过程，限制了交互式多媒体系统的适应性和沉浸潜力。
  2. 该论文提出一种统一框架，利用LLM构建场景表示，并通过强化学习在约束下优化布局，实现生成与交互的闭环。
  3. 实验表明，该方法在ALFRED基准测试中达到SOTA，并在沉浸感、交互质量和任务效率方面有所提升。

📝 摘要（中文）

本文提出了一种统一的框架，通过LLM-RL耦合，实现了语言驱动的3D场景生成与沉浸式用户交互的闭环。该系统首先利用大型语言模型（LLM）根据自然语言指令构建结构化的场景表示，然后通过强化学习在几何和语义约束下优化空间布局。生成的环境部署在虚拟现实环境中，促进人机环路交互，用户交互提供持续的反馈，使生成的内容与人类感知和可用性对齐。通过紧密耦合生成和交互，该框架能够实现更具响应性、适应性和真实感的多媒体体验。在ALFRED基准测试上的实验表明，该方法在基于任务的场景生成方面达到了最先进的性能。此外，定性结果和用户研究表明，沉浸感、交互质量和任务效率得到了持续提高，突出了生成和交互的闭环集成对于下一代多媒体系统的重要性。

🔬 方法详解

问题定义：现有方法在3D场景生成中，通常将场景生成和用户交互分离，导致生成的场景难以适应用户的实际需求，缺乏沉浸感和交互性。用户无法在生成过程中提供反馈，使得场景的可用性和真实性受到限制。因此，如何将用户交互融入到3D场景生成过程中，形成闭环反馈，是本文要解决的核心问题。

核心思路：本文的核心思路是将大型语言模型（LLM）的强大语义理解能力与强化学习（RL）的优化能力相结合，构建一个统一的框架，实现语言驱动的3D场景生成和沉浸式用户交互的闭环。通过LLM理解用户指令并生成场景表示，然后利用RL在几何和语义约束下优化场景布局，最后通过VR环境中的用户交互提供反馈，从而不断改进场景生成的效果。

技术框架：该框架主要包含以下几个阶段：1) 语言指令解析：利用LLM解析用户输入的自然语言指令，提取场景中需要包含的对象、对象之间的关系以及场景的整体目标。2) 场景表示构建：基于LLM的解析结果，构建结构化的场景表示，包括对象列表、对象属性（如大小、颜色、材质等）以及对象之间的空间关系。3) 场景布局优化：利用强化学习算法，在几何和语义约束下优化场景中对象的空间布局。约束条件包括对象之间的碰撞避免、对象与环境的交互以及场景的整体美观性。4) VR环境部署与用户交互：将生成的3D场景部署到虚拟现实环境中，用户可以在VR环境中与场景进行交互，完成特定的任务。5) 反馈收集与模型更新：收集用户在VR环境中的交互数据，作为反馈信号，用于更新LLM和RL模型，从而不断改进场景生成的效果。

关键创新：该论文的关键创新在于将LLM和RL紧密耦合，形成一个闭环的3D场景生成与交互系统。与以往方法相比，该方法能够更好地理解用户意图，生成更符合用户需求的场景，并且能够通过用户交互不断改进场景的质量。此外，将用户交互引入到场景生成过程中，也提高了场景的沉浸感和交互性。

关键设计：在强化学习部分，使用了Actor-Critic算法，Actor网络负责生成场景布局，Critic网络负责评估场景的质量。奖励函数的设计至关重要，需要综合考虑场景的几何约束、语义约束以及用户交互的反馈。具体来说，奖励函数包括以下几个部分：1) 几何奖励：鼓励对象之间避免碰撞，保持合理的空间距离。2) 语义奖励：鼓励对象之间的关系符合语义逻辑，例如桌子上应该放置物品。3) 交互奖励：根据用户在VR环境中的交互行为，给予相应的奖励或惩罚，例如用户成功完成任务，则给予奖励，否则给予惩罚。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该论文在ALFRED基准测试上取得了state-of-the-art的性能，证明了该方法在基于任务的场景生成方面的有效性。用户研究表明，与传统方法相比，该方法生成的场景在沉浸感、交互质量和任务效率方面均有显著提升。例如，用户在VR环境中完成特定任务的时间缩短了XX%，交互次数减少了YY%。

🎯 应用场景

该研究成果可应用于虚拟现实游戏开发、建筑设计、室内设计、机器人训练等领域。通过自然语言指令快速生成符合用户需求的3D场景，并允许用户在虚拟环境中进行交互和反馈，可以大大提高设计效率和用户体验。未来，该技术有望应用于更广泛的领域，例如智能家居、远程协作等。

📄 摘要（原文）

Recent advances in large language models (LLMs) have significantly improved language-driven 3D content generation, but most existing approaches still treat scene generation and user interaction as separate processes, limiting the adaptability and immersive potential of interactive multimedia systems. This paper presents a unified framework that closes the loop between language-driven 3D scene generation and immersive user interaction. Given natural language instructions, the system first constructs structured scene representations using LLMs, and then optimizes spatial layouts via reinforcement learning under geometric and semantic constraints. The generated environments are deployed in a virtual reality setting to facilitate HRI-in-the-loop, where user interactions provide continuous feedback to align generated content with human perception and usability. By tightly coupling generation and interaction, the proposed framework enables more responsive, adaptive, and realistic multimedia experiences. Experiments on the ALFRED benchmark demonstrate state-of-the-art performance in task-based scene generation. Furthermore, qualitative results and user studies show consistent improvements in immersion, interaction quality, and task efficiency, highlighting the importance of closed-loop integration of generation and interaction for next-generation multimedia systems. Our project page can be found at https://proj-showcase.github.io/h3ds/.