SPHERE: Adaptive VR Indoor Scene Generation via LLM-Enhanced Spatial Preference Learning and Human-in-the-Loop RL
作者: Hyeonmin Lee, Zheng Wei, Kyungmin Kwon, Jumin Seo, Jiwon Park, Hayoung Oh
分类: cs.AI, cs.HC
发布日期: 2026-10-01
🔗 代码/项目: GITHUB
💡 一句话要点
提出SPHERE以解决用户偏好在VR室内场景生成中的不足问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 虚拟现实 室内场景生成 用户偏好 人机协作 强化学习 多模态交互 空间逻辑
📋 核心要点
- 现有的3D室内场景合成方法无法有效保留用户的空间偏好，导致创作过程重复且费力。
- SPHERE通过提取用户的空间偏好并将其转化为层次约束，实现了人机协作的连续创作。
- 实验结果显示，SPHERE显著减少了用户的修正编辑次数和身体负担，提升了创作效率。
📝 摘要（中文）
随着大型语言模型（LLMs）在3D室内场景合成中的应用，现有流程无法在多个会话中保留用户特定偏好，使得沉浸式创作过程重复且体力消耗大。我们提出SPHERE，一个自适应VR生成框架，将孤立的合成转变为持续的人机协作创作。SPHERE从自然的多模态交互中提取持久的空间偏好，并将这些原始编辑抽象为层次约束，以建模局部功能和全局拓扑上下文。此外，基于人机协作的强化学习机制动态更新检索策略，基于用户最终编辑的场景。混合设计的用户研究（N=42）和离线消融实验表明，SPHERE显著减少了修正编辑和身体需求，防止了对浅层对象特征的偏见，从而产生几何上稳健且符合用户偏好的布局。最终，SPHERE展示了如何捕捉空间逻辑以实现受控的空间适应，建立了一个可靠的人机协作框架用于沉浸式创作。
🔬 方法详解
问题定义：本论文旨在解决现有VR室内场景生成方法无法保留用户特定偏好的问题。现有方法往往导致创作过程的重复性和用户的身体疲劳。
核心思路：SPHERE的核心思路是通过提取用户的空间偏好，并将其转化为层次约束，从而实现持续的人机协作创作。这种设计旨在提高用户体验，减少修正编辑的需求。
技术框架：SPHERE的整体架构包括多个模块：首先，通过多模态交互（如语音和控制器编辑）提取用户的空间偏好；其次，将这些偏好转化为层次约束，以确保几何的稳健性；最后，利用人机协作的强化学习机制动态更新检索策略。
关键创新：SPHERE的主要创新在于其层次约束建模和人机协作的强化学习机制。这与现有方法的本质区别在于，SPHERE能够持续捕捉和适应用户的空间逻辑，而不是仅仅依赖于一次性的输入。
关键设计：在设计中，SPHERE采用了多模态输入来增强用户交互体验，并通过层次约束确保生成场景的几何稳定性。强化学习机制则通过用户的最终编辑场景来动态调整检索策略，确保生成结果符合用户偏好。
🖼️ 关键图片
📊 实验亮点
在用户研究中，SPHERE显著减少了用户的修正编辑次数和身体负担，具体表现为修正编辑次数减少，用户的身体需求降低，提升了创作的效率和舒适度。这些结果表明SPHERE在用户体验方面的显著优势。
🎯 应用场景
SPHERE的研究成果在虚拟现实、游戏设计、建筑可视化等领域具有广泛的应用潜力。通过实现用户偏好的持续捕捉与适应，SPHERE能够显著提升用户在沉浸式创作过程中的体验和效率，推动相关行业的创新发展。
📄 摘要（原文）
While Large Language Models (LLMs) advance 3D indoor scene synthesis, current pipelines fail to retain user-specific preferences across sessions, making immersive authoring a repetitive and physically fatiguing process. We present SPHERE, an adaptive VR generation framework that transforms isolated synthesis into continuous human-AI co-creation. SPHERE extracts persistent spatial preferences from natural multimodal interactions (speech and controller edits). To ensure geometric resilience against spatial distortions, it abstracts these raw edits into hierarchical constraints modeling both local functional and global topological contexts. Furthermore, a human-in-the-loop reinforcement learning mechanism dynamically updates retrieval policies based on the user's final edited scenes. A mixed-design user study ($N=42$) and an offline ablation demonstrate that SPHERE significantly reduces corrective edits and physical demand, preventing bias toward shallow object-level traits to yield geometrically resilient, profile-aligned layouts. Ultimately, SPHERE demonstrates how capturing demonstrated spatial logic enables controlled spatial adaptation, establishing a reliable, governed human-AI collaboration framework for immersive authoring. Project page and source code will be available at: https://github.com/hyeonmin11/SPHERE