LLMs as Layout Designers: Enhanced Spatial Reasoning for Content-Aware Layout Generation
作者: Sha Li, Stefano Petrangeli, Yu Shen, Xiang Chen, Naren Ramakrishnan
分类: cs.AI
发布日期: 2025-09-21 (更新: 2026-01-25)
💡 一句话要点
LaySPA：增强空间推理能力，利用LLM进行内容感知布局生成
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 内容感知布局 大型语言模型 强化学习 空间推理 图形设计
📋 核心要点
- 现有LLM在空间推理能力上的不足，限制了其在内容感知布局设计中的应用，难以保证布局的视觉平衡和结构可行性。
- LaySPA通过强化学习框架，赋予LLM代理显式的空间推理能力，利用混合奖励信号优化布局，从而提升布局质量。
- 实验表明，LaySPA在布局的结构有效性和视觉吸引力方面，优于通用LLM，并达到与专用布局模型相当的水平。
📝 摘要（中文）
大型语言模型(LLM)在文本领域展现了强大的推理和规划能力，能够有效执行复杂任务的指令，但它们在理解和操作空间关系方面的能力仍然有限。这种能力对于内容感知的图形布局设计至关重要，其目标是将异构元素排列到画布上，使最终设计在视觉上保持平衡且结构上可行。这个问题需要在受限的视觉空间内精确协调多个元素的位置、对齐和结构组织。为了解决这个局限性，我们引入了LaySPA，这是一个基于强化学习的框架，它通过显式的空间推理能力来增强基于LLM的布局设计代理。LaySPA采用混合奖励信号，共同捕捉几何约束、结构保真度和视觉质量，使代理能够导航画布，建模元素间的关系，并优化空间排列。通过组相对策略优化，该代理生成内容感知的布局，反映显著区域，尊重空间约束，并生成可解释的推理轨迹，解释放置决策和结构化布局规范。实验结果表明，LaySPA显著提高了结构有效和视觉吸引力的布局生成，优于更大的通用LLM，并实现了与最先进的专用布局模型相当的性能。
🔬 方法详解
问题定义：论文旨在解决内容感知图形布局设计问题，即如何在画布上合理安排异构元素，使其在视觉上平衡且结构上可行。现有方法，特别是大型语言模型，在空间推理能力上存在不足，难以精确控制元素的位置、对齐和结构组织，导致布局效果不佳。
核心思路：论文的核心思路是利用强化学习来增强LLM的空间推理能力。通过训练一个基于LLM的代理，使其能够根据内容感知地调整元素布局，并利用混合奖励信号来指导代理的学习过程，从而生成高质量的布局。这种方法将LLM的语义理解能力与强化学习的空间优化能力相结合。
技术框架：LaySPA框架主要包含以下几个模块：1) 基于LLM的代理：负责根据当前布局状态和内容信息，生成下一步的布局动作。2) 强化学习环境：模拟布局设计过程，接收代理的动作并更新布局状态。3) 混合奖励函数：评估当前布局的质量，包括几何约束、结构保真度和视觉质量。4) 组相对策略优化：用于训练代理，使其能够最大化累积奖励。整个流程是一个迭代过程，代理不断与环境交互，通过强化学习不断优化布局策略。
关键创新：论文的关键创新在于将强化学习与LLM相结合，并设计了混合奖励函数，从而实现了内容感知的布局生成。与现有方法相比，LaySPA能够更有效地利用LLM的语义理解能力，并将其转化为具体的空间布局决策。此外，组相对策略优化进一步提升了代理的学习效率和布局质量。
关键设计：混合奖励函数是LaySPA的关键设计之一，它综合考虑了几何约束（例如元素之间的距离和对齐）、结构保真度（例如布局的层次结构和视觉流程）和视觉质量（例如布局的平衡性和美观性）。具体而言，奖励函数可能包含多个子项，每个子项对应一个特定的布局指标，并通过加权求和的方式进行组合。此外，组相对策略优化可能涉及到特定的超参数设置，例如学习率、折扣因子和探索率等。
🖼️ 关键图片
📊 实验亮点
实验结果表明，LaySPA在生成结构有效和视觉吸引力的布局方面，显著优于更大的通用LLM。具体来说，LaySPA在布局质量指标上取得了XX%的提升（具体数据未知），并达到了与最先进的专用布局模型相当的性能。这些结果验证了LaySPA框架的有效性和优越性。
🎯 应用场景
该研究成果可应用于自动化图形设计、网页设计、移动应用界面设计等领域。通过LaySPA，可以快速生成符合用户需求且视觉效果良好的布局方案，提高设计效率，降低设计成本。未来，该技术有望进一步扩展到三维场景布局、室内设计等更复杂的应用领域。
📄 摘要（原文）
While Large Language Models (LLMs) have demonstrated impressive reasoning and planning abilities in textual domains and can effectively follow instructions for complex tasks, their ability to understand and manipulate spatial relationships remains limited. Such capabilities are crucial for content-aware graphic layout design, where the goal is to arrange heterogeneous elements onto a canvas so that final design remains visually balanced and structurally feasible. This problem requires precise coordination of placement, alignment, and structural organization of multiple elements within a constrained visual space. To address this limitation, we introduce LaySPA, a reinforcement learning-based framework that augments LLM-based agents with explicit spatial reasoning capabilities for layout design. LaySPA employs hybrid reward signals that jointly capture geometric constraints, structural fidelity, and visual quality, enabling agents to navigate the canvas, model inter-element relationships, and optimize spatial arrangements. Through group-relative policy optimization, the agent generates content-aware layouts that reflect salient regions, respect spatial constraints, and produces an interpretable reasoning trace explaining placement decisions and a structured layout specification. Experimental results show that LaySPA substantially improves the generation of structurally valid and visually appealing layouts, outperforming larger general-purpose LLMs and achieving performance comparable to state-of-the-art specialized layout models.