PolyBridgeBench: Benchmarking Multimodal LLMs for Physics-Grounded Bridge Design
作者: Zicheng Zhao, Dongyin Chen, Rui Xu, Yinghui Xu
分类: cs.AI
发布日期: 2026-09-18
💡 一句话要点
提出PolyBridgeBench以解决多模态LLMs在桥梁设计中的有效性问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态大型语言模型 桥梁设计 物理模拟 结构有效性 动态评估 工程约束 失败恢复
📋 核心要点
- 现有基准测试无法判断多模态大型语言模型在桥梁设计中的实际可执行性，尤其是在模拟失败后的修复能力。
- 本文提出PolyBridgeBench，通过接收视觉场景和工程约束生成完整的桥梁结构，并在物理模拟中进行合法性检查。
- 实验结果显示，六个MLLMs在189个级别中存在确定性有效性与动态成功之间的显著差距，且对材料预算敏感。
📝 摘要（中文）
多模态大型语言模型（MLLMs）在视觉理解和结构生成方面表现良好，但尚未验证其在工程设计中的可执行性。现有基准测试评估空间推理、结构有效性或物理基础构建，但未能判断MLLMs是否能够合成完整的承重结构并在模拟执行失败后进行修复。本文提出了PolyBridgeBench，一个可执行的桥梁设计基准测试。模型接收视觉场景和结构工程约束，生成完整的节点-构件-材料拓扑。通过确定性合法性检查控制在本地动态物理模拟中的执行。基准测试在执行失败后返回失败回合的时间视觉证据，并在固定的交互预算下评估修复。对确定性有效性、动态功能成功和失败后恢复的单独测量，识别设计失败的阶段。对189个级别的六个代表性MLLMs的实验揭示了确定性有效性与动态成功之间的显著差距，对材料预算的敏感性，以及在主要严格预算设置下有限的失败后恢复能力。
🔬 方法详解
问题定义：本文旨在解决多模态大型语言模型在桥梁设计中的有效性问题，尤其是如何在模拟执行失败后进行有效修复。现有方法未能全面评估设计的可行性和修复能力。
核心思路：提出PolyBridgeBench基准测试，模型通过接收视觉场景和结构约束生成完整的桥梁设计，并在动态物理模拟中进行合法性检查，以评估设计的有效性和修复能力。
技术框架：整体架构包括三个主要模块：输入模块（接收视觉场景和工程约束）、生成模块（生成节点-构件-材料拓扑）、执行模块（进行物理模拟和合法性检查）。
关键创新：PolyBridgeBench的创新在于其可执行性和动态评估能力，能够在设计失败后提供时间视觉证据，并评估修复效果，这在现有基准测试中是前所未有的。
关键设计：在设计中，采用了确定性合法性检查机制，确保生成的结构在物理模拟中是可执行的。此外，设置了固定的交互预算，以评估模型在失败后的修复能力。实验中还关注了材料预算对设计成功的影响。
🖼️ 关键图片
📊 实验亮点
实验结果显示，六个代表性多模态大型语言模型在189个级别中，确定性有效性与动态成功之间存在显著差距，且对材料预算表现出较强的敏感性。在主要严格预算设置下，模型的失败后恢复能力有限，揭示了当前模型在实际应用中的不足。
🎯 应用场景
该研究的潜在应用领域包括工程设计、建筑结构优化和智能制造等。通过提供一个可执行的基准测试，PolyBridgeBench能够帮助研究人员和工程师更好地评估和改进多模态大型语言模型在实际工程中的应用，推动智能设计工具的发展。
📄 摘要（原文）
Multimodal large language models, or MLLMs, perform well at visual understanding and structured generation, yet these capabilities do not establish whether an engineering design will work when executed. Existing benchmarks assess spatial reasoning, structural validity, or physics-grounded construction, but they do not determine whether MLLMs can synthesize complete load-bearing structures and repair them after simulator execution exposes a failure. We introduce PolyBridgeBench, an executable benchmark for multimodal bridge design. A model receives a visual scene and structured engineering constraints and generates a complete node--member--material topology. Deterministic legality checks gate execution in a native dynamic physics simulation. Following an execution failure, the benchmark returns temporal visual evidence from the failed rollout and evaluates repair under a fixed interaction budget. Separate measurements of deterministic validity, dynamic functional success, and post-failure recovery identify the stage at which design fails. Experiments with six representative MLLMs across 189 levels expose a substantial gap between deterministic validity and dynamic success, pronounced sensitivity to material budgets, and limited post-failure recovery under the primary strict-budget setting.