NEWTON: Are Large Language Models Capable of Physical Reasoning?
作者: Yi Ru Wang, Jiafei Duan, Dieter Fox, Siddhartha Srinivasa
分类: cs.CL, cs.AI, cs.RO
发布日期: 2023-10-10
备注: EMNLP 2023 Findings; 8 pages, 3 figures, 7 tables; Project page: https://newtonreasoning.github.io
💡 一句话要点
提出NEWTON以评估大型语言模型的物理推理能力
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 物理推理 NEWTON基准 对象-属性对 智能系统
📋 核心要点
- 现有研究对大型语言模型的物理推理能力探索有限，尤其是在理解日常物体的关键属性方面存在不足。
- 本文提出NEWTON基准和库，旨在评估LLMs的物理推理能力，并提供定制化的评估管道以适应不同应用场景。
- 实验结果表明，GPT-4在情境任务中表现出色，但在对象-属性推理一致性上仍低于人类，展示了进一步提升的空间。
📝 摘要（中文）
大型语言模型（LLMs）通过其上下文化表示，已被实证证明能够封装语法、语义、词义和常识知识。然而，关于其物理推理能力的探索仍然有限，尤其是在理解日常物体的关键属性方面。为了解决这一空白，本文提出了NEWTON，一个用于评估LLMs物理推理能力的基准和库。此外，本文还提供了一种管道，使研究人员能够生成与其应用相关的对象和属性定制的基准变体。NEWTON库包含2800个对象-属性对，为生成无限规模的评估模板奠定了基础。NEWTON基准由16万道问答题组成，旨在调查多种主流语言模型在基础、显性和隐性推理任务中的物理推理能力。通过广泛的实证分析，结果显示LLMs在物理推理方面的能力，尤其是GPT-4在情境任务中表现出强大的推理能力，但在对象-属性推理的一致性上则低于人类（50%对比84%）。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在物理推理能力评估方面的不足，尤其是对日常物体属性的理解能力。现有方法缺乏系统的基准和评估工具，限制了对LLMs物理推理能力的深入研究。
核心思路：论文提出NEWTON基准，通过构建一个包含2800个对象-属性对的库，提供了一个系统化的评估框架，帮助研究人员定制化评估任务，以适应特定应用需求。
技术框架：NEWTON的整体架构包括数据收集、问答生成和评估模块。首先，收集对象-属性对，然后基于这些对生成问答题，最后通过评估模型的推理能力来验证其有效性。
关键创新：NEWTON的主要创新在于其定制化能力，允许研究人员根据特定对象和属性生成评估任务，这种灵活性在现有方法中是前所未有的。
关键设计：在设计上，NEWTON库的构建采用了系统化的数据收集方法，确保了对象-属性对的多样性和代表性。同时，问答生成过程使用了先进的自然语言处理技术，以确保问题的质量和相关性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，GPT-4在情境任务中的推理能力表现优异，但在对象-属性推理的一致性上仅为50%，而人类的表现为84%。这一差距表明，尽管LLMs在物理推理方面具有潜力，但仍需进一步优化以达到人类水平。
🎯 应用场景
该研究的潜在应用领域包括机器人操作、智能家居系统和教育工具等。通过提升大型语言模型的物理推理能力，NEWTON可以促进其在物理环境中的应用，增强人机交互的智能化水平，推动智能系统的进一步发展。
📄 摘要（原文）
Large Language Models (LLMs), through their contextualized representations, have been empirically proven to encapsulate syntactic, semantic, word sense, and common-sense knowledge. However, there has been limited exploration of their physical reasoning abilities, specifically concerning the crucial attributes for comprehending everyday objects. To address this gap, we introduce NEWTON, a repository and benchmark for evaluating the physics reasoning skills of LLMs. Further, to enable domain-specific adaptation of this benchmark, we present a pipeline to enable researchers to generate a variant of this benchmark that has been customized to the objects and attributes relevant for their application. The NEWTON repository comprises a collection of 2800 object-attribute pairs, providing the foundation for generating infinite-scale assessment templates. The NEWTON benchmark consists of 160K QA questions, curated using the NEWTON repository to investigate the physical reasoning capabilities of several mainstream language models across foundational, explicit, and implicit reasoning tasks. Through extensive empirical analysis, our results highlight the capabilities of LLMs for physical reasoning. We find that LLMs like GPT-4 demonstrate strong reasoning capabilities in scenario-based tasks but exhibit less consistency in object-attribute reasoning compared to humans (50% vs. 84%). Furthermore, the NEWTON platform demonstrates its potential for evaluating and enhancing language models, paving the way for their integration into physically grounded settings, such as robotic manipulation. Project site: https://newtonreasoning.github.io