Modeling Others' Minds as Code

📄 arXiv: 2510.01272v1 📥 PDF

作者: Kunal Jha, Aydan Yuenan Huang, Eric Ye, Natasha Jaques, Max Kleiman-Weiner

分类: cs.AI, cs.LG

发布日期: 2025-09-29

💡 一句话要点

ROTE：利用程序合成高效预测人类及AI行为，提升人机协作

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 行为预测 程序合成 大型语言模型 人机协作 贝叶斯推理

📋 核心要点

  1. 现有行为建模方法依赖大量数据，且对人类理性假设过于理想化，或计算成本过高，难以快速适应。
  2. ROTE将日常行为模式建模为计算机代码程序，利用LLM生成行为程序假设空间，并进行概率推理。
  3. 实验表明，ROTE在预测人类和AI行为方面优于现有方法，在准确性和泛化性上提升显著。

📝 摘要（中文）

为了实现稳健且安全的人机协作，准确预测人类行为至关重要。然而，现有的人类行为建模方法通常需要大量数据且脆弱，因为它们要么对理性做出不切实际的假设，要么计算量过大而无法快速适应。我们的核心思想是，许多日常社交互动可能遵循可预测的模式，即高效的“脚本”，从而最大限度地减少参与者和观察者的认知负荷，例如“等待绿灯，然后前进”。我们提出将这些例程建模为计算机代码中实例化的行为程序，而不是以信念和欲望为条件的策略。我们引入了一种名为ROTE的新算法，该算法利用大型语言模型（LLM）来合成行为程序的假设空间，并利用概率推理来推断该空间的不确定性。我们在一系列网格世界任务和一个大型具身家庭模拟器中测试了ROTE。ROTE能够从稀疏的观察中预测人类和AI的行为，在样本内准确性和样本外泛化方面，ROTE的性能优于包括行为克隆和基于LLM的方法在内的竞争基线，提升高达50%。通过将行为理解视为一个程序合成问题，ROTE为AI系统高效且有效地预测现实世界中的人类行为开辟了一条道路。

🔬 方法详解

问题定义：现有的人类行为建模方法，如行为克隆或基于强化学习的方法，通常需要大量的训练数据，并且难以泛化到新的场景。此外，这些方法往往假设人类是完全理性的，这与现实情况不符。因此，如何利用少量数据，对非完全理性的人类行为进行准确建模和预测，是一个重要的挑战。

核心思路：ROTE的核心思路是将人类的行为模式视为一系列预定义的“脚本”或程序。这些程序描述了在特定情境下，个体可能采取的行动序列。通过将行为理解视为一个程序合成问题，ROTE可以利用大型语言模型（LLM）生成可能的行为程序，并使用概率推理来评估这些程序的可能性。这种方法可以有效地利用先验知识，减少对大量训练数据的依赖。

技术框架：ROTE的整体框架包括以下几个主要模块：1) 程序生成：使用LLM生成一系列可能的行为程序，这些程序描述了在给定情境下个体可能采取的行动序列。2) 程序执行：对于每个生成的程序，ROTE模拟其在给定环境中的执行过程，并记录其行为轨迹。3) 概率推理：ROTE使用贝叶斯推理来评估每个程序的可能性，基于观察到的行为数据和程序的先验概率。4) 行为预测：ROTE根据程序的后验概率分布，预测个体在未来可能采取的行动。

关键创新：ROTE最重要的技术创新点在于将行为理解问题转化为程序合成问题。与传统的行为建模方法不同，ROTE不直接学习从状态到动作的映射，而是学习生成描述行为模式的程序。这种方法具有更强的可解释性和泛化能力，并且可以有效地利用先验知识。

关键设计：ROTE的关键设计包括：1) 使用LLM生成行为程序，利用LLM的强大生成能力，可以有效地探索可能的行为模式空间。2) 使用贝叶斯推理来评估程序的可能性，可以有效地整合观察到的行为数据和程序的先验概率。3) 定义合适的程序语言，该语言需要足够表达能力，能够描述各种复杂的行为模式，同时也要足够简洁，以便于程序合成和推理。

📊 实验亮点

ROTE在网格世界任务和具身家庭模拟器中进行了评估。实验结果表明，ROTE在预测人类和AI行为方面优于包括行为克隆和基于LLM的方法在内的竞争基线，在样本内准确性和样本外泛化方面，ROTE的性能提升高达50%。这些结果表明，ROTE是一种有效且高效的行为建模方法，具有很强的实际应用价值。

🎯 应用场景

ROTE具有广泛的应用前景，例如在自动驾驶领域，可以用于预测行人和车辆的行为，提高交通安全性；在人机协作领域，可以用于理解人类的意图，从而实现更自然和高效的交互；在智能家居领域，可以用于预测用户的行为习惯，提供个性化的服务。此外，该方法还可以应用于社交机器人、游戏AI等领域，提升AI系统的智能化水平。

📄 摘要（原文）

Accurate prediction of human behavior is essential for robust and safe human-AI collaboration. However, existing approaches for modeling people are often data-hungry and brittle because they either make unrealistic assumptions about rationality or are too computationally demanding to adapt rapidly. Our key insight is that many everyday social interactions may follow predictable patterns; efficient "scripts" that minimize cognitive load for actors and observers, e.g., "wait for the green light, then go." We propose modeling these routines as behavioral programs instantiated in computer code rather than policies conditioned on beliefs and desires. We introduce ROTE, a novel algorithm that leverages both large language models (LLMs) for synthesizing a hypothesis space of behavioral programs, and probabilistic inference for reasoning about uncertainty over that space. We test ROTE in a suite of gridworld tasks and a large-scale embodied household simulator. ROTE predicts human and AI behaviors from sparse observations, outperforming competitive baselines -- including behavior cloning and LLM-based methods -- by as much as 50% in terms of in-sample accuracy and out-of-sample generalization. By treating action understanding as a program synthesis problem, ROTE opens a path for AI systems to efficiently and effectively predict human behavior in the real-world.