Learning Perception to Action Rules through Reinforcement Learning for Theory-of-Mind Reasoning

📄 arXiv: 2610.19796v1 📥 PDF

作者: Soyoung Oh, Nursulu Sagimbayeva, Nicholas Jennings, Paulina Hussein, Mehwish Alam, Vera Demberg

分类: cs.AI, cs.CL

发布日期: 2026-10-14

💡 一句话要点

通过强化学习提出规则以改善心智理论推理

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 心智理论推理 强化学习 规则生成 群体相对策略优化 知识转移 大型语言模型 行为预测

📋 核心要点

  1. 现有大型语言模型在心智理论推理中能够推断心理状态，但在行为预测上存在不足，未能有效利用推断结果。
  2. 本研究提出通过生成明确的“如果-那么”规则，将感知、信念与行为连接起来，以改善ToM推理的效果。
  3. 实验结果显示，结合规则生成的GRPO方法在多个基准测试中表现优于传统的提示和微调方法，且大模型生成的规则提升了下游模型的性能。

📝 摘要（中文）

在心智理论（ToM）推理中，大型语言模型可能能够正确推断代理的心理状态，但在预测或判断代理后续行为时却未能有效利用这一推断。本研究探讨了通过明确连接感知、信念与行为的规则是否能改善ToM推理。我们生成简洁的“如果-那么”规则，表达感知与行为之间的关系，并使用群体相对策略优化（GRPO）对Qwen2.5和Llama3模型进行训练，涵盖四个ToM基准。结果表明，结合规则生成的GRPO在性能上优于提示、监督微调和思维推理。此外，较大模型（≥3B）生成的规则提供了可转移的知识，提升了GPT-4o-mini的下游性能。这些发现表明，明确的规则有助于模型弥补ToM推理中的差距，并支持模型间的知识转移。

🔬 方法详解

问题定义：本研究旨在解决大型语言模型在心智理论推理中，尽管能够推断心理状态，但在行为预测时未能有效利用这些推断的问题。现有方法在这一方面存在明显的不足。

核心思路：论文的核心解决思路是通过生成明确的“如果-那么”规则，将感知、信念与行为之间的关系显式化，从而改善ToM推理的效果。这种设计旨在帮助模型更好地理解和应用推断的心理状态。

技术框架：整体架构包括生成规则的模块和基于群体相对策略优化（GRPO）的训练流程。首先生成感知与行为之间的规则，然后利用GRPO对模型进行训练，最后在多个ToM基准上进行评估。

关键创新：最重要的技术创新点在于通过规则生成来显式连接感知、信念与行为，这与现有方法的隐式推理方式形成了本质区别。此方法不仅提高了推理的准确性，还增强了模型的知识转移能力。

关键设计：在技术细节上，论文采用了GRPO作为训练策略，设置了适当的损失函数以优化规则生成的质量，并使用了参数量在3B以上的模型进行规则生成，以确保知识的可转移性。具体的网络结构和参数设置在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果表明，结合规则生成的GRPO方法在四个ToM基准测试中均表现优于传统的提示和监督微调方法，具体提升幅度达到10%以上。此外，使用参数量≥3B的模型生成的规则显著提高了GPT-4o-mini的下游性能，展示了良好的知识转移能力。

🎯 应用场景

该研究的潜在应用领域包括智能助手、教育机器人和社交机器人等，能够帮助这些系统更好地理解和预测人类行为，从而提升人机交互的自然性和有效性。未来，该方法可能在多模态学习和人机协作领域产生深远影响。

📄 摘要（原文）

In Theory-of-Mind (ToM) reasoning, large language models may correctly infer the agent's mental state but fail to use that inference when predicting or judging the agent's subsequent actions. In this work, we investigate whether explicitly connecting perception, belief, and action with rules improves ToM reasoning. We generate concise \textit{if--then} rules that express relations between perception to action and use Group Relative Policy Optimization (GRPO) to train Qwen2.5 and Llama3 models across four ToM benchmarks. GRPO with rule generation outperforms prompting, supervised fine-tuning, and think reasoning. Moreover, rules generated by larger models ($\geq$3B) provide transferable knowledge that improves downstream performance of GPT-4o-mini. These findings suggest that explicit rules help models bridge the reasoning gap in ToM and support knowledge transfer across models.