Deep Active Inference with Diffusion Policy and Multiple Timescale World Model for Real-World Exploration and Navigation

📄 arXiv: 2510.23258v1 📥 PDF

作者: Riko Yokozawa, Kentaro Fujii, Yuta Nomura, Shingo Murata

分类: cs.RO, cs.AI, cs.LG

发布日期: 2025-10-27

备注: Preprint version

💡 一句话要点

提出基于扩散策略和多时间尺度世界模型的深度主动推理框架，用于真实环境探索和导航。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 主动推理 机器人导航 扩散策略 世界模型 多时间尺度 期望自由能 深度学习

📋 核心要点

  1. 真实环境下的机器人导航面临探索未知环境和目标导向运动的双重挑战，现有方法难以有效整合。
  2. 论文提出深度主动推理框架，结合扩散策略生成动作和多时间尺度世界模型预测长期后果，以最小化期望自由能。
  3. 实验表明，该框架在真实导航任务中，尤其是在需要高探索性的场景下，显著提升了导航成功率并减少了碰撞。

📝 摘要（中文）

本文提出了一种深度主动推理(AIF)框架，用于解决真实环境中自主机器人导航问题，该问题既需要环境探索以获取信息，又需要目标导向导航以到达指定目标。该框架基于自由能原理，通过最小化期望自由能(EFE)来统一这两种行为，从而结合了认知价值和外在价值。具体而言，该框架集成了扩散策略作为策略模型，以及多时间尺度循环状态空间模型(MTRSSM)作为世界模型。扩散策略生成多样化的候选动作，而MTRSSM通过潜在想象预测这些动作的长期后果，从而能够选择最小化EFE的动作。真实导航实验表明，与基线方法相比，该框架在探索需求高的场景中实现了更高的成功率和更少的碰撞。这些结果突出了基于EFE最小化的AIF如何统一真实机器人环境中的探索和目标导向导航。

🔬 方法详解

问题定义：现有机器人导航方法难以在真实环境中同时兼顾环境探索和目标导向。传统的导航方法往往侧重于到达目标，而忽略了对未知环境的有效探索，导致在复杂或动态环境中表现不佳。主动推理(AIF)提供了一个统一的框架，但将其应用于实际机器人导航仍然面临挑战，尤其是在策略生成和长期预测方面。

核心思路：论文的核心思路是利用深度学习技术来实现主动推理框架，具体而言，使用扩散策略生成多样化的动作候选，并使用多时间尺度循环状态空间模型(MTRSSM)来预测这些动作的长期后果。通过最小化期望自由能(EFE)，平衡探索未知环境的认知价值和到达目标的外部价值，从而实现高效的导航。

技术框架：该框架包含两个主要模块：扩散策略模型和多时间尺度循环状态空间模型(MTRSSM)。扩散策略模型负责生成多样化的候选动作，为探索提供基础。MTRSSM作为世界模型，用于预测每个候选动作在长期内的后果，包括环境状态的变化和奖励的获取。通过计算每个动作的期望自由能(EFE)，选择EFE最小的动作执行。整个流程可以看作是一个循环，不断生成动作、预测后果、选择动作并更新世界模型。

关键创新：该论文的关键创新在于将扩散策略和多时间尺度循环状态空间模型(MTRSSM)集成到主动推理框架中。扩散策略能够生成更多样化的动作，从而促进更有效的探索。MTRSSM能够捕捉环境的长期动态，从而实现更准确的长期预测。这种结合使得该框架能够在复杂环境中实现更好的导航性能。与传统的基于确定性策略的方法相比，扩散策略的引入显著提升了探索能力。

关键设计：扩散策略使用条件扩散模型，以当前状态作为条件生成动作。MTRSSM使用多个时间尺度的循环神经网络来捕捉环境的动态特性。期望自由能(EFE)的计算包括认知价值和外部价值两部分，认知价值衡量动作带来的信息增益，外部价值衡量动作带来的奖励。损失函数包括重构损失、KL散度和奖励预测损失，用于训练MTRSSM。具体参数设置和网络结构细节在论文中有详细描述（未知）。

📊 实验亮点

实验结果表明，该框架在真实导航任务中取得了显著的性能提升。与基线方法相比，该框架在探索需求高的场景中实现了更高的导航成功率和更少的碰撞。具体数据（未知），但整体表现优于对比方法，验证了基于EFE最小化的AIF在统一探索和目标导向导航方面的有效性。

🎯 应用场景

该研究成果可应用于各种需要自主导航的机器人应用场景，例如：家庭服务机器人、物流配送机器人、自动驾驶汽车、以及在未知或复杂环境中执行任务的机器人。通过提升机器人的自主探索和导航能力，可以降低对人工干预的依赖，提高工作效率和安全性。未来，该技术有望扩展到更广泛的智能体控制领域。

📄 摘要（原文）

Autonomous robotic navigation in real-world environments requires exploration to acquire environmental information as well as goal-directed navigation in order to reach specified targets. Active inference (AIF) based on the free-energy principle provides a unified framework for these behaviors by minimizing the expected free energy (EFE), thereby combining epistemic and extrinsic values. To realize this practically, we propose a deep AIF framework that integrates a diffusion policy as the policy model and a multiple timescale recurrent state-space model (MTRSSM) as the world model. The diffusion policy generates diverse candidate actions while the MTRSSM predicts their long-horizon consequences through latent imagination, enabling action selection that minimizes EFE. Real-world navigation experiments demonstrated that our framework achieved higher success rates and fewer collisions compared with the baselines, particularly in exploration-demanding scenarios. These results highlight how AIF based on EFE minimization can unify exploration and goal-directed navigation in real-world robotic settings.