Learning to Tune Like an Expert: Interpretable and Scene-Aware Navigation via MLLM Reasoning and CVAE-Based Adaptation
作者: Yanbo Wang, Zipeng Fang, Lei Zhao, Weidong Chen
分类: cs.RO, cs.CV
发布日期: 2025-07-15
🔗 代码/项目: GITHUB
💡 一句话要点
提出LE-Nav框架，利用MLLM推理和CVAE自适应调整，实现场景感知和可解释的机器人导航。
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 机器人导航 多模态大语言模型 条件变分自编码器 场景感知 超参数自适应 可解释性 零样本学习
📋 核心要点
- 传统导航系统在动态环境中泛化性差，强化学习方法在sim-to-real迁移中面临挑战。
- LE-Nav利用MLLM进行场景理解和推理，CVAE学习自然语言指令到导航超参数的映射，实现自适应调整。
- 实验表明，LE-Nav在真实导航中优于现有方法，并在用户研究中获得更高的安全性和社会接受度评分。
📝 摘要（中文）
服务机器人越来越多地部署在多样化和动态的环境中，物理布局和社会环境随时间和地点而变化。在这些非结构化环境中，依赖固定参数的传统导航系统通常无法泛化，导致性能下降和社会接受度降低。虽然最近的方法利用强化学习来增强传统规划器，但由于泛化能力差和模拟多样性有限，这些方法在实际部署中经常失败，阻碍了有效的sim-to-real迁移。为了解决这些问题，我们提出了一种可解释的场景感知导航框架LE-Nav，该框架利用多模态大型语言模型推理和条件变分自编码器来适应性地调整规划器超参数。为了实现零样本场景理解，我们使用一次性范例和思维链提示策略。此外，条件变分自编码器捕获自然语言指令和导航超参数之间的映射，从而实现专家级调整。实验表明，LE-Nav可以生成在各种规划器和场景中实现人类水平调整的超参数。在智能轮椅平台上的真实导航试验和用户研究表明，它在成功率、效率、安全性和舒适性等定量指标上优于最先进的方法，同时在感知安全性和社会接受度方面获得了更高的主观评分。
🔬 方法详解
问题定义：现有服务机器人的导航系统在面对复杂、动态的真实环境时，由于依赖固定的参数配置，难以适应不同场景的变化，导致导航性能下降，甚至影响用户体验和社会接受度。强化学习方法虽然有所改进，但其泛化能力不足，难以从模拟环境迁移到真实世界。
核心思路：LE-Nav的核心思路是利用多模态大型语言模型（MLLM）的推理能力来理解场景，并结合条件变分自编码器（CVAE）学习人类专家调整导航参数的策略。通过将场景理解和参数调整解耦，实现导航系统对不同场景的自适应能力。
技术框架：LE-Nav框架主要包含以下几个模块： 1. 场景理解模块：利用MLLM，通过one-shot exemplars和chain-of-thought prompting策略，实现对场景的零样本理解。 2. 超参数生成模块：使用条件变分自编码器（CVAE），学习自然语言指令和导航超参数之间的映射关系，从而生成适合当前场景的超参数。 3. 导航执行模块：使用生成的超参数配置导航规划器，执行导航任务。 4. 反馈与优化模块：（论文中未明确提及，但可以作为未来改进方向，通过用户反馈或导航结果对模型进行优化）
关键创新：LE-Nav的关键创新在于： 1. 场景感知的超参数自适应调整：通过MLLM理解场景，并利用CVAE生成相应的超参数，实现了导航系统对场景的自适应能力。 2. 可解释性：利用MLLM的推理过程，可以解释导航系统选择特定超参数的原因，提高了系统的可解释性。 3. 零样本场景理解：通过one-shot exemplars和chain-of-thought prompting策略，实现了对新场景的零样本理解，避免了大量标注数据的需求。
关键设计： 1. MLLM的prompt设计：精心设计的prompt对于MLLM的场景理解至关重要，包括one-shot exemplars的选择和chain-of-thought prompting策略的构建。 2. CVAE的网络结构和损失函数：CVAE需要能够有效地学习自然语言指令和导航超参数之间的映射关系，其网络结构和损失函数的设计直接影响到超参数生成的质量。 3. 导航规划器的选择和配置：LE-Nav可以与多种导航规划器结合使用，需要根据具体场景选择合适的规划器，并配置相应的参数。
🖼️ 关键图片
📊 实验亮点
实验结果表明，LE-Nav在真实导航试验中，在成功率、效率、安全性和舒适性等定量指标上优于现有方法。用户研究表明，LE-Nav在感知安全性和社会接受度方面获得了更高的主观评分。LE-Nav能够生成达到人类专家水平的超参数配置。
🎯 应用场景
LE-Nav框架具有广泛的应用前景，例如智能轮椅、服务机器人、自动驾驶等领域。它可以提升机器人在复杂环境中的导航性能和用户体验，提高机器人的社会接受度。未来，该技术可以进一步扩展到其他机器人任务中，例如物体识别、人机交互等。
📄 摘要（原文）
Service robots are increasingly deployed in diverse and dynamic environments, where both physical layouts and social contexts change over time and across locations. In these unstructured settings, conventional navigation systems that rely on fixed parameters often fail to generalize across scenarios, resulting in degraded performance and reduced social acceptance. Although recent approaches have leveraged reinforcement learning to enhance traditional planners, these methods often fail in real-world deployments due to poor generalization and limited simulation diversity, which hampers effective sim-to-real transfer. To tackle these issues, we present LE-Nav, an interpretable and scene-aware navigation framework that leverages multi-modal large language model reasoning and conditional variational autoencoders to adaptively tune planner hyperparameters. To achieve zero-shot scene understanding, we utilize one-shot exemplars and chain-of-thought prompting strategies. Additionally, a conditional variational autoencoder captures the mapping between natural language instructions and navigation hyperparameters, enabling expert-level tuning. Experiments show that LE-Nav can generate hyperparameters achieving human-level tuning across diverse planners and scenarios. Real-world navigation trials and a user study on a smart wheelchair platform demonstrate that it outperforms state-of-the-art methods on quantitative metrics such as success rate, efficiency, safety, and comfort, while receiving higher subjective scores for perceived safety and social acceptance. Code is available at https://github.com/Cavendish518/LE-Nav.