FootQuery: Future-Touchdown-Guided Retrieval from Depth History for Perceptive Humanoid Locomotion

📄 arXiv: 2609.21447v1 📥 PDF

作者: Tao Dong, Jia Yu, Yuxuan Fan, Linna Zhao, Jiaqi Gong, Andong Yang, Chao Gao, Guyue Zhou

分类: cs.RO, cs.LG, eess.SY

发布日期: 2026-09-18

备注: 9 pages, 11 figures

💡 一句话要点

提出FootQuery以解决复杂地形下人形机器人行走问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 人形机器人 深度学习 复杂地形 感知能力 控制策略 历史信息检索 机器人导航 本体感知

📋 核心要点

  1. 现有方法在复杂地形下行走时，无法有效预测不可见的着陆点，导致行走不稳定。
  2. FootQuery框架通过预测下一个着陆点并查询历史深度信息，增强了人形机器人的感知能力。
  3. 在模拟和真实环境中，FootQuery在复杂地形上表现出色，显著提高了行走的连续性和稳定性。

📝 摘要（中文）

人形机器人在复杂地形上行走时，需要预测即将到达的足迹，这些足迹在着陆时可能不再可见。由于相机覆盖范围有限和自遮挡现象，必须从早期观察中检索相关地形信息。本文提出FootQuery，一个感知行走框架，通过每只脚的预测下一个着陆点查询深度历史。该策略利用本体感知预测着陆位置和不确定性，并结合每只脚的特征，查询稀疏采样的历史深度帧。在训练过程中，将实际接触点投影到历史图像中，以监督在可见接触区域的检索。检索到的每只脚特征与全局视觉记忆融合，以生成控制动作。实验结果表明，该框架在最具挑战性的楼梯、间隙和平台上优于各个组件的消融实验，并在Unitree G1上进行的真实世界实验中展示了跨越户外楼梯和室内路线的连续行走能力。

🔬 方法详解

问题定义：本文旨在解决人形机器人在复杂地形上行走时，如何有效预测不可见的着陆点的问题。现有方法由于相机视野限制和自遮挡，无法充分利用历史深度信息，导致行走不稳定。

核心思路：FootQuery框架的核心思路是利用每只脚的预测着陆点来查询历史深度信息，从而增强机器人对环境的感知能力。通过结合本体感知和历史深度特征，机器人能够更好地预测和适应复杂地形。

技术框架：FootQuery的整体架构包括三个主要模块：1) 着陆点预测模块，利用本体感知数据预测下一步的着陆位置；2) 深度历史查询模块，根据预测的着陆点从历史深度帧中检索相关特征；3) 控制动作生成模块，将检索到的特征与全局视觉记忆融合，生成控制指令。

关键创新：FootQuery的关键创新在于通过预测的着陆点来组织和检索视觉历史信息，这一方法与传统的基于当前视觉信息的行走策略有本质区别，显著提高了对复杂地形的适应能力。

关键设计：在设计中，FootQuery采用了逐步的力辅助课程，以支持早期探索，并通过事件一致的踏中线形状设计，鼓励协调的楼梯接触。此外，损失函数设计考虑了接触点的可见性，以优化特征检索的准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在模拟实验中，FootQuery在最具挑战性的楼梯、间隙和平台上表现优异，超越了各个组件的消融实验。在Unitree G1的真实世界实验中，机器人能够在户外楼梯和室内路线中实现连续行走，展示了该框架的有效性和实用性。

🎯 应用场景

FootQuery框架在机器人导航、自动驾驶和人形机器人等领域具有广泛的应用潜力。通过提升机器人在复杂环境中的感知和适应能力，该技术可以有效改善机器人在不确定和动态环境中的表现，推动智能机器人技术的发展。

📄 摘要（原文）

Humanoid locomotion over complex terrain requires anticipating footholds that may no longer be visible at touchdown. Limited camera coverage and self-occlusion make it necessary to retrieve relevant terrain information from earlier observations. We present FootQuery, a perceptive locomotion framework that queries depth history using each foot's predicted next touchdown. The policy predicts touchdown locations and uncertainty from proprioception and uses these distributions, together with per-foot features, to query sparsely sampled historical depth frames. During training, realized contacts are projected into historical images to supervise retrieval at the regions where those contacts were visible. The retrieved per-foot features are fused with global visual memory to generate control actions. A progressive force-assistance curriculum supports early exploration, while event-consistent tread-midline shaping encourages coordinated stair contacts. Deployment requires only proprioception and onboard depth images. In simulation, the complete framework outperforms its component ablations on the most challenging tested stairs, gaps, and platforms. Real-world experiments on a Unitree G1 demonstrate continuous traversal with a single policy across outdoor stairs and indoor routes combining stair ascent and descent, platforms, and gaps. These results support organizing visual history around anticipated contacts for perceptive humanoid locomotion.