Eye, Robot: Learning Expressive Gaze Dynamics via a VLM-Guided Transformer-VAE
作者: Yuhang Hu, Junlin Lyu, Yuan Fang, Xiaoying Shen, Lechen Zhang, Jiong Lin, Judah Goldfeder, Steven Tian, Hod Lipson
分类: cs.RO, cs.AI
发布日期: 2026-10-14
💡 一句话要点
提出VLM引导的Transformer-VAE以解决机器人注视动态生成问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 类人机器人 注视动态 视觉-语言模型 Transformer-VAE 运动生成 人机交互 自监督学习
📋 核心要点
- 现有方法无法有效模拟人类注视的时间结构，导致类人机器人在注视目标时缺乏灵活性和自然性。
- 本文提出了一种异步视觉-语言模型和真实注视变换器（RGT），将注视选择与运动生成分离，提高了机器人的注视动态表现。
- 在基准测试中，RGT-Base在七关节均方误差上表现优异，展示了其在目标选择和运动控制上的有效性。
📝 摘要（中文）
注视在人与人互动中通过眼睛、头部和眼睑的运动来引导注意力。为了使类人机器人能够选择注视目标并生成适当的运动，现有的固定跟踪规则无法有效建模人类注视的时间结构。本文提出了一种异步视觉-语言模型，结合反应感知模块和真实注视变换器（RGT），实现目标条件下的运动生成。RGT是一个基于Transformer-VAE的模型，经过自监督预训练和自回归微调，能够在推理时生成协调的颈部和眼部运动。实验结果表明，RGT-Base在相同目标下获得了最低的七关节均方误差，展示了机器人运动的真实感和实时推理能力。
🔬 方法详解
问题定义：本文旨在解决类人机器人在注视动态生成中的不足，现有方法无法有效捕捉人类注视的时间结构，导致机器人在注视目标时的运动不够自然。
核心思路：通过引入异步视觉-语言模型，分离注视选择与运动生成，利用真实注视变换器（RGT）生成目标条件下的运动，从而提高机器人的注视表现。
技术框架：整体架构包括三个主要模块：异步视觉-语言模型用于选择场景参照物，反应感知模块用于维持注视，RGT用于生成运动。模型通过自监督预训练和自回归微调进行训练。
关键创新：RGT作为基于Transformer-VAE的模型，能够在无标记的人类记录上进行训练，捕捉完整的头部运动历史，显著提升了机器人的运动生成能力。
关键设计：模型设计中采用了自监督学习策略，损失函数结合了运动生成的准确性与自然性，网络结构上使用了Transformer架构以增强模型的表达能力。
🖼️ 关键图片
📊 实验亮点
在两秒的基准测试中，RGT-Base在所有控制器中获得了最低的七关节均方误差，显示出其在目标选择和运动控制上的优越性能。实验结果表明，该模型在机器人运动的真实感和实时推理能力方面具有显著优势。
🎯 应用场景
该研究在类人机器人、社交机器人和人机交互等领域具有广泛的应用潜力。通过实现更自然的注视动态，机器人能够在与人类互动时表现得更加人性化，从而提升用户体验和交互质量。未来，该技术还可能扩展到教育、医疗和娱乐等多个行业。
📄 摘要（原文）
Gaze coordinates attention in human interaction through coupled eye, head, and eyelid motion. A humanoid robot must choose where to look while generating a suitable movement toward that target; fixed tracking rules alone do not model the temporal structure of human gaze. We separate these tasks with an asynchronous vision-language model that selects a scene referent, a reactive perception module that maintains fixation, and a Realistic Gaze Transformer (RGT) that generates target-conditioned motion. RGT is a Transformer-VAE trained on markerless human recordings retargeted to the robot's 11-DoF joint space: self-supervised pretraining encodes recent full-head history, and autoregressive fine-tuning exposes the model to its own predictions during rollout. At inference, a four-dimensional binocular-eye trajectory conditions coordinated neck and eye motion; an auxiliary blink predictor triggers eyelid templates during playback. On a two-second benchmark in which all controllers receive the same ground-truth target, RGT-Base obtains the lowest reported overall seven-joint MSE, and physical demonstrations show the integrated targeting and control pipeline. The evidence establishes robot-space kinematic fidelity and real-time RGT inference; perceived naturalness and open-vocabulary target-selection accuracy remain questions for controlled evaluation.