Video2STL: Grounding VLM-Generated Temporal Specifications for Robot Learning
作者: Merve Atasever, Keyan Azbijari, Cagan Bakirci, Bo-Ruei Huang, Tolga Izdas, Zahra Shahrooei, Richard Yang, Erdem Biyik, Jyotirmoy V. Deshmukh
分类: cs.RO, cs.AI
发布日期: 2026-09-29
💡 一句话要点
提出Video2STL框架以解决机器人学习中的视频信息转移问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视频理解 信号时序逻辑 机器人学习 多模态融合 策略学习
📋 核心要点
- 现有方法在将视频信息有效转移到机器人学习中存在困难，尤其是在任务的时间结构方面。
- 本文提出Video2STL框架，通过将观察视频转换为信号时序逻辑（STL）规范，解决了信息转移问题。
- 在四个操作任务中，Video2STL的成功率达85.8%，显著优于传统的密集PPO和Text2Reward方法。
📝 摘要（中文）
基于视频的策略学习具有很大的潜力，因为它展示了目标行为而无需动作注释或与实体匹配的示范。然而，如何有效地将视频中的信息转移到机器人上是一个核心挑战。现有方法通常将视觉观察转换为标量相似度或价值信号，或要求基础模型直接生成奖励代码，这使得任务的时间结构难以检查、定位和重用。本文提出了Video2STL框架，将仅包含观察的视频转换为参数化的信号时序逻辑（STL）规范，并利用这种形式化表示进行机器人学习。通过视觉-语言模型提取与实体无关的语义事件轨迹，并构建符号时间规范库，模型确定任务结构，同时从成功的机器人轨迹中确定数值谓词阈值和时间边界。实验结果表明，Video2STL在四个操作任务中实现了85.8%的平均成功率，显著优于现有方法。
🔬 方法详解
问题定义：本文旨在解决如何将视频中的信息有效转移到机器人学习中的问题。现有方法往往难以处理任务的时间结构，导致信息的检查和重用变得复杂。
核心思路：论文提出的Video2STL框架通过将观察视频转换为参数化的信号时序逻辑（STL）规范，利用这种形式化表示来指导机器人学习，从而实现信息的有效转移和重用。
技术框架：Video2STL的整体架构包括三个主要模块：首先，视觉-语言模型提取语义事件轨迹；其次，构建符号时间规范库；最后，利用成功的机器人轨迹确定数值阈值和时间边界。
关键创新：最重要的创新在于将视频信息转化为STL规范，使得任务的时间结构更加清晰可控，这与现有方法直接生成奖励代码的方式有本质区别。
关键设计：在设计中，短期和长期时间信息被分开处理，短期规范通过滚动窗口的定量鲁棒性提供密集奖励，而长期规范则通过因果监控提供一次性进度奖励。
🖼️ 关键图片
📊 实验亮点
在四个操作任务中，Video2STL实现了85.8%的平均成功率和67.0%的最终成功率，相比之下，传统的密集PPO方法的成功率为81.5%和59.5%。在四足动物的运动任务中，基于Qwen-3.8和GPT-5.6的Video2STL策略在0.3至2.1 m/s的速度范围内实现了100%的成功率，且在高速度下保持了良好的能效。
🎯 应用场景
该研究的潜在应用领域包括机器人操作、自动化控制和人机交互等。通过将视频中的行为信息有效转移到机器人控制中，Video2STL可以提升机器人在复杂环境中的自主学习能力，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
Video-based policy learning is particularly promising, as it illustrates target behaviors without requiring action annotations or embodiment-matched demonstrations. A central challenge is deciding what information should be transferred from the video to the robot. Existing approaches commonly convert visual observations into scalar similarity or value signals, or ask foundation models to directly generate reward code. These approaches can make the temporal structure of a task difficult to inspect, ground, and reuse. We present Video2STL, a framework that converts observation-only videos into parametric Signal Temporal Logic (STL) specifications and uses the resulting formal representation for robot learning. A vision-language model extracts an embodiment-independent semantic event trace and constructs a bank of symbolic temporal specifications. The model determines the task structure, while numerical predicate thresholds and temporal bounds are grounded from successful robot trajectories. For policy learning, we separate short- and long-timescale temporal information: short-horizon specifications provide dense rewards through rolling-window quantitative robustness, while a causal monitor over a retained long-horizon specification provides one-time progress rewards for valid temporal prefixes. The same representation supports cross-embodiment transfer from human or animal videos to robot control. Across four manipulation tasks, Video2STL achieves $85.8\%$ average success-once and $67.0\%$ success-at-end, compared with $81.5\%/59.5\%$ for native dense PPO and $65.0\%/42.3\%$ for Text2Reward; in quadruped locomotion, Qwen-3.8 and GPT-5.6-based Video2STL policies achieve $100\%$ success across velocities from $0.3$ to $2.1\,\mathrm{m/s}$ while remaining competitive in high-speed energy efficiency. Project webpage: \href{https://video2stl.github.io/}{video2stl}.