SocialVLA: A Social Perception Gateway for Human-Reaction-Based Failure Detection and Recovery in VLA Manipulation

📄 arXiv: 2610.02360v1 📥 PDF

作者: Sofya Konstantinova, Miguel Altamirano Cabrera, Artem Lykov, Dzmitry Tsetserukou

分类: cs.RO

发布日期: 2026-10-01

💡 一句话要点

提出SocialVLA以解决VLA操作中的失败检测与恢复问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 社会感知 机器人操作 实时干预 多模态融合

📋 核心要点

  1. 现有的VLA策略在执行过程中难以识别自身错误，导致操作失败，缺乏有效的干预机制。
  2. SocialVLA通过将人类的自发反应转化为干预信号，提供了一种实时的错误检测与恢复方法，增强了机器人操作的可靠性。
  3. 实验结果显示，SocialVLA在干预召回率和精度上显著提升，尤其在未见参与者的测试中表现优异，验证了其有效性。

📝 摘要（中文）

视觉-语言-动作（VLA）策略在机器人操作中具有多样性，但在执行过程中可能因未能识别自身错误而失败。人类观察者提供了补充信号，因为意外的机器人行为可以在失败完成之前触发快速的声音、面部或语言反应。我们提出了SocialVLA，这是一种局部的、与策略无关的社会感知网关，将自发的人类反应转化为VLA操作的运行时干预信号。SocialVLA结合了因果的副语言音频检测、视觉反应识别、明确的停止短语和机器人相关性估计。我们在物理Unitree G1操作上对SocialVLA进行了评估，结果显示该系统在未见参与者上的表现良好，证明了从自发社会反应到物理VLA中断和参与者导向恢复的完整本地路径。

🔬 方法详解

问题定义：本论文旨在解决VLA操作中机器人无法识别自身错误的问题，现有方法缺乏有效的实时干预机制，导致操作失败时无法及时恢复。

核心思路：SocialVLA的核心思路是利用人类观察者的自发反应作为干预信号，通过多模态感知技术实现对机器人操作的实时监控和干预。

技术框架：SocialVLA的整体架构包括因果音频检测、视觉反应识别、明确的停止短语识别和机器人相关性估计等模块，采用异步的首次事件融合机制来触发VLA的暂停。

关键创新：最重要的技术创新在于将人类的非语言和语言反应结合起来，形成一个政策无关的社交感知网关，显著提高了干预的及时性和准确性。

关键设计：在设计上，采用了异步事件融合机制，确保从最早的自信信号触发VLA的暂停，同时设置了专门的语音通道来捕捉参与者的口头纠正指令。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，SocialVLA在物理Unitree G1操作中，冻结系统在未见参与者上的召回率达到59.5%，精度达到91.7%。此外，通过相关性估计，错误停止事件从100减少到57，精度从60.5%提升至69.8%。

🎯 应用场景

该研究的潜在应用领域包括服务机器人、工业自动化和人机协作等场景。通过增强机器人对人类反应的理解能力，SocialVLA能够提高机器人在复杂环境中的操作安全性和可靠性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Vision-language-action (VLA) policies enable diverse robotic manipulation but can fail during execution without recognizing their own errors. Human observers provide complementary signals, as unexpected robot behavior can trigger rapid vocal, facial, or verbal reactions before failure is completed. We introduce SocialVLA, a local, policy-agnostic social perception gateway that converts spontaneous human reactions into runtime intervention signals for VLA manipulation. SocialVLA combines causal paralinguistic audio detection, visual reaction recognition, explicit stop phrases, and robot-relevance estimation. An asynchronous first-event fusion mechanism triggers a VLA hold from the earliest sufficiently confident signal, while a separate speech channel captures verbal corrections for participant-directed continuation, restart, or instruction revision. We evaluate SocialVLA on physical Unitree G1 manipulation using 15 participants, with 238 annotated intervention-worthy episodes and 1.038 h of non-intervention behavior. Frozen offline replay achieves 54.6% recall and 69.5% precision, while unfiltered audio-video fusion reaches 64.3% recall. Relevance estimation reduces false-stop episodes from 100 to 57 and increases precision from 60.5% to 69.8%. In prospective deployment on an unseen 16th participant, the frozen system achieves 59.5% recall and 91.7% precision. Median detector-to-fusion latency is 47.9 ms, VLA-gate-to-physical-hold latency is 336 ms, and reaction-onset-to-hold latency is 1.021 s. These results demonstrate a complete local pathway from spontaneous social reaction to physical VLA interruption and participant-directed recovery.