Affective Shared Autonomy: Temporal Affect Dynamics and Subjective Evaluation in Bimanual Teleoperation Tasks
作者: Zhengji Liang, Guiyin Tian, Sijin Qu, Hainan Liu, Shiyan Hu
分类: cs.RO, cs.HC
发布日期: 2026-09-17
💡 一句话要点
提出情感共享自主框架以解决双手遥操作中的认知负担问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 情感感知 共享自主 遥操作 多模态融合 人机交互 认知负担 动态调节 用户体验
📋 核心要点
- 现有的共享自主遥操作方法主要依赖于任务规则，忽视了操作员的情感状态，导致认知负担和执行中断。
- 本文提出了一种情感感知的共享自主遥操作框架，通过实时估计操作员的情感状态来动态调节机器人辅助。
- 实验结果表明，该方法使操作员的有效状态提高了39.7%，并且保持了用户的自主性，具有显著的实用价值。
📝 摘要（中文）
物理遥操作将人类的认知灵活性与机器人的精确性结合，但复杂的操作任务常常导致认知负担、挫败感和执行中断。传统的共享自主方法主要依赖于基于任务的规则，忽视了操作员的瞬时情感状态，可能导致控制干预的不一致。为了解决这一问题，本文提出了一种情感感知的共享自主遥操作框架，能够根据实时的操作员状态估计动态调节机器人辅助。该系统通过同步的面部视频、心脏信号和双臂运动学来估计操作员的情感状态，输出七种情感分布和三类操作抽象（中性、有效、有害）。当用户处于持续的有害状态时，情感感知的辅助会被选择性触发，从而保持任务积极参与而不造成不必要的干扰。实证研究（N=30）确认，该情感辅助使有效状态提高了39.7%，且未损害用户的自主性。
🔬 方法详解
问题定义：本文旨在解决传统共享自主遥操作中对操作员情感状态忽视的问题，导致认知负担和执行中断的挑战。现有方法主要依赖于任务规则，无法适应操作员的瞬时情感变化。
核心思路：提出一种情感感知的共享自主遥操作框架，通过实时监测操作员的情感状态，动态调整机器人辅助，以提高操作效率和用户体验。
技术框架：该框架包括三个主要模块：情感状态估计模块（通过面部视频、心脏信号和运动学数据获取情感状态）、情感辅助触发模块（根据情感状态动态调节机器人辅助）和用户反馈模块（收集用户体验和反馈）。
关键创新：最重要的创新在于引入情感感知机制，使机器人能够根据操作员的情感状态进行智能调整，区别于传统的基于任务的规则。
关键设计：在技术细节上，使用了多模态数据融合技术，设计了七种情感状态的分类模型，并通过实验验证了模型在情感状态动态跟踪中的有效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，情感感知的辅助机制使操作员的有效状态提高了39.7%，并且在保持用户自主性的同时，显著改善了操作体验。与零样本基线模型（如Qwen和MiniCPM-V）相比，提出的多模态融合模型在情感状态动态跟踪上表现更优。
🎯 应用场景
该研究的潜在应用领域包括远程医疗、灾难救援和工业自动化等场景，能够有效提升人机交互的效率和安全性。未来，该框架可扩展至更多复杂的操作任务，推动情感智能在机器人领域的应用。
📄 摘要（原文）
Physical teleoperation integrates human cognitive flexibility with robotic precision, yet demanding manipulation tasks frequently induce severe cognitive workload, acute frustration, and execution breakdown. Conventional shared autonomy paradigms rely primarily on task-based rules, such as spatial error boundaries, which disregard the operator's transient affective state and risk misaligned control interventions. To address this limitation, we propose an affect-aware shared autonomy teleoperation framework that dynamically modulates robotic assistance based on real-time operator state estimation. The system estimates operator affective states from synchronized facial video, cardiac signals, and bilateral arm kinematics, outputting a seven-state affective distribution and a three-category operational abstraction (neutral, productive, adverse). Affect-aware assistance is selectively triggered when the user is detected in a continuous adverse state, preserving task-positive engagement without unnecessary disruption. The empirical user study ($N = 30$) confirms that the proposed affective assistance increases the productive states by up to 39.7% without compromising user agency. The collected dataset represents the first multimodal dataset that provides continuous visual, physiological, and operator's bilateral motion tracking of temporal affective state shifts during bimanual teleoperation. Our multimodal fusion model outperforms zero-shot baselines (Qwen, MiniCPM-V) in tracking temporal state dynamics. This real-world deployment offers a new human-centric framework that integrates visual, physiological, and motion tracking for physical human-robot interaction.