When the Inference Meets the Explicitness or Why Multimodality Can Make Us Forget About the Perfect Predictor
作者: J. E. Domínguez-Vidal, Alberto Sanfeliu
分类: cs.RO, cs.AI
发布日期: 2026-02-21
备注: Original version submitted to the International Journal of Social Robotics. Final version available on the SORO website
DOI: 10.1007/s12369-025-01303-9
💡 一句话要点
多模态融合提升人机协作体验：显式沟通优于完美预测器
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 人机协作 意图预测 显式沟通 多模态融合 机器人控制
📋 核心要点
- 现有预测模型难以应对人类行为的随机性，导致人机协作效率受限。
- 研究探索了显式沟通与意图预测相结合的方法，旨在提升人机协作的自然性和效率。
- 实验表明，结合意图预测和显式沟通能显著提升人机协作体验，优于单纯依赖预测。
📝 摘要（中文）
本文探讨了人机协作物体运输任务中，不同沟通方式对协作效果的影响。针对人类行为的随机性导致预测模型不确定性的问题，研究对比了两种意图预测器（基于力预测和增强型速度预测算法）和两种显式沟通方法（按钮界面和语音命令识别系统）。这些系统集成到名为IVO的移动社交机器人上，该机器人配备力传感器和激光雷达。实验要求志愿者与机器人协作运输物体，并测试了单独使用预测器、单独使用沟通系统以及两者结合的策略。结果表明，当预测性能达到一定水平后，人类不再关注技术改进；人类更喜欢更自然的沟通方式，即使其失败率较高；最佳方案是结合预测和沟通系统。
🔬 方法详解
问题定义：论文旨在解决人机协作中，由于人类行为的不可预测性，导致机器人难以准确理解人类意图，从而影响协作效率和用户体验的问题。现有方法主要依赖于预测模型，但这些模型难以完美预测人类行为，尤其是在需要快速决策和精确物理协调的场景下。
核心思路：论文的核心思路是结合意图预测和显式沟通两种方式。意图预测可以帮助机器人初步理解人类意图，而显式沟通则可以弥补预测的不足，确保机器人能够准确理解人类的真实意图。通过融合这两种方式，可以提高人机协作的效率和自然性。
技术框架：整体框架包含三个主要阶段：1) 意图预测阶段：机器人通过力传感器和激光雷达获取环境和人类行为信息，并使用力预测或增强型速度预测算法来预测人类意图。2) 显式沟通阶段：如果意图预测的置信度较低，或者机器人需要确认人类意图，则通过按钮界面或语音命令系统与人类进行显式沟通。3) 协作执行阶段：机器人根据预测的意图和显式沟通的结果，与人类协作完成物体运输任务。
关键创新：论文的关键创新在于提出了将意图预测和显式沟通相结合的人机协作方法。与传统方法相比，该方法能够更好地应对人类行为的不可预测性，提高人机协作的鲁棒性和效率。此外，论文还对比了不同类型的意图预测器和显式沟通方式，为实际应用提供了参考。
关键设计：论文中，力预测器和增强型速度预测算法的具体实现细节未知。显式沟通方面，按钮界面和语音命令识别系统的具体技术细节也未知。论文重点在于对比不同沟通方式对协作效果的影响，而非具体算法的优化。
🖼️ 关键图片
📊 实验亮点
实验结果表明，当预测性能达到一定水平后，人类不再关注技术改进，更倾向于使用更自然的沟通方式，即使这些方式的失败率较高。最佳方案是将意图预测和显式沟通相结合，从而在效率和自然性之间取得平衡。具体性能数据未知，但研究强调了用户体验的重要性。
🎯 应用场景
该研究成果可应用于各种人机协作场景，例如：智能制造、医疗康复、家庭服务等。通过结合意图预测和显式沟通，可以使机器人更好地理解人类意图，从而实现更高效、更自然的协作。未来，该研究可以进一步扩展到更复杂的任务和更广泛的应用领域，例如：多机器人协作、人机混合团队等。
📄 摘要（原文）
Although in the literature it is common to find predictors and inference systems that try to predict human intentions, the uncertainty of these models due to the randomness of human behavior has led some authors to start advocating the use of communication systems that explicitly elicit human intention. In this work, it is analyzed the use of four different communication systems with a human-robot collaborative object transportation task as experimental testbed: two intention predictors (one based on force prediction and another with an enhanced velocity prediction algorithm) and two explicit communication methods (a button interface and a voice-command recognition system). These systems were integrated into IVO, a custom mobile social robot equipped with force sensor to detect the force exchange between both agents and LiDAR to detect the environment. The collaborative task required transporting an object over a 5-7 meter distance with obstacles in the middle, demanding rapid decisions and precise physical coordination. 75 volunteers perform a total of 255 executions divided into three groups, testing inference systems in the first round, communication systems in the second, and the combined strategies in the third. The results show that, 1) once sufficient performance is achieved, the human no longer notices and positively assesses technical improvements; 2) the human prefers systems that are more natural to them even though they have higher failure rates; and 3) the preferred option is the right combination of both systems.