Fixed-Reference Pose Residuals for Measuring Cross-Dataset Cue Transfer in Human-Robot Interaction Anticipation
作者: Bowen Yang, Xinliang Xiao, Wenjing Zhang, Li Yang, Wei Zhou
分类: cs.RO
发布日期: 2026-10-08
备注: 20 pages, 5 figures, 1 table. Supplementary material available as an ancillary file
🔗 代码/项目: GITHUB
💡 一句话要点
提出固定参考姿态残差模型以解决人机交互预测问题
🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)
关键词: 人机交互 姿态预测 几何模型 跨数据集 机器人学习 深度学习
📋 核心要点
- 现有方法在跨机器人和跨数据集的人机交互预测中存在性能不稳定的问题，尤其是线索的有效性尚不明确。
- 本文提出的FRPR模型通过冻结几何预测器并引入姿态修正，旨在提高跨数据集的人机交互预测精度。
- 实验结果显示，姿态修正将平均精度从0.277提升至0.321，且在不同数据集间的表现存在明显的非对称性。
📝 摘要（中文）
公共场所的社交和服务机器人需要预测接近的人员，以便在接触前做好响应准备。然而，当一个机器人训练的模型应用于另一个机器人时，支持这种预测的线索尚不明确。本文提出了一种固定参考姿态残差（FRPR）模型，通过冻结几何预测器并利用时间网络从身体姿态学习附加修正，从而将每个预测分为几何项和姿态项。实验表明，在不同数据集之间，姿态修正显著提高了平均精度（AP），但冻结模型并未优于联合训练，简单的几何基线和树集成仍具竞争力。
🔬 方法详解
问题定义：本文旨在解决在不同机器人和数据集间进行人机交互预测时，模型性能不稳定和线索有效性未知的问题。现有方法在跨数据集应用时，预测准确性受到限制。
核心思路：论文提出的FRPR模型通过冻结几何预测器，并利用时间网络从身体姿态学习附加修正，以此将每个预测分为几何项和姿态项，从而提高预测的准确性和稳定性。
技术框架：该模型的整体架构包括两个主要模块：固定的几何预测器和动态的时间网络。几何预测器负责从人员的边界框和掩膜中提取几何信息，而时间网络则根据身体姿态进行修正。
关键创新：FRPR模型的创新在于将几何预测和姿态修正分开处理，使得模型在不同数据集间的适应性更强，且能够量化不同线索对预测的贡献。
关键设计：在模型设计中，采用了特定的损失函数来平衡几何项和姿态项的贡献，同时在训练过程中冻结几何预测器以避免过拟合。实验中还引入了头部朝向残差，以进一步提升模型的性能。
🖼️ 关键图片
📊 实验亮点
实验结果显示，姿态修正将平均精度（AP）从0.277提升至0.321，且在不同数据集间的表现存在明显的非对称性。冻结模型并未优于联合训练，简单的几何基线和树集成仍具竞争力，显示出该模型在测量而非预测准确性方面的价值。
🎯 应用场景
该研究的潜在应用领域包括社交机器人、服务机器人以及人机交互系统等。通过提高机器人对周围环境的预测能力，可以增强人机交互的自然性和安全性，未来可能在公共服务、医疗辅助等场景中发挥重要作用。
📄 摘要（原文）
Social and service robots in public spaces need to anticipate which nearby person is about to approach and touch them, so that a response can be prepared before contact. It is largely unknown which cues support this anticipation when a model trained with one robot is used on another robot at a different site. We study this question with a fixed-reference pose residual (FRPR) model: a geometry predictor built from the person's bounding box and mask is trained and frozen, and a temporal network then learns from body pose an additive correction to its logit, so that every prediction splits exactly into a geometry term and a pose term. Between two public egocentric datasets recorded by different robots, HUI360 and SSUP-A, with every choice made on source data, the pose correction raised average precision (AP) from 0.277 to 0.321 from SSUP-A to HUI360 and gave no measurable gain in the opposite direction; the same asymmetry held over a stronger, source-selected geometry reference. Freezing gave no AP advantage over joint training, and simple geometric baselines and tree ensembles remained competitive or better, so the construction serves measurement rather than prediction accuracy. A head-orientation residual added small gains in both directions. Post hoc, whether a person faces the camera kept its discriminative direction across datasets, whereas head pitch reversed. With thresholds chosen on source data, the neural models that use geometry detected at most 17% of target interactions. Code and processed data are available at https://github.com/WeiZhou96/FRPR-interaction-anticipation.