Revisiting Reliability in the Reasoning-based Pose Estimation Benchmark

📄 arXiv: 2507.13314v1 📥 PDF

作者: Junsu Kim, Naeun Kim, Jaeho Lee, Incheol Park, Dongyoon Han, Seungryul Baek

分类: cs.CV, cs.AI

发布日期: 2025-07-17

备注: To be presented as a poster at MMFM 2025

💡 一句话要点

修正RPE基准的可靠性问题，提升基于推理的姿态估计评估质量

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 姿态估计 多模态学习 基准测试 数据修正 可靠性分析

📋 核心要点

  1. 现有的基于推理的姿态估计基准存在图像索引不匹配、标注获取困难等问题，严重影响了评估结果的可靠性和可重复性。
  2. 论文通过细致的视觉匹配，修正了基准测试中的ground-truth标注，并将其开源，从而简化了评估流程并提高了评估的准确性。
  3. 分析揭示了现有基准的图像冗余、场景不平衡、姿势过于简单等局限性，为未来基准的改进方向提供了参考。

📝 摘要（中文）

基于推理的姿态估计(RPE)基准已成为姿态感知多模态大语言模型(MLLM)的广泛采用的评估标准。尽管其重要性，我们发现严重的可重复性和基准质量问题，阻碍了公平和一致的定量评估。最值得注意的是，该基准使用的图像索引与原始3DPW数据集的不同，迫使研究人员进行繁琐且容易出错的手动匹配过程，以获得用于定量指标（例如，MPJPE，PA-MPJPE）的准确的ground-truth(GT)注释。此外，我们的分析揭示了几个固有的基准质量限制，包括显著的图像冗余、场景不平衡、过于简单的姿势和模糊的文本描述，共同破坏了跨不同场景的可靠评估。为了减轻手动工作并提高可重复性，我们通过细致的视觉匹配仔细地改进了GT注释，并将这些改进的注释作为开源资源公开发布，从而促进了一致的定量评估并促进了人体姿态感知多模态推理的未来发展。

🔬 方法详解

问题定义：论文旨在解决基于推理的姿态估计(RPE)基准中存在的可靠性问题。现有RPE基准存在以下痛点：一是图像索引与原始3DPW数据集不一致，导致研究人员需要手动匹配图像以获取准确的ground-truth标注，过程繁琐且容易出错；二是基准本身存在图像冗余、场景不平衡、姿势过于简单以及文本描述模糊等问题，影响了评估的公平性和可靠性。

核心思路：论文的核心思路是通过人工视觉匹配的方式，修正RPE基准中的ground-truth标注，解决图像索引不一致的问题。同时，通过分析基准的内在缺陷，为未来基准的改进提供方向。论文旨在提高RPE基准的可重复性和可靠性，从而促进人体姿态感知多模态推理领域的发展。

技术框架：论文主要工作集中在数据层面，没有提出新的模型或算法。其技术框架可以概括为：1) 问题识别：分析现有RPE基准的缺陷，包括图像索引不一致和基准质量问题；2) 数据修正：通过人工视觉匹配，修正ground-truth标注，解决图像索引不一致的问题；3) 数据分析：分析基准的内在缺陷，如图像冗余、场景不平衡等；4) 数据发布：将修正后的标注数据开源，供研究人员使用。

关键创新：论文的主要创新在于对现有RPE基准的可靠性问题进行了深入分析，并提供了修正后的ground-truth标注。虽然没有提出新的算法，但通过数据层面的改进，提高了基准的可用性和可靠性，为后续研究奠定了基础。与现有方法相比，该论文避免了繁琐的手动匹配过程，并提供了更准确的评估数据。

关键设计：论文的关键设计在于人工视觉匹配的过程，需要仔细比对图像内容，确保修正后的标注与原始图像对应。此外，论文还对基准的内在缺陷进行了分析，为未来基准的改进提供了参考。没有涉及具体的参数设置、损失函数或网络结构等技术细节。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过人工视觉匹配修正了RPE基准的ground-truth标注，解决了图像索引不一致的问题，提高了评估的可重复性和可靠性。分析揭示了现有基准的图像冗余、场景不平衡等问题，为未来基准的改进提供了重要参考。修正后的标注数据已开源，为研究人员提供了便利。

🎯 应用场景

该研究成果可应用于人体姿态估计、人机交互、虚拟现实、增强现实等领域。通过提供更可靠的评估基准，可以促进相关算法的开发和优化，提高人体姿态识别的准确性和鲁棒性，从而提升用户体验和应用效果。未来，该研究可以推动多模态大语言模型在姿态感知方面的应用，例如，使机器人能够更好地理解人类的意图并进行交互。

📄 摘要（原文）

The reasoning-based pose estimation (RPE) benchmark has emerged as a widely adopted evaluation standard for pose-aware multimodal large language models (MLLMs). Despite its significance, we identified critical reproducibility and benchmark-quality issues that hinder fair and consistent quantitative evaluations. Most notably, the benchmark utilizes different image indices from those of the original 3DPW dataset, forcing researchers into tedious and error-prone manual matching processes to obtain accurate ground-truth (GT) annotations for quantitative metrics (\eg, MPJPE, PA-MPJPE). Furthermore, our analysis reveals several inherent benchmark-quality limitations, including significant image redundancy, scenario imbalance, overly simplistic poses, and ambiguous textual descriptions, collectively undermining reliable evaluations across diverse scenarios. To alleviate manual effort and enhance reproducibility, we carefully refined the GT annotations through meticulous visual matching and publicly release these refined annotations as an open-source resource, thereby promoting consistent quantitative evaluations and facilitating future advancements in human pose-aware multimodal reasoning.