Meta-Learned Adaptive Optimization for Robust Human Mesh Recovery with Uncertainty-Aware Parameter Updates
作者: Shaurjya Mandal, Nutan Sharma, John Galeotti
分类: cs.CV, cs.LG
发布日期: 2026-03-27
💡 一句话要点
提出基于元学习的自适应优化方法，提升人体网格重建的鲁棒性。
🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)
关键词: 人体网格重建 元学习 自适应优化 不确定性估计 单图像重建
📋 核心要点
- 现有单图像人体网格重建方法在深度模糊和跨域泛化方面存在不足，测试时优化初始化不良，参数更新效率低。
- 提出一种基于元学习的自适应优化框架，学习优化友好的初始化，并结合不确定性感知的参数更新，提升重建精度和鲁棒性。
- 实验表明，该方法在3DPW和Human3.6M数据集上取得了SOTA性能，MPJPE分别降低10.3和8.0，并具有良好的领域自适应能力。
📝 摘要（中文）
单图像人体网格重建面临深度模糊和跨域泛化挑战。现有方法结合回归和优化，但测试时优化初始化不良且参数更新效率低。本文提出一种新颖的元学习框架，训练模型以产生优化友好的初始化，并在测试时细化过程中结合不确定性感知的自适应更新。该方法包含三个创新点：(1) 元学习策略，模拟测试时优化以学习更好的参数初始化；(2) 选择性参数缓存机制，识别并冻结已收敛的关节以减少计算开销；(3) 基于分布的自适应更新，从学习的分布中采样参数变化，实现鲁棒探索并量化不确定性。此外，采用随机逼近技术处理复杂损失函数中难以处理的梯度。在标准基准测试中，该方法取得了最先进的性能，在3DPW上MPJPE降低10.3，在Human3.6M上降低8.0。该方法展示了卓越的领域自适应能力，在不同环境条件下性能下降最小，并提供了与实际预测误差相关的有意义的不确定性估计。元学习和自适应优化的结合实现了精确的网格重建和对挑战性场景的鲁棒泛化。
🔬 方法详解
问题定义：本文旨在解决单图像人体网格重建中，由于深度模糊性和领域泛化性差导致的重建精度低、鲁棒性差的问题。现有方法通常结合回归和优化，但存在两个主要痛点：一是测试时优化过程的初始化不良，导致收敛速度慢甚至陷入局部最优；二是参数更新策略效率低下，无法有效利用数据中的信息。
核心思路：本文的核心思路是利用元学习来学习一个好的初始化策略和一个自适应的参数更新策略。通过在训练阶段模拟测试时的优化过程，使模型能够学习到对优化过程友好的初始化参数。同时，通过学习参数更新的分布，实现对参数空间的鲁棒探索，并量化预测的不确定性。
技术框架：整体框架包含三个主要模块：(1) 元学习初始化模块：利用元学习策略，在训练阶段模拟测试时的优化过程，学习一个好的初始化参数。(2) 选择性参数缓存模块：在优化过程中，识别并冻结已经收敛的关节参数，减少计算开销。(3) 分布式自适应更新模块：学习参数更新的分布，从该分布中采样参数更新量，实现对参数空间的鲁棒探索，并量化预测的不确定性。
关键创新：本文的关键创新在于将元学习和自适应优化相结合，用于人体网格重建。与现有方法相比，本文的方法能够学习到更好的初始化参数和更有效的参数更新策略，从而提高重建精度和鲁棒性。此外，本文还引入了选择性参数缓存机制，进一步提高了计算效率。
关键设计：在元学习初始化模块中，使用双层优化结构，内层模拟测试时的优化过程，外层优化初始化参数。在分布式自适应更新模块中，使用高斯分布对参数更新量进行建模，并通过学习高斯分布的均值和方差来控制参数更新的方向和幅度。损失函数包括重建损失、正则化损失和不确定性损失。此外，为了处理复杂损失函数中难以处理的梯度，采用了随机逼近技术。
🖼️ 关键图片
📊 实验亮点
该方法在3DPW和Human3.6M数据集上取得了显著的性能提升。在3DPW数据集上，MPJPE降低了10.3，在Human3.6M数据集上，MPJPE降低了8.0。此外，该方法还展示了良好的领域自适应能力，在不同环境条件下性能下降最小，并提供了与实际预测误差相关的有意义的不确定性估计。
🎯 应用场景
该研究成果可应用于虚拟现实、增强现实、人机交互、运动分析、游戏等领域。通过精确的人体网格重建，可以实现更自然、更逼真的人机交互体验，并为运动分析提供更准确的数据支持。未来，该技术有望应用于智能监控、自动驾驶等更广泛的领域。
📄 摘要（原文）
Human mesh recovery from single images remains challenging due to inherent depth ambiguity and limited generalization across domains. While recent methods combine regression and optimization approaches, they struggle with poor initialization for test-time refinement and inefficient parameter updates during optimization. We propose a novel meta-learning framework that trains models to produce optimization-friendly initializations while incorporating uncertainty-aware adaptive updates during test-time refinement. Our approach introduces three key innovations: (1) a meta-learning strategy that simulates test-time optimization during training to learn better parameter initializations, (2) a selective parameter caching mechanism that identifies and freezes converged joints to reduce computational overhead, and (3) distribution-based adaptive updates that sample parameter changes from learned distributions, enabling robust exploration while quantifying uncertainty. Additionally, we employ stochastic approximation techniques to handle intractable gradients in complex loss landscapes. Extensive experiments on standard benchmarks demonstrate that our method achieves state-of-the-art performance, reducing MPJPE by 10.3 on 3DPW and 8.0 on Human3.6M compared to strong baselines. Our approach shows superior domain adaptation capabilities with minimal performance degradation across different environmental conditions, while providing meaningful uncertainty estimates that correlate with actual prediction errors. Combining meta-learning and adaptive optimization enables accurate mesh recovery and robust generalization to challenging scenarios.