Incorporating Test-Time Optimization into Training with Dual Networks for Human Mesh Recovery

📄 arXiv: 2401.14121v2 📥 PDF

作者: Yongwei Nie, Mingxian Fan, Chengjiang Long, Qing Zhang, Jian Zhu, Xuemiao Xu

分类: cs.CV

发布日期: 2024-01-25 (更新: 2024-10-30)

🔗 代码/项目: GITHUB

💡 一句话要点

提出双网络架构以优化人类网格恢复的测试时间性能

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)

关键词: 人类网格恢复 测试时优化 双网络架构 元学习 计算机视觉 3D重建

📋 核心要点

  1. 现有的人类网格恢复方法在测试时优化过程中，预训练模型的起始点往往不理想，影响最终效果。
  2. 本文提出了一种将测试时优化融入训练的双网络架构，旨在提高模型在测试时的优化性能。
  3. 实验结果显示，所提方法在HMR精度上超越了当前最先进的回归和优化方法，验证了其有效性。

📝 摘要（中文）

人类网格恢复（HMR）是从图像中估计参数化3D人类网格的任务。现有方法通常先训练回归模型，然后在测试时对每个样本进行单独优化。然而，预训练模型可能无法为测试时优化提供理想的起始点。本文受元学习启发，将测试时优化融入训练过程中，为每个训练批次中的样本执行测试时优化步骤，从而获得友好的元参数。通过双网络架构统一训练和测试目标，实验结果表明，所提方法在HMR精度上显著优于现有的回归和优化方法。

🔬 方法详解

问题定义：本文解决的是人类网格恢复任务中，现有方法在测试时优化效果不佳的问题。预训练模型的起始点往往无法满足测试时的优化需求，导致性能下降。

核心思路：通过将测试时优化融入训练过程，针对每个训练样本进行测试时优化步骤，生成一个适合后续测试时优化的元模型。这样设计的目的是为了提升模型在实际应用中的适应性和准确性。

技术框架：整体架构包括两个主要部分：训练阶段和测试阶段。在训练阶段，模型首先进行测试时优化，然后再进行全局训练优化；在测试阶段，从元参数出发进行多次测试时优化。

关键创新：最重要的创新点在于提出了双网络架构，统一了训练时和测试时的目标，解决了测试时目标与训练时目标不一致的问题。这一设计与现有方法的本质区别在于其优化过程的灵活性和适应性。

关键设计：在参数设置上，采用了适应性学习率和特定的损失函数，以确保模型在训练和测试阶段的有效性。网络结构方面，双网络架构通过共享参数和独立优化来实现目标的一致性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提方法在HMR任务上相较于最先进的回归和优化方法，精度提升显著，具体提升幅度达到XX%。通过多次测试时优化，模型在实际应用中的表现更加优越，验证了双网络架构的有效性。

🎯 应用场景

该研究在计算机视觉和人机交互领域具有广泛的应用潜力，特别是在虚拟现实、增强现实和动画制作中。通过提高人类网格恢复的准确性，可以为这些领域提供更自然和真实的用户体验，推动相关技术的发展和应用。未来，该方法还可能扩展到其他需要实时3D重建的场景中。

📄 摘要（原文）

Human Mesh Recovery (HMR) is the task of estimating a parameterized 3D human mesh from an image. There is a kind of methods first training a regression model for this problem, then further optimizing the pretrained regression model for any specific sample individually at test time. However, the pretrained model may not provide an ideal optimization starting point for the test-time optimization. Inspired by meta-learning, we incorporate the test-time optimization into training, performing a step of test-time optimization for each sample in the training batch before really conducting the training optimization over all the training samples. In this way, we obtain a meta-model, the meta-parameter of which is friendly to the test-time optimization. At test time, after several test-time optimization steps starting from the meta-parameter, we obtain much higher HMR accuracy than the test-time optimization starting from the simply pretrained regression model. Furthermore, we find test-time HMR objectives are different from training-time objectives, which reduces the effectiveness of the learning of the meta-model. To solve this problem, we propose a dual-network architecture that unifies the training-time and test-time objectives. Our method, armed with meta-learning and the dual networks, outperforms state-of-the-art regression-based and optimization-based HMR approaches, as validated by the extensive experiments. The codes are available at https://github.com/fmx789/Meta-HMR.