Combining Implicit Function Learning and Parametric Models for 3D Human Reconstruction

2020-12-30 2020-12-30 约 476 字预计阅读 1 分钟

<IP-Net> Combining implicit function learning and parametric models for 3d human reconstruction

ECCV2020 Computer vision–ECCV 2020: 16th european conference, glasgow, UK, august 23–28, 2020, proceedings, part II 16

Bharat Lal Bhatnagar, Cristian Sminchisescu, Christian Theobalt, Gerard Pons-Moll

MPI, Google

parametric human body model SMPL

Motivation

keypoint 1：不是inside / outside两类区分的单层表面，而是 inside the body (R0), between the body and clothing (R1), outside the clothing (R2) 3类区分的双层表面
keypoint 2
- 隐函数类的方法可以产生任意分辨率的细节，但是一般是static的不能控制
- 建立和parametric body model (SMPL)的相关性，可以对预测出的implicit surface register注册 SMPL+D ，让预测出的implicit representation 可以控制

输入一个稀疏点云（来自有关节、不同形状、不同pose、不同clothing的人类），一个occupancy predictor估计R0,R1,R2，一个multi-class classifier 估计part label（人的14类part）
- 使用Marching Cubes从predict出的implicit functions产生mesh surface（内表面，外表面）
把IP-Net的predictions注册到SMPL人类模型
- optimization-based ，最优化SMPL的参数来fit 内表面预测 $\mathcal{S}_{in}$
- 额外利用IP-Net预测出的part-labels，来保证SMPL的不同部件的mesh能正确解释对应部件的surface区域
同样的idea还可以generalize to 3D hands