A Papier-Mâché Approach to Learning 3D Surface Generation
<AtlasNet>
A papier-mâché approach to learning 3d surface generation目录
Motivation
- represents a surface as a collection of parametric surface elements
把一个表面表征为一组parametric surface元素的集合 - 学到的一族从单位方到局部 2-流形的映射,非常类似一个surface 的 atlas 图册
- 每一个3D点最终都可以得到一个2D UV值
overview
- pointcloud基线,是把一个latent shape code输出为一组点
- 本篇方法,额外输入一个从均匀单位方内采样的2D坐标点,用其来产生surface上的一个single point
- 从点云/数据中学出这种
2-manifold
(i.e. two-dimensional manifolds,二维流形)的parameterization - 属于parametric approaches 分支
- ==这里本质上就是一个从二维均匀分布到空间二维流形分布的映射,condition on一个shape code==
- 从点云/数据中学出这种
- 很容易扩展多次,来把一个3D shape表征为几个surface 元素的联合
局部参数化表面的生成 locally parameterized surface generation
- 把surface看做一个广义的2-manifold(允许self-intersection & disjoint sets),考虑局部的参数化
consider a2-manifold
$\mathcal{S}$, a point $\boldsymbol{p} \in \mathcal{S}$, aparameterization
$\varphi$ of $\mathcal{S}$ in a local neighborhood of $\boldsymbol{p}$ - 假定这个局部参数化就是从单位方 $[0,1]^2$ 到2-manifold $\mathcal{S}{\theta}$ 的映射 $\varphi{\theta}(x)$ : $\mathcal{S}\theta=\varphi{\theta}([0,1]^2)$
让$\mathcal{S}{\theta}$去估计/近似局部2-manifold $S{loc}$ - i.e.寻找 参数 $\theta$ 来最小化目标函数 $\underset{\theta}{\min}\mathcal{L}(\mathcal{S}\theta,\mathcal{S}{loc})+\lambda\mathcal{R}(\theta)$
上式的 $\mathcal{L}$ 是两个2-manifold之间的loss,$\mathcal{R}$是参数$\theta$的正则化项;
实践中,计算的不是两个2-manifold之间的loss,而是这两个2-manifold采样出的点集的chamfer 和 earth-mover距离 - 证明了MLP+ReLU就可以产生2-manifolds
- 证明了MLP+ReLU产生的2-manifolds can be learned to 很好地近似 target 2-manifolds
用了universal representation theorum:
Approximation capabilities of multilayer feedforward networks. Neural Networks, 1991
related work: learning representations for 2-manifolds
- polygon mesh
- 建立一套3D shape和2D domain之间的连接是几何处理的一个存在已久的问题,它的应用有:texture mapping, re-meshing, shape correspondance
- 过去的方法需要input data就是parameterized;本篇直接从点云中学出这种parameterization