A Papier-Mâché Approach to Learning 3D Surface Generation
<AtlasNet>
A papier-mâché approach to learning 3d surface generation目录
Motivation
- represents a surface as a collection of parametric surface elements
把一个表面表征为一组parametric surface元素的集合 - 学到的一族从单位方到局部 2-流形的映射,非常类似一个surface 的 atlas 图册
- 每一个3D点最终都可以得到一个2D UV值
overview
- pointcloud基线,是把一个latent shape code输出为一组点
- 本篇方法,额外输入一个从均匀单位方内采样的2D坐标点,用其来产生surface上的一个single point
- 从点云/数据中学出这种
2-manifold
(i.e. two-dimensional manifolds,二维流形)的parameterization - 属于parametric approaches 分支
- ==这里本质上就是一个从二维均匀分布到空间二维流形分布的映射,condition on一个shape code==
- 从点云/数据中学出这种
- 很容易扩展多次,来把一个3D shape表征为几个surface 元素的联合
局部参数化表面的生成 locally parameterized surface generation
- 把surface看做一个广义的2-manifold(允许self-intersection & disjoint sets),考虑局部的参数化
consider a2-manifold
\(\mathcal{S}\), a point \(\boldsymbol{p} \in \mathcal{S}\), aparameterization
\(\varphi\) of \(\mathcal{S}\) in a local neighborhood of \(\boldsymbol{p}\) - 假定这个局部参数化就是从单位方 \([0,1]^2\) 到2-manifold \(\mathcal{S}_{\theta}\) 的映射 \(\varphi_{\theta}(x)\) : \(\mathcal{S}_\theta=\varphi_{\theta}([0,1]^2)\)
让\(\mathcal{S}_{\theta}\)去估计/近似局部2-manifold \(S_{loc}\) - i.e.寻找 参数 \(\theta\) 来最小化目标函数 \(\underset{\theta}{\min}\mathcal{L}(\mathcal{S}_\theta,\mathcal{S}_{loc})+\lambda\mathcal{R}(\theta)\)
上式的 \(\mathcal{L}\) 是两个2-manifold之间的loss,\(\mathcal{R}\)是参数\(\theta\)的正则化项;
实践中,计算的不是两个2-manifold之间的loss,而是这两个2-manifold采样出的点集的chamfer 和 earth-mover距离 - 证明了MLP+ReLU就可以产生2-manifolds
- 证明了MLP+ReLU产生的2-manifolds can be learned to 很好地近似 target 2-manifolds
用了universal representation theorum:
Approximation capabilities of multilayer feedforward networks. Neural Networks, 1991
related work: learning representations for 2-manifolds
- polygon mesh
- 建立一套3D shape和2D domain之间的连接是几何处理的一个存在已久的问题,它的应用有:texture mapping, re-meshing, shape correspondance
- 过去的方法需要input data就是parameterized;本篇直接从点云中学出这种parameterization