Iso-Points: Optimizing Neural Implicit Surfaces with Hybrid Representations
<Iso-Points>
Iso-points: Optimizing neural implicit surfaces with hybrid representations目录
Motivation
- 目前这些输入点云deep implicit field学surface的方法,optimizing时,精确、鲁棒的重建仍然非常有挑战性
- 本篇提出用等值面上的点作为一个额外的显式表征;被计算、更新on-the-fly,有效提高收敛率和最终质量
overview
- 目标:给定一个neural implicit function $f_t(\boldsymbol{\rm p};\theta_t)$ at t-th iteration,efficiently generate and utilize 一组
稠密的、均匀分布的iso-points
(points at zero level set)- 这组iso-points可以用于
- 改进training data的sampling
- 提供最优化时的regularization
- 这组iso-points可以用于
iso-surface sampling:如何得到iso-surface上均匀分布的点
- projection:projecing a point onto the iso-surface 可以被视作 在一个给定点用牛顿法估计一个方程的根
- 考虑这里和贾奎那篇analytic marching算法初始找到表面上一个点的思路是很像的
- 给定隐函数$f(\boldsymbol{\rm p}): \mathbb{R}^3\rightarrow \mathbb{R}$,初始点$\boldsymbol{\rm q}0\in\mathbb{R}^3$
牛顿法求根:$\boldsymbol{\rm q}{k+1}=\boldsymbol{\rm q}_{k}-J_f(\boldsymbol{\rm q}_k)^+ f(\boldsymbol{\rm q}_k)$, where $J_f(\boldsymbol{\rm q}_k)^+$是Jacobian的Moore-Penrose 伪逆 - $J_f$是一个row 3-vector,所以$J_f(\boldsymbol{\rm q}_k)^+ = \frac {J_f^{\top}(\boldsymbol{\rm q}_k)} {\lVert J_f(\boldsymbol{\rm q}_k) \rVert^2}$, where $J_f(\boldsymbol{\rm q}_k)$ 可以直接通过反向传播计算
- 不过,由于一些同时代的工作常采用sine activation functions或者positional encoding,SDF噪声很大,梯度高度non-smooth,直接使用牛顿法会导致overshooting和oscillation
- 当然可以用一些更精致的line search算法,不过这里直接用简单的clipping操作
- 点$\mathcal{Q}t$集合的初始化:刚开始就用一个unit sphere shape初始化,后面用$\mathcal{Q}{t-1}$初始化
- 最大10个牛顿迭代,停止阈值从$10^{-4}$逐渐缩小到$10^{-5}$
- uniform resampling
- 迭代地把点从high-density regions移开
- 这步和f没有关系了,移开的方向都是由邻居点定义的
- upsampling
- 基于
EAR
(edge-aware resampling)- Edge-aware point set resampling, SIGGRAPH Asia 2013
- 基于