目录

目录

Deformable Neural Radiance Fields


<nerfies> Deformable neural radiance fields

Motivation

  • 为NeRF采集的图片中的物体可以变形

Overview

  • 首先从observation space加上一个变形latent code映射到canonical space,然后再canonical space下进行NeRF的操作
  • 这样通过变形latent code就可以捕捉到物体的变形
    https://longtimenohack.com/posts/paper_reading/2020arxiv_park_deformable/image-20201221094736917.png

Elastic Regularization 弹性正则化

  • 由于deformation field 引入了额外的ambiguities,导致under-constrained optimization欠约束最优化问题,带来不好的结果和artifacts
    需要引入先验
  • https://longtimenohack.com/posts/paper_reading/2020arxiv_park_deformable/image-20201221095628241.png
  • 在几何处理和图形学仿真领域,建模非刚体变形时,常常使用弹性能量elastic enegies 来建模local deformations from a rigid motion;在视觉领域也有利用elastic energy来重建、tracking非刚体的场景和物体;因此使用类似概念
  • 对本篇的deformation field T来说,一个点 \(\boldsymbol{\rm x}\) 处的mapping(从observation frame到canonical frame)的Jacobian \(\boldsymbol{\rm J}_T(\boldsymbol{\rm x})\) 描述了这个点处的mapping的best linear approximation
  • \(L_{\text{elastic}} = \| \log \boldsymbol{\Sigma} - \log \boldsymbol{\rm I} \|_F^2=\|\log \boldsymbol{\Sigma}\|_F^2\)
  • 其中,考虑把 \(\boldsymbol{\rm J}_T\) 进行singular value decomposition 奇异值分解\(\boldsymbol{\rm J}_T=\boldsymbol{\rm U}\boldsymbol{\rm \Sigma}\boldsymbol{\rm V}^T\)
  • \(\boldsymbol{\Sigma}\) 即为变形的主拉伸;
  • 选择 \(\log{\boldsymbol{\Sigma}}\) 矩阵对数是因为对于相同比例的 contractionexpansion 有相同的weight
  • 这里就是惩罚变形的拉伸部分、非刚性形变部分,鼓励局部是刚性形变