Motivation

• 为NeRF采集的图片中的物体可以变形

Overview

• 首先从observation space加上一个变形latent code映射到canonical space，然后再canonical space下进行NeRF的操作
• 这样通过变形latent code就可以捕捉到物体的变形
  

Elastic Regularization 弹性正则化

• 由于deformation field 引入了额外的ambiguities，导致under-constrained optimization欠约束最优化问题，带来不好的结果和artifacts
  需要引入先验
• 
• 在几何处理和图形学仿真领域，建模非刚体变形时，常常使用弹性能量elastic enegies 来建模local deformations from a rigid motion；在视觉领域也有利用elastic energy来重建、tracking非刚体的场景和物体；因此使用类似概念
• 对本篇的deformation field T来说，一个点 $\boldsymbol{\rm x}$ 处的mapping(从observation frame到canonical frame)的Jacobian $\boldsymbol{\rm J}_T(\boldsymbol{\rm x})$ 描述了这个点处的mapping的best linear approximation
• $L_{\text{elastic}} = \mid \log \boldsymbol{\Sigma} - \log \boldsymbol{\rm I} \mid_F^2=\mid\log \boldsymbol{\Sigma}\mid_F^2$
• 其中，考虑把 $\boldsymbol{\rm J}_T$ 进行singular value decomposition 奇异值分解： $\boldsymbol{\rm J}_T=\boldsymbol{\rm U}\boldsymbol{\rm \Sigma}\boldsymbol{\rm V}^T$
• 则 $\boldsymbol{\Sigma}$ 即为变形的主拉伸；
• 选择 $\log{\boldsymbol{\Sigma}}$ 矩阵对数是因为对于相同比例的 contraction和 expansion 有相同的weight
• 这里就是惩罚变形的拉伸部分、非刚性形变部分，鼓励局部是刚性形变