编者按

Motivation

• 效果：从网络旅游照片集中重建一个三维物体
  

diss之前

• NeRF：cons：需要几何、材质、光学都是静态的假设；

task：做了什么

• 本文想针对现实图片集setup进行nerf的场景重建；针对变化的光照条件与瞬态的遮挡物体组件
• 针对：光度变化
  • 不同的一天中时间、大气条件、

Overview：松弛NeRF的严格(多视角)一致性假设

每张照片单独的外观嵌入

• image-dependent appearance and illumination variations

• 但，static geometry 是 shared across all images

• 在一个学出来的低维空间建模曝光、光照、天气、后处理等；

• 利用Generative Latent Optimization，为每张照片单独最优化出来一个外观嵌入

  • 纯隐式：就是单独为每张图片存、初始化一个 latent embedding，让color额外以这个为condition（就是 直接一起拼到MLP 上），然后最优化
  • 

每张照片做瞬态component和稳态component的解耦

• allow transient objects to be jointly estimated and disentangled from a static representation of the 3D world

• 注意这里的话语：进一步==减少瞬态物体对稳态/静态物体表征的影响==

• 网络可以 identify、discount 瞬态物体的影响，从而只有稳态物体的真实渲染

static & transient

• transient 物体有自己的 density 和color，在不同照片之间vary；
• 期望颜色现在是 static 和 transient components 的 alpha 合成
  

uncertainty

• 并不认为每张照片都是相同地可以被依赖：让 transient field 额外 emit 一个 uncertainty
  • 每个观测到的像素都是 noisy 的：aleatoric
  • 这个 noise 是 input-dependent 的：heteroscedastic
• 将每个像素的颜色建模为一个 isotropic各向同性（即没有协方差）的 正太分布
  • transient network 额外以一个 image-dependent 的 latent 为 condition
  • transient network 额外输出一个 方差 field：$\beta_i(t)$
    
  • 这个方差 field 以和 $\mathbf{c}$ 相似的方式渲染到像素/射线 $\mathbf{r}$ 上
    
  • 然后用 和 uncertainty 一文中一模一样的式子来涵盖不确定性
    
    • 回顾

Optimization

• 使用COLMAP 获取每张照片的相机参数