目录

目录

NeRF in the Wild: Neural Radiance Fields for Unconstrained Photo Collections


<NeRF-W> Nerf in the wild: Neural radiance fields for unconstrained photo collections

Review

Motivation

  • 效果:从网络旅游照片集中重建一个三维物体
    https://longtimenohack.com/posts/paper_reading/2021_martin_nerfw/image-20210721215014303.png

diss之前

  • NeRF:cons:需要几何、材质、光学都是静态的假设;

task:做了什么

  • 本文想针对现实图片集setup进行nerf的场景重建;针对变化的光照条件与瞬态的遮挡物体组件
  • 针对:光度变化
    • 不同的一天中时间、大气条件、

Overview:松弛NeRF的严格(多视角)一致性假设

https://longtimenohack.com/posts/paper_reading/2021_martin_nerfw/image-20210721210508801.png

每张照片单独的外观嵌入

  • image-dependent appearance and illumination variations

  • 但,static geometry 是 shared across all images

  • 在一个学出来的低维空间建模曝光、光照、天气、后处理等;

  • 利用Generative Latent Optimization,为每张照片单独最优化出来一个外观嵌入

    • 纯隐式:就是单独为每张图片存、初始化一个 latent embedding,让color额外以这个为condition(就是 直接一起拼到MLP 上),然后最优化
    • https://longtimenohack.com/posts/paper_reading/2021_martin_nerfw/image-20210721211730699.png

每张照片做瞬态component和稳态component的解耦

  • allow transient objects to be jointly estimated and disentangled from a static representation of the 3D world

  • 注意这里的话语:进一步==减少瞬态物体对稳态/静态物体表征的影响==

  • 网络可以 identify、discount 瞬态物体的影响,从而只有稳态物体的真实渲染

static & transient

  • transient 物体有自己的 density 和color,在不同照片之间vary;
  • 期望颜色现在是 static 和 transient components 的 alpha 合成
    https://longtimenohack.com/posts/paper_reading/2021_martin_nerfw/image-20210721212240847.png

uncertainty

  • 并不认为每张照片都是相同地可以被依赖:让 transient field 额外 emit 一个 uncertainty
    • 每个观测到的像素都是 noisy 的:aleatoric
    • 这个 noise 是 input-dependent 的:heteroscedastic
  • 将每个像素的颜色建模为一个 isotropic各向同性(即没有协方差)的 正太分布
    • transient network 额外以一个 image-dependent 的 latent 为 condition
    • transient network 额外输出一个 方差 field:\(\beta_i(t)\)
      https://longtimenohack.com/posts/paper_reading/2021_martin_nerfw/image-20210721213329006.png
    • 这个方差 field 以和 \(\mathbf{c}\) 相似的方式渲染到像素/射线 \(\mathbf{r}\)
      https://longtimenohack.com/posts/paper_reading/2021_martin_nerfw/image-20210721213651512.png
    • 然后用 和 uncertainty 一文中一模一样的式子来涵盖不确定性
      https://longtimenohack.com/posts/paper_reading/2021_martin_nerfw/image-20210721213745404.png
      • 回顾

Optimization

  • 使用COLMAP 获取每张照片的相机参数