目录

目录

Survey: nerf + light/illumination/reflectance/etc.


Preliminaries

众所周知,NeRF 使用的是 volume graphics 中的 emission-absorption 模型,换句话说,在 nerf 的设定下,场景、物体都是自发光、自吸收光的粒子云, 完全没有环境光照的影响。即,nerf 虽然能够很好地建模 view-dependent 效应,但是这种效应是 baked-in 物体的,并不能迁移到新的光照设定、新的姿态、新的环境中。

但是这并没有关系。

  1. volume graphics 中本身就有很多考虑 local illuminationglobal illumination
  2. 另外,随着 UNISURF, NeuS 等文章的出现,对 nerf 表征应用 surface graphics 中常见的 蒙特卡洛光照 甚至 PBR 等模型也存在着潜力与可能。
  3. 另外, nerf 成功的最关键因素还是 implicit 3D model 来表达 volume graphics 中的 radiance field,那么当然也可以试图利用 implicit 3D model 来表达形状、材质、BRDF 函数等,表达现在更常见的 surface graphics 中的种种模型,也许有望从 neural 的路径实现 可微分渲染。

Methods

<NeRF-W> Nerf in the wild: Neural radiance fields for unconstrained photo collections
 

Review

Motivation

  • 效果:从网络旅游照片集中重建一个三维物体
    https://longtimenohack.com/posts/paper_reading/2021_martin_nerfw/image-20210721215014303.png

diss之前

  • NeRF:cons:需要几何、材质、光学都是静态的假设;

task:做了什么

  • 本文想针对现实图片集setup进行nerf的场景重建;针对变化的光照条件与瞬态的遮挡物体组件
  • 针对:光度变化
    • 不同的一天中时间、大气条件、

Overview:松弛NeRF的严格(多视角)一致性假设

https://longtimenohack.com/posts/paper_reading/2021_martin_nerfw/image-20210721210508801.png

每张照片单独的外观嵌入

  • image-dependent appearance and illumination variations

  • 但,static geometry 是 shared across all images

  • 在一个学出来的低维空间建模曝光、光照、天气、后处理等;

  • 利用Generative Latent Optimization,为每张照片单独最优化出来一个外观嵌入

    • 纯隐式:就是单独为每张图片存、初始化一个 latent embedding,让color额外以这个为condition(就是 直接一起拼到MLP 上),然后最优化
    • https://longtimenohack.com/posts/paper_reading/2021_martin_nerfw/image-20210721211730699.png

每张照片做瞬态component和稳态component的解耦

  • allow transient objects to be jointly estimated and disentangled from a static representation of the 3D world

  • 注意这里的话语:进一步==减少瞬态物体对稳态/静态物体表征的影响==

  • 网络可以 identify、discount 瞬态物体的影响,从而只有稳态物体的真实渲染

static & transient

  • transient 物体有自己的 density 和color,在不同照片之间vary;
  • 期望颜色现在是 static 和 transient components 的 alpha 合成
    https://longtimenohack.com/posts/paper_reading/2021_martin_nerfw/image-20210721212240847.png

uncertainty

  • 并不认为每张照片都是相同地可以被依赖:让 transient field 额外 emit 一个 uncertainty
    • 每个观测到的像素都是 noisy 的:aleatoric
    • 这个 noise 是 input-dependent 的:heteroscedastic
  • 将每个像素的颜色建模为一个 isotropic各向同性(即没有协方差)的 正太分布
    • transient network 额外以一个 image-dependent 的 latent 为 condition
    • transient network 额外输出一个 方差 field:$\beta_i(t)$
      https://longtimenohack.com/posts/paper_reading/2021_martin_nerfw/image-20210721213329006.png
    • 这个方差 field 以和 $\mathbf{c}$ 相似的方式渲染到像素/射线 $\mathbf{r}$ 上
      https://longtimenohack.com/posts/paper_reading/2021_martin_nerfw/image-20210721213651512.png
    • 然后用 和 uncertainty 一文中一模一样的式子来涵盖不确定性
      https://longtimenohack.com/posts/paper_reading/2021_martin_nerfw/image-20210721213745404.png
      • 回顾

Optimization

  • 使用COLMAP 获取每张照片的相机参数
Neural reflectance fields for appearance acquisition
 
目录
<NeRV> Nerv: Neural reflectance and visibility fields for relighting and view synthesis
 
目录
<NeRD> NeRD: Neural reflectance decomposition from image collections
 
目录