Survey: nerf + light/illumination/reflectance/etc.

2020-10-28 2020-10-28 约 1296 字预计阅读 3 分钟

Preliminaries

众所周知，NeRF 使用的是 volume graphics 中的 emission-absorption 模型，换句话说，在 nerf 的设定下，场景、物体都是自发光、自吸收光的粒子云，完全没有环境光照的影响。即，nerf 虽然能够很好地建模 view-dependent 效应，但是这种效应是 baked-in 物体的，并不能迁移到新的光照设定、新的姿态、新的环境中。

但是这并没有关系。

在 volume graphics 中本身就有很多考虑 local illumination 或 global illumination
另外，随着 UNISURF, NeuS 等文章的出现，对 nerf 表征应用 surface graphics 中常见的 蒙特卡洛光照 甚至 PBR 等模型也存在着潜力与可能。
另外， nerf 成功的最关键因素还是 implicit 3D model 来表达 volume graphics 中的 radiance field，那么当然也可以试图利用 implicit 3D model 来表达形状、材质、BRDF 函数等，表达现在更常见的 surface graphics 中的种种模型，也许有望从 neural 的路径实现可微分渲染。

Methods

<NeRF-W> Nerf in the wild: Neural radiance fields for unconstrained photo collections

CVPR2021 Proceedings of the IEEE/CVF conference on computer vision and pattern recognition

Ricardo Martin-Brualla, Noha Radwan, Mehdi SM Sajjadi, Jonathan T Barron, Alexey Dosovitskiy, Daniel Duckworth

Google

variable illumination, transient components/occluders

Preprint Code Project

Review

Motivation

效果：从网络旅游照片集中重建一个三维物体

diss之前

NeRF：cons：需要几何、材质、光学都是静态的假设；

task：做了什么

本文想针对现实图片集setup进行nerf的场景重建；针对变化的光照条件与瞬态的遮挡物体组件
针对：光度变化
- 不同的一天中时间、大气条件、

Overview：松弛NeRF的严格(多视角)一致性假设

每张照片单独的外观嵌入

image-dependent appearance and illumination variations
但，static geometry 是 shared across all images
在一个学出来的低维空间建模曝光、光照、天气、后处理等；
利用Generative Latent Optimization，为每张照片单独最优化出来一个外观嵌入
- 纯隐式：就是单独为每张图片存、初始化一个 latent embedding，让color额外以这个为condition（就是 直接一起拼到MLP 上），然后最优化

每张照片做瞬态component和稳态component的解耦

allow transient objects to be jointly estimated and disentangled from a static representation of the 3D world
注意这里的话语：进一步==减少瞬态物体对稳态/静态物体表征的影响==
网络可以 identify、discount 瞬态物体的影响，从而只有稳态物体的真实渲染

static & transient

transient 物体有自己的 density 和color，在不同照片之间vary；
期望颜色现在是 static 和 transient components 的 alpha 合成

uncertainty

并不认为每张照片都是相同地可以被依赖：让 transient field 额外 emit 一个 uncertainty
- 每个观测到的像素都是 noisy 的：aleatoric
- 这个 noise 是 input-dependent 的：heteroscedastic
将每个像素的颜色建模为一个 isotropic各向同性（即没有协方差）的正太分布
- transient network 额外以一个 image-dependent 的 latent 为 condition
- transient network 额外输出一个方差 field：$\beta_i(t)$
- 这个方差 field 以和 $\mathbf{c}$ 相似的方式渲染到像素/射线 $\mathbf{r}$ 上
- 然后用和 uncertainty 一文中一模一样的式子来涵盖不确定性
  - 回顾

Optimization

使用COLMAP 获取每张照片的相机参数

Neural reflectance fields for appearance acquisition

arXiv preprint arXiv:2008.03824

Sai Bi, Zexiang Xu, Pratul Srinivasan, Ben Mildenhall, Kalyan Sunkavalli, Miloš Hašan, Yannick Hold-Geoffroy, David Kriegman, Ravi Ramamoorthi

UCSD, UCB Adobe

Preprint

<NeRV> Nerv: Neural reflectance and visibility fields for relighting and view synthesis

CVPR2021 Proceedings of the IEEE/CVF conference on computer vision and pattern recognition

Pratul P Srinivasan, Boyang Deng, Xiuming Zhang, Matthew Tancik, Ben Mildenhall, Jonathan T Barron

UCB, MIT Google

Preprint Project

<NeRD> NeRD: Neural reflectance decomposition from image collections

arXiv preprint arXiv:2012.03918

Mark Boss, Raphael Braun, Varun Jampani, Jonathan T Barron, Ce Liu, Hendrik Lensch

University of Tübingen Google

Preprint Code Project

目录

目录