• 注：笔记在纸质版。待迁移电子版

Motivation

• 

• While 2D generative adversarial networks have enabled high-resolution image synthesis, they largely lack an understanding of the 3D world and the image formation process.

  Thus, they do not provide precise control over camera viewpoint or object pose.

  因为2D GAN缺少对3D世界的理解；缺少图像生成过程的理解，所以不能提供对于camera viewpoint和物体pose的精确控制。

• 使用连续表征neural radiance filed
  • 从location x, view direction d映射到color c 和 体素密度 $\sigma$
• 数据集使用unposed RGB images

编者按

• 主要对标、高度对标 GRAF

Motivation

• StyleGAN类似的noise输入方式（mapping network） + SIREN的周期性激活函数（sinusoidal activation）
• 

Losses

• discriminator
  • simple ProgressiveGA-like convolutional discriminator;

Overview

FiLM：另外一种input noise使用方式： feature-wise linear modulation

• 就是首先把 latent 通过mapping变成 $\gamma$ 和 $\beta$ ，然后施加到SIREN的激活函数处
  
• 过去的ReLU-based 方法，一般使用concat来condition input noise
• 作者观察到，对于 SIREN 这种周期性的激活函数来说，condition-by-concatenation 是 sub-optimal的
• 作者提出，使用 mapping network 进行 feature-wise linear modulation 来 condition SIREN 中的那些Layer
  • [47] arXiv 2017, Film: Visual reasoning with a general conditioning layer.
  • [8] Distlll 2018, Feature-wise transformations. [link]

progressive training

• 遵循progressiveGAN的方式
• 先在 低分辨率、大batch size训练，让generator专注于生成 coarse shapes；
• 然后逐渐增加图像分辨率、给dis添加新层、来辨别fine details
• 32x32 -> 64x64 -> 128x128
• 实践中发现，这样的 progressive growing的策略可以在刚开始训练时allow for更大的batch size、allow for higher throuput in images per iteration，对于稳定训练、提速训练有帮助，helped ensure quality and diversity
  • [23] ICLR2018, Progressive growing of GANs for improved quality, stability, and variation.
• 不需要像progressiveGAN那样增长generator的结构，对于nerf-based生成器，只需要progressively增加采样射线的分辨率即可
• 

Results