Semi-Supervised Learning of Multi-Object 3D Scene Representations
Semi-supervised learning of multi-object 3D scene representations
目录
编者按
- 只用了clevrn类数据集,而且甚至还是简单的低分辨率渲染,实验比较简单
Motivation
- 把场景表征为多个物体
- 输入input RGB image,通过一个recurrent encoder,回归出每个物体的shape, pose, texture;shape通过SDF表征
- 半监督体现在训练时候用的是RGB-D,测试时候只需要RGB
- single view见所有物体;物体个数是已知的
Overview
- 首先从example shapes有监督地训练SDF(的decoder);
- 然后自监督地通过RGB-D训练differentiable renderer和recurrent encoder
- Q: recurrent真的能这样设计吗?
- 可以看到recurrent的主要目的是迭代、逐个地得出object的code,倒是和之前*Multi-object representation learning with iterative variational inference.*那篇有些像
每个物体输出深度估计,图像估计,与occulusion mask