Motivation

Overview

• 一张图片encode到一个latent space, 被三个模块共享

• shape predictor，学到的是从mean shape出发的顶点的位移改变量

• texture predictor，学到的是从输入图像的texture flow

• camera predictor，学到的是canonical space下的camera pose

• deformation predictor事实上学到的是从一个learned mean shape的变形 texture使用标准UV映射定义

• mesh定义在canonical frame下 mean shape和sphere有相同的geometry

  • 相同的顶点连接性，相当于fixed topology，拓扑是固定的
    • 思考甜甜圈和咖啡杯的拓扑是一样的：通过顶点移位变形可以变形过去
    • a fixed and pre-determined mesh connectivity 连接性是固定的
  • 所谓shape predictor，其实是预测固定个数的vertices的位置改变
    
  • 我们可以从uv图的坐标映射到球面坐标，再映射到mean shape上的坐标，再通过shape 变形（顶点移位）映射到当前shape上的顶点坐标

• texture predictor 事实上学到的是从单张图片出发的texture flow