preliminaries: waymo v1 标注检查 lidar_camera_projection 标注 range_images, camera_projections, seg_labels, range_image_top_pose = frame_utils.parse_range_image_and_camera_projection(frame) points, cp_points = frame_utils.convert_range_image_to_point_cloud( frame, range_images, camera_projections, range_image_top_pose, ri_index=0) # first return points 是一个列表,每个 item 来自不同的 laser;每个 item 是从 range_images 计算出的 [N, 3] 尺寸点云,N 是当前Background maths Permutation: 置换(排列) 定义:既是一种排列,也是一种映射 n 个元素不缺失不重复的不同排列方式;每一种叫做一种置换 置换也可以定义成一种集合到自身的映射代码框架阅读 (包含详细梯度传导过程) 点击图片链接跳转至 processon instant-ngp 代码梳理 Tiny-cuda-nn 我为 tiny-cuda-nn 实现的 encoding 二阶导 PR链接resource MIT Continuum Mechanics 连续介质力学 课程笔记,Chapter 2 重要参考资料:非常详尽、非常严谨、非常简洁明了,与线代知识紧密接续 虽然属于连续介质力学中的内容<UNISURF> Unisurf: Unifying neural implicit surfaces and radiance fields for multi-view reconstruction ICCV2021 arXiv preprint arXiv:2104.10078 Michael Oechsle, Songyou Peng, Andreas Geiger University of Tübingen, ETH Zurich MPI volume rendering occupancy network Cite Preprint 目录 Motivation task:做了什么 核心 insight: neural radiance model 和 neural implicit shape model 可以用一种统一的方式建模 diss 目前: Overview 对 nerf 的魔改: 思路: 训练 结果 Implementation 网络结构 最优化过程 数据集 DTU Indoor Scene from SceneNet BlendedMVS Motivation task:做了什么 从多视角无 mask 图像中重建表面,并且合成新视角观测 核心 insight: neural radiance model 和 neural implicit shape model 可以用一种统一的方式建模 更高效的 sampling 过程 没有 input mask (不像 DVR,IDR 那样)的情况下也可以学到精确的表面 diss 目前: nerf: cons:没有 accurate surface pros:对非 solid scene 也能用,比如烟雾;本文 focus on solid objects DVR / IDR: pros:可以从图像重建精确表面; cons: 需要 per-pixel mask;🤔 注意 per-pixel mask 和 sihoulette 的区别 per-pixel mask 意味着物体上那些有空洞的区域也要扣掉;不然会被认为是背景色实体 网络需要适当的初始化,因为 表面渲染技术 只能在局部提供梯度信息(也就是光线和表面的交点区域) -> 不像 nerf 那样整个空间都密布着梯度 直觉上讲,这种利用局部梯度信息的最优化过程就是在迭代对初始形状(总是一个球)进行变形 Overview 对 nerf 的魔改: $\alpha(x) = 1-\exp\left(-\sigma(\mathbf{x})\delta\right)$ 直接改为 $o(x)$, 即把 nerf 渲染过程中的 $\alpha(x)$ 替换为$o(x)$ ,即 Occupancy field,取值 $[0,1]$,$o=0.math: implicit surface 参考资料 wiki: implicit surface wiki: atlas 知乎: 光滑流形 Clemson University - Computer Graphics 计算机图形学课程 chapter 12 Implicit and Parametric Surfaces JKU - Commulative Algebra and Algebraic Geometry - 交换代数与代数几何课程 chapter 7 Local properties of plane algebraic curves chapter 8 Rational Parametrization of<CMR> Learning category-specific mesh reconstruction from image collections ECCV2018 Proceedings of the european conference on computer vision (ECCV) Angjoo Kanazawa, Shubham Tulsiani, Alexei A Efros, Jitendra Malik UCB category-specific canonical shape template Cite PDF Code Project 目录 Motivation Overview Motivation Overview 一张图片encode到一个latent space, 被三个模块共享 shape poverview 既然可以用一个隐函数 $f(x,y,z)=0$ 表达一个隐曲面 那当然可以先用 $某种神经网络_{一般是MLP+ReLU}$ 去拟合构建一个空间数量值函数 $f(x,y,zlearning parametric surface keyword neural parametric surface parametric surface generation/generative overview 用一个参数方程$[x(s,t),y(s,t),z(s,t)]$表达一个曲面 可以用显式的手动构建或者隐式的神经网络来构建category dense shape correspondences 自监督/无监督地学习形状相关性/结构共性 <DIF> Deformed implicit field: Modeling 3d shapes with learned dense correspondence CVPR2021 Proceedings of the IEEE/CVF conference on computer vision and pattern recognition Yu Deng, Jiaolong Yang, Xin Tong Tsinghua MSRA 3D deformation field, template field, category shape correspondence Cite Preprint Code 目录 Motivation overview losses SDF