Blog›3dgen›Part III · SDS 蒸馏

·4 min

Part III · SDS 蒸馏

没有 3D 数据？把 2D 模型借来当评委

这是攻痛点 (a) 数据稀缺的第一条路：一行 3D 数据都不用，把一个冻结的 2D 扩散模型当"评委"，逐个资产优化一个 NeRF/3DGS。四波演进：DreamFusion 开山 → VSD 修锐度 → DreamGaussian 把它搬上 3D 高斯提速 → MVDream 治 Janus。

§3.1DreamFusion · SDS 开山

DreamFusion— Text-to-3D using 2D Diffusion

ICLR 2023Poole, Jain, Barron, Mildenhall · Google / Berkeley · arXiv:2209.14988 · project

完全没有 3D 训练数据，只有一个强大的文生图模型（痛点 a）。

关键想法：提出 Score Distillation Sampling (SDS)——优化一个 NeRF，让它随机视角的渲染图看起来像扩散先验的高概率样本，且不需要反传穿过 U-Net。给渲染图 $x=g(\theta)$ 加噪，问冻结的 $\hat\epsilon_\phi$ "往哪改更像文字 $y$ "：

\nabla_\theta \mathcal{L}_{\text{SDS}} = \mathbb{E}_{t,\epsilon}\!\left[ w(t)\big(\hat\epsilon_\phi(x_t; y, t) - \epsilon\big)\frac{\partial x}{\partial \theta} \right]

加的噪声 $\epsilon$ 充当控制变量被减掉，剩下的就是"指向更像文字"的方向。

把 DreamFields 的 CLIP 评委换成扩散评委——信号强得多，但继承了"逐场景优化、几十分钟起步"的代价。

几乎同时，SJC（Score Jacobian Chaining, TTIC, 2212.00774）从"分数场"的视角独立推出了等价物—— 把 2D 分数沿渲染 Jacobian 链式传成 3D 分数。两篇一起钉死了这套范式的数学。

SDS 有两个臭名昭著的毛病，下面这个 demo 帮你建立直觉，后面三节都是在修它们： 过饱和/过平滑（要拿可用信号得用巨大的 guidance，把结果推向单一 mode）； Janus 多面（每个视角被一个没有 3D 一致性的 2D 模型独立打分，于是每个角度都想长成正脸）。

Demo 4 · SDS 与 Janus 多面问题

先验类型

中间是一个 3D 物体的转台视角。独立 2D 先验下，每个视角的梯度（细线）都指向"画一张正脸"，于是背面、侧面也长出了脸——这就是 Janus。切到 多视图一致先验：只有真正的正面是脸，几何正确。这正是 §3.5 的核心修复。

§3.2loss 修正 · VSD 与它的同伙

SDS 减的是随机噪声 → mode-seeking → 必须用很大的 CFG → 过饱和、过平滑、缺多样性。修法的分水岭是 VSD：

ProlificDreamer / VSD— High-Fidelity and Diverse Text-to-3D via Variational Score Distillation

NeurIPS 2023Wang, Lu, ... Zhu · Tsinghua (TSAIL) · arXiv:2305.16213

SDS 把 3D 场景当成一个点估计（等价于巨大 CFG 的 mode-seeking）→ 糊、饱和、缺多样性。

关键想法：Variational Score Distillation (VSD)——把 3D 场景当成一个粒子分布，最小化它与先验的 KL。梯度里减的不再是随机噪声，而是当前渲染分布的学习到的分数 $\epsilon_\varphi$ （用一个在线 LoRA 微调的扩散副本估计）：

\nabla_\theta \mathcal{L}_{\text{VSD}} = \mathbb{E}_{t,\epsilon,c}\!\left[ \omega(t)\big(\epsilon_{\text{pretrain}}(x_t,t,y) - \epsilon_\varphi(x_t,t,c,y)\big)\frac{\partial g(\theta,c)}{\partial \theta} \right]

因为 $\epsilon_\varphi$ 跟踪"场景实际长什么样"（而非纯噪声），VSD 在正常 CFG（~7.5）下就能恢复锐利细节和多样性。SDS = VSD 退化到单粒子的特例。

把"减随机噪声"换成"减一个在线学习的渲染分布分数"——一句话改动，换来锐度和多样性的质变。

同一波 loss-fix 还有一串，思路都是"把 SDS 梯度里那个有害项拆掉或改掉"： NFSD（Noise-Free SD，2310.17590，去掉强迫大 CFG 的噪声项）、 CSD（Classifier SD，2310.19415，发现只留 CFG 隐式分类器项就够）、 HiFA（latent+图像双空间分数 + 时间步退火）、 DreamTime（2306.12422，单调递减的时间步调度：先大 $t$ 定结构、后小 $t$ 补细节）、 Consistent3D / SteinDreamer / ESD（确定性 ODE 目标 / Stein 控制变量降方差 / 补回熵项治 mode collapse）。

§3.3换表示 · 把 SDS 搬上 3D 高斯

loss 修了，还是慢——NeRF 的 SDS 优化要几小时（痛点 d）。突破来自换表示：

DreamGaussian— Generative Gaussian Splatting for Efficient 3D Content Creation

ICLR 2024 OralTang, Ren, Zhou, Liu, Zeng · PKU / NTU · arXiv:2309.16653

NeRF 的 SDS 优化动辄数小时（痛点 d）。

关键想法：把 SDS 跑在 3D 高斯上——渐进式致密化比 NeRF 的占据剪枝收敛快得多，再抽出 mesh、在 UV 里 refine 纹理。~2 分钟出带纹理网格（~10× 提速）。

表示从 NeRF 换成 3DGS——同一套 SDS，wall-clock 从小时级砍到分钟级。

跟进的一串 text→3DGS：GSGEN（Point-E 3D 先验初始化 + 2D SDS）、 GaussianDreamer（2310.08529，Shap-E 初始化 + 2D SDS，~15 min）、 LucidDreamer（2311.11284，Interval Score Matching (ISM)——用确定性 DDIM 反演轨迹、按区间匹配分数，去掉 SDS 的平滑偏置）。注意这是个既换表示又修 loss 的混血。

§3.4单图 → 3D · 给 SDS 加一张参考图

把任务从"文字→3D"换成"单图→3D"：在参考视角上加重建 loss，新视角上用 SDS 幻想。 RealFusion（2302.10663，textual inversion 把先验锁到该物体）、 Make-It-3D（2303.14184，粗 NeRF → 带纹理点云）、 Magic123（2306.17843，同时用 2D 先验 Stable Diffusion + 3D 先验 Zero-1-to-3，一个旋钮平衡"想象 vs 保真"）。

§3.5治 Janus · 通往多视图扩散

Janus 的病根（Demo 4）：每个视角被一个没有 3D 约束的 2D 先验独立打分。三类解药，最后一类最彻底——它直接催生了下一部：

Perp-Neg / Debiased-SDS— 训练无关的 Janus 缓解

2023Armandpour et al. · Hong et al. · arXiv:2304.04968 · 2303.15413

不想重训模型，只想压住"背面长正脸"。

关键想法：Perp-Neg 把负向 prompt 的去噪方向投影成与主方向垂直，干净地抹掉串味的"正面"内容；Debiased-SDS 截断异常大的梯度分数 + 用 LM 消解视角 token 与 prompt 的冲突。

都是训练无关的"打补丁"——治标，不改先验本身。

MVDream / ImageDream— Multi-view Diffusion for 3D Generation

ICLR 2024Shi et al. · ByteDance · arXiv:2308.16512 · ImageDream 2312.02201

Perp-Neg 之流治标不治本——先验本身没有 3D 一致性。

关键想法：把扩散模型微调成一次联合吐 4 张相互一致的视图（4 视图之间做 3D self-attention），再当 SDS 先验用。一致性烤进先验本身，Janus 从结构上被根治。ImageDream 是它的图像条件版。

从"事后打补丁"变成"把 3D 一致性做进先验"——这步直接开启了 Part IV · 多视图扩散。