Foundation of Diffusion Models

资料收集

经典教程

• Lilian Weng: What are Diffusion Models?
• https://nn.labml.ai/diffusion/index.html

公众号: 数字AI推理 系列文章：

• 扩散模型学习笔记

公众号：Yifan Zhou 系列文章：

• 基础：
  • 扩散模型(Diffusion Model)详解：直观理解、数学原理、PyTorch 实现
  • 定制适合自己的 Diffusers 扩散模型训练脚本
• SD:
  • Stable Diffusion 解读（一）：回顾早期工作
  • Stable Diffusion 解读（二）：论文精读
  • Stable Diffusion 解读（三）：原版实现源码解读
  • Stable Diffusion 解读（四）：Diffusers实现源码解读
  • Stable Diffusion 中的自注意力替换技术与 Diffusers 实现
  • LoRA 在 Stable Diffusion 中的三种应用：原理讲解与代码示例
• 指标
  • KL散度(Kullback-Leibler Divergence)介绍及详细公式推导
  • FID 指标简介与修正 TorchEval FID 计算接口经历分享
  • 图像生成的评价指标：IS（Inception Score）和FID（Fréchet Inception Distance）
• 前沿：
  • NIPS 2024 最佳论文 VAR 深度解读：下一尺度预测为何能超越扩散模型？
  • OpenAI 视频模型 Sora 科研贡献速览

Binxu Wang 哈佛大学公开课件
ML-From-Scratch：Understanding Stable Diffusion from “Scratch”

• pdf
• pptx

何恺明

• 「听课-MIT何恺明讲座」 - 生成式模型

Denoising Models

DDPMs

Denoising Diffusion Probabilistic Models (DDPMs)

Improved DDPMs

DDIMs

Denoising Diffusion Implicit Models (DDIMs)

NCSNs

Noise Conditioned Score Networks (NCSNs)

SDE

Stochastic Differential Equations (SDEs)

Flow Matching

Flow Matching for Generative Modeling

• https://arxiv.org/pdf/2210.02747

Flow Straight and Fast: Learning to Generate and Transfer Data with Rectified Flow

• https://arxiv.org/pdf/2209.03003
• Rectified Flow

multi-modal conditional DMs

LDMs (2022.04)

paper: High-Resolution Image Synthesis with Latent Diffusion Models

i.e. Stable Diffusion (SD)

• offical code: https://github.com/CompVis/latent-diffusion
• diffusers: https://github.com/huggingface/diffusers/tree/main/src/diffusers/pipelines/stable_diffusion
• diffusers blog: how-does-stable-diffusion-work
  

DiT (2023.03)

paper: Scalable Diffusion Models with Transformers

• arXiv:2212.09748v2 [cs.CV] 2 Mar 2023

4种类型的DiT Block

• In-context conditioning
• Cross-attention Block
• adaLN Block (adaptive LayerNorm)
• adaLN-Zero Block (adaptive LayerNorm with Zero-initializing)
  

Hunyuan DiT (2024.03)

report: Hunyuan-DiT : A Powerful Multi-Resolution Diffusion
Transformer with Fine-Grained Chinese Understanding

• arXiv:2405.08748v1 [cs.CV] 14 May 2024

Evaluation

FID (Fréchet Inception Distance)

https://github.com/GaParmar/clean-fid

• FID-50K

ADM’s TensorFlow evaluation suite

IS (Inception Score)

sFID

Precision/Recall