通俗版
想象一张照片被不断撒上雪花噪点,直到什么都看不清。扩散模型学的是反过来的过程:从一团纯噪点出发,一步步去掉噪点,最后“显影”出一张清晰的图。大多数、都用这类方法。
工程版
一类生成:前向过程逐步向数据加入高斯噪声,学习逆向逐步去噪;Ho 等人 2020 年的《Denoising Diffusion Probabilistic Models》是代表性工作。文本条件通过交叉注意力等方式引导生成;为降低成本,常在压缩后的潜在空间中进行(潜在扩散)。
举个例子
生成时,画面先是一片模糊的色块,然后越来越清楚,你看到的正是去噪的过程。
容易搞混
扩散模型主要用来生成图像、视频和声音;聊天用的大多是另一种按依次生成的方式。