上一篇的鏈接：多模態(tài)MLLM都是怎么實現(xiàn)的（2） (qq.com)

上上篇的鏈接：多模態(tài)MLLM都是怎么實現(xiàn)的（1） (qq.com)

      在第一篇我們簡單介紹了一下多模態(tài)訓練的原理，包括clip，第二篇正好Sora橫空出世，也讓我就Dit做了一下拋磚引玉，順便講了VAE和ViT的部分，上節(jié)課我說過,  DiT它就不是一個模型，它包含了VAEencoder+ViT + DDPM + VAE decoder, 其實最核心的部分就是DDPM，也就是Denoising Diffusion Probabilistic Models。

       就DDPM本身而言各個解決方案都有自己的DDPM方法，它嚴格說也沒那么絕對統(tǒng)一，但是大體思路都是靠diffusion算法來搞的，為了讓大家更好理解，我從Diffusion算法開始講起。

       論文鏈接：2006.11239.pdf (arxiv.org)

       這個論文真的好久了?