Latent Diffusion — 小さな表現の中で生成する

画像を圧縮した表現で扱うことで、拡散による生成を組み立てる研究。初公開の2021年と、学会版の2022年を区別してたどります。

画像の細部を全部そのまま扱わずに、生成できる？

初版は2021年12月20日、学会論文はCVPR 2022。年表ではこの2つを「2021–2022」と表記しています。

展示記事更新 2026-10-29

その時代、何を目指した？

高解像度の画像を画素のまま何度も処理すると、計算量が大きくなります。Latent Diffusionは、画像の表現を変えてから拡散を行う方法です。

高解像度の画像をすべての画素のまま扱い、ノイズ除去を何度も繰り返すと、学習にも生成にも多くの計算が必要です。画質を保ちながら、計算する場所を軽くできないかがLatent Diffusionの問いでした。

原論文は、画像を圧縮した潜在表現へ移し、その空間で拡散モデルを学習する構成を示します。最後には画像へ戻す処理が必要です。圧縮、生成、復元の三つの役割を構造図で追えます。

文章などの条件を生成へつなぐことも研究の一部です。条件を付ける仕組みと、圧縮した空間を使う仕組みを分けると、「文章で頼めること」と「少ない計算で扱うこと」の関係が整理できます。

まず画像を小さな潜在表現へ圧縮し、その空間で拡散による生成を行い、最後に画像へ戻します。文章などの条件を反映する仕組みも組み合わせました。「表示する画像の大きさ」と「中で計算する表現」を分けた工夫です。

圧縮は情報の残し方を選びます。細かな文字や正確な画素の位置が用途に重要なら、圧縮の影響も確かめる必要があります。VAEの研究とつながりますが、どの圧縮モデルも同じものという意味ではありません。

原論文は、圧縮による復元が精密な画素の再現を必要とする課題の制約になりうると述べています。計算が軽くなることは、細部の正確さが無制限に上がることではありません。

編集の視点：ポスターの絵を作るときは、拡大した見栄えと、小さな文字や線が正確かを分けて見ます。背景は生成し、正確さが必要な日時や会場名は別の編集工程で組む、という役割分担を考えられます。

左は画像の圧縮・復元、中央は潜在空間での拡散、右は文章などの条件です。矢印をたどると、文章の条件と画像の圧縮が別の役割を持つことが分かります。

公式実装のText-to-Imageの例。各列の英文が条件で、下に異なる出力を示しています。標識とシャツの文字は、雰囲気が合うことと文字列を正確に再現することが別だと観察できる箇所です。

ここに掲載したのは研究者が公開した資料です。本サイトで同じモデルを実行した結果ではありません。表示を拡大して、原資料の文字や構成も確認できます。

本文は資料をもとにした日本語の解説です。引用画像は個別に出典を表示しています。研究の結果と現在の製品の提供条件は区別して読んでください。

研究論文High-Resolution Image Synthesis with Latent Diffusion Models Rombach et al. / arXiv・CVPR · 2021-12-20 · arXiv初公開。学会版はCVPR 2022
読む場所：Abstract; Method; Limitations
圧縮した潜在表現での拡散、条件付け、精密な画素再現に対する圧縮の限界。
資料確認 2026-10-22
研究者の公開実装Latent Diffusion — 著者公開の構造図と生成例 CompVis / Machine Vision and Learning Group, LMU Munich · 2022 · 学会版の年。初公開の2021年とは区別。
読む場所：Model figure; Text-to-Image; Inpainting; BibTeX
潜在空間、条件付け、公開モデルの生成例。
資料確認 2026-10-29