今回の論文
今回取り上げるのは、Boyang Zheng、Nanye Ma、Shengbang Tong、Saining Xie による論文「Diffusion Transformers with Representation Autoencoders」です。2025年10月13日に arXiv で公開された技術レポートで、公開元は arXiv、URL は https://arxiv.org/abs/2510.11690、DOI は https://doi.org/10.48550/arXiv.2510.11690 です。研究分野は、画像生成、Diffusion Transformer、潜在拡散モデル、視覚表現学習です。
この論文を選んだ理由は、画像生成モデルで当たり前のように使われてきたVAE潜在空間を、事前学習済みの視覚表現エンコーダに置き換えるという設計変更が、実用上の示唆に富んでいるからです。生成モデルの品質改善を「拡散モデル本体を大きくする」だけでなく、「何を生成対象の表現として扱うか」から考え直している点が、AIアプリ開発にも応用しやすい考え方です。
どんな技術か
Representation Autoencoders、略して RAE は、画像生成モデルのための新しいオートエンコーダ設計です。従来のLatent Diffusion ModelやDiffusion Transformerでは、画像をいったんVAEで低次元の潜在表現に圧縮し、その潜在空間上でノイズ除去を学習する構成がよく使われてきました。
RAEはこのVAE部分を、DINOv2、SigLIP、MAEのような事前学習済みの視覚表現エンコーダと、学習可能なデコーダの組み合わせに置き換えます。エンコーダは画像認識や視覚表現学習で得られた意味的に豊かな特徴を出力し、デコーダはその特徴から画像を復元します。そしてDiffusion Transformerは、VAEの圧縮潜在ではなく、この高次元で意味的なRAE潜在を直接生成するように学習します。
ポイントは、RAEが単なる高性能な画像圧縮器ではないことです。画像をピクセルへ戻せるだけでなく、生成モデルが扱う潜在空間そのものに「物体・構造・意味」の情報を持たせます。これにより、拡散モデルは低レベルな見た目だけでなく、より構造化された視覚表現を対象として学習できます。
課題
この技術が解決しようとしている課題は、画像生成モデルで使われる潜在空間の質です。
従来のVAEは、画像を小さな潜在表現に圧縮し、そこから元画像を復元できるように学習します。この方式は計算効率の面では有利ですが、強い圧縮によって細部や意味構造が失われやすくなります。論文では、Stable Diffusion系で使われるようなVAEが、再構成目的に特化した古い畳み込みベースの設計に依存しており、視覚表現学習の進歩を十分に取り込めていない点を問題視しています。
一方、DINOv2やSigLIPのような表現エンコーダは、物体の意味や画像全体の構造をよく捉えます。しかし、これまでの常識では「意味的な特徴は高レベル情報に寄りすぎていて、ピクセルレベルの復元には向かない」と考えられがちでした。また、これらの特徴はVAE潜在より高次元なので、Diffusion Transformerでそのまま扱うと学習が不安定になったり、計算が重くなったりする懸念があります。
実際のAIシステムでは、この課題は画像生成品質、学習コスト、マルチモーダル連携に直結します。たとえば、商品画像生成、広告クリエイティブ生成、デザイン支援、画像編集ツールでは、細部の復元性と意味の一貫性の両方が重要です。VAE潜在が情報を落としすぎると、生成モデル本体を大きくしても、潜在空間側の制約で品質が頭打ちになる可能性があります。
用語解説
- Latent Diffusion Model
- 画像そのものではなく、画像を圧縮した潜在表現の上で拡散過程を学習する生成モデルです。RAEは、この潜在表現を作る部品をVAEから表現エンコーダへ置き換えるため、この考え方が前提になります。
- Diffusion Transformer（DiT）
- 拡散モデルのノイズ除去ネットワークにTransformerを使う画像生成モデルです。この論文では、DiTが高次元のRAE潜在を扱うには幅やノイズスケジュールの調整が必要だと示します。
- VAE
- 画像を低次元の潜在変数へエンコードし、そこから画像を復元する生成モデルの一種です。従来の画像生成では標準的な潜在空間として使われてきましたが、RAEはその圧縮性と表現力の限界を置き換え対象にしています。
- 事前学習済み表現エンコーダ
- DINOv2、SigLIP、MAEのように、大規模データで視覚特徴を学習済みのエンコーダです。RAEではこのエンコーダを凍結し、意味的に豊かな特徴を画像生成の潜在空間として使います。
- FID
- 生成画像または復元画像の分布が実画像の分布にどれだけ近いかを見る評価指標です。この論文では、復元品質をrFID、生成品質をgFIDとして評価しており、RAEがVAEよりよい潜在空間を作れているかを判断する重要な指標になります。
技術の仕組み
RAEの仕組みは、大きく分けると「凍結した表現エンコーダで画像をトークン化する」「デコーダを学習して画像へ戻す」「Diffusion TransformerをRAE潜在上で学習する」という流れです。
凍結エンコーダと学習デコーダを組み合わせる
RAEでは、入力画像 x を事前学習済みエンコーダ E に通し、潜在トークン z = E(x) を得ます。エンコーダにはDINOv2-B、SigLIP2-B、MAE-Bなどが使われます。重要なのは、エンコーダを生成タスク用に再学習するのではなく、基本的に凍結して使う点です。
その上にViTベースのデコーダ D を置き、D(z) が元画像に近づくように学習します。デコーダの損失は、画素差を見るL1損失、知覚的な近さを見るLPIPS、画像らしさを補うGAN損失の組み合わせです。つまり、エンコーダは既存の強い視覚表現をそのまま使い、デコーダだけを「その表現から画像へ戻す翻訳器」として鍛えます。
従来のVAEは、画像をかなり圧縮した小さな潜在に落とし込みます。一方RAEは、DINOv2などのパッチトークンを高次元のまま使います。論文では、256×256画像に対してRAEも多くのDiTと同じ256トークンを使うため、計算コストは主に系列長で決まり、チャネル次元の増加がそのまま大きなオーバーヘッドになるわけではないと説明しています。
高次元潜在をDiTで扱うための幅の条件
RAE潜在は意味的に豊かですが、そのまま標準的なDiTへ入れると失敗します。論文の実験では、通常のDiT-SやDiT-XLをRAE潜在にそのまま適用すると、SD-VAE潜在を使う場合より生成品質が大きく悪化しました。
原因の一つとして示されるのが、DiTの隠れ幅とRAEトークンの次元の関係です。DINOv2-Bのようなエンコーダは、1トークンあたり768次元の特徴を出します。ところが、DiT側の隠れ幅がこの次元より小さいと、入力を一度狭い空間へ射影することになり、ノイズ除去で必要な方向を表現しきれません。
論文は単一画像への過学習実験と理論的な下限解析を使い、拡散モデルではノイズを加えることでデータ分布が高次元空間全体へ広がるため、モデル幅が潜在次元に追いつかないと損失を十分に下げられないと説明しています。これは、RAEを使うなら「高次元表現を入れるだけ」では足りず、DiT側の幅設計も一緒に考える必要があるという実装上の重要な示唆です。
次元に応じたノイズスケジュール
拡散モデルでは、どの時刻でどれくらいノイズを混ぜるかが学習のしやすさを大きく左右します。従来のノイズスケジュール調整は、画像の空間解像度に注目することが多く、チャネル次元が大きいRAE潜在にはそのまま合いません。
RAEでは、トークンあたりの次元が大きくなるため、同じノイズ量でも信号の壊れ方が変わります。論文では、潜在次元に応じてノイズスケジュールをシフトすることで、Diffusion Transformerが高次元RAE潜在をより安定して学習できるようにしています。
これは実務的にも重要です。新しい埋め込み空間やマルチモーダル特徴上で生成モデルを学習する場合、既存の画像生成レシピをそのまま流用するのではなく、表現の次元・分布・ノイズ耐性に合わせて学習設定を調整する必要があります。
ノイズ拡張デコーディング
RAEのデコーダは、基本的には実画像をエンコードしたきれいな潜在 z から画像を復元するように学習します。しかし、生成時にデコーダへ渡される潜在は、Diffusion Transformerが生成したサンプルです。これは完全に実エンコーダ由来の潜在分布と一致するとは限らず、少し外れた点になる可能性があります。
そこで論文では、デコーダ学習時に潜在へノイズを加えるノイズ拡張デコーディングを使います。これにより、デコーダはきれいな潜在だけでなく、少し乱れた潜在からも画像を復元する練習をします。結果として、拡散モデルが生成した連続的な潜在を受け取ったときの頑健性が高まります。
軽量で幅広いDDTヘッド
高次元潜在を扱うにはDiTの幅を広げる必要がありますが、Transformer全体を単純に幅広にすると計算コストが大きくなります。そこで論文では、DiT^DH という構成を導入します。これは標準的なDiT本体に、浅いが幅広い拡散ヘッドを追加する設計です。
狙いは、RAE潜在の高いチャネル次元に対応するための表現幅を入り口と出口付近で確保しつつ、深いTransformer本体の計算コストを抑えることです。高次元入力に必要な射影能力と、DiT本体のスケーラビリティを分けて考える設計だと言えます。
実験と結果
論文では、RAEが本当にVAEの代替になるかを、復元品質、表現品質、生成品質、学習収束の観点から検証しています。
復元品質と表現品質
まず、DINOv2-B、SigLIP2-B、MAE-Bをエンコーダに使ったRAEを作り、ImageNetの検証画像をどれだけよく復元できるかをrFIDで評価しています。結果は、DINOv2-Bが0.49、SigLIP2-Bが0.53、MAE-Bが0.16で、比較対象のSD-VAEの0.62をいずれも上回りました。
また、同じ潜在表現を線形分類に使ったときのImageNet Top-1精度も比較しています。DINOv2-Bは84.5%、SigLIP2-Bは79.1%、MAE-Bは68.0%でした。一方、SD-VAE潜在は約8.0%にとどまっています。これは、RAEが画像を復元できるだけでなく、視覚表現としても強い潜在空間を保持していることを示しています。
計算効率の面でも、RAEデコーダはSD-VAEより軽い結果が示されています。たとえばViT-XLデコーダはrFID 0.49を達成しつつ、デコーダのGFLOPsはSD-VAEの約3分の1とされています。
標準DiTはそのままではRAE潜在を扱えない
次に、RAE潜在でDiffusion Transformerを学習した場合の挙動を見ています。標準的なDiTをそのまま使うと、DiT-SではRAE潜在のgFIDが215.76となり、SD-VAE潜在の51.74より大きく悪化しました。DiT-XLでもRAEは23.08、SD-VAEは7.13で、単純な置き換えではうまくいかないことが分かります。
この失敗は、RAE自体が悪いというより、高次元の意味表現に合わせたDiT設計が必要であることを示しています。特に、モデル幅がトークン次元より小さい場合に学習が詰まりやすい点は、単一画像への過学習実験でも確認されています。
RAE向けの調整で生成品質と収束が改善する
RAEに合わせて、DiT幅、次元依存のノイズスケジュール、ノイズ拡張デコーダ、幅広のDDTヘッドを組み合わせると、生成性能は大きく改善します。論文では、ImageNet 256×256において、RAEベースの DiT^DH がガイダンスなしでFID 1.51を達成し、AutoGuidanceを使う条件では256×256と512×512の両方でFID 1.13を達成したと報告しています。
さらに、RAEは収束速度の面でも有利です。プロジェクトページでは、ImageNet 256×256の学習で、RAEが従来のSD-VAEベースの学習より少ない更新で強い品質に到達し、既存の表現アラインメント手法より速く収束する結果が示されています。ここから、RAEは単に最終品質を上げるだけでなく、生成モデルの学習効率そのものを改善する可能性があると言えます。
何に使える？
RAEは画像生成モデルの内部部品の話ですが、応用範囲はかなり広いです。特に「生成したい対象を、どんな潜在表現で扱うべきか」という設計判断に影響します。
高品質な画像生成モデルの学習
最も直接的な用途は、Diffusion Transformer系の画像生成モデルを学習する際のVAE置き換えです。既存のVAE潜在では、圧縮によって失われた情報を後段の拡散モデルが取り戻すことはできません。RAEを使えば、より意味的で情報量の多い潜在空間を生成対象にできるため、商品写真、人物・物体生成、細部が重要なクリエイティブ生成で有利になる可能性があります。
画像理解と画像生成をつなぐマルチモーダル基盤
RAEの面白い点は、生成用潜在がそのまま強い視覚表現でもあることです。これは、画像理解モデルと画像生成モデルの間で表現を共有しやすいことを意味します。
たとえば、画像を理解するVLMが見ている特徴空間と、画像生成モデルが生成する特徴空間が近くなれば、生成画像の自己検証、プロンプトとの整合性チェック、画像編集の前後比較などが設計しやすくなります。これは、単なる画像生成APIではなく、生成・評価・修正を回すエージェント型のクリエイティブツールに向いています。
画像編集や条件付き生成
RAE潜在は意味構造を持つため、画像編集にも応用できそうです。これは論文で直接完成したアプリとして示されているわけではありませんが、推測として、物体構造やシーンの意味を保ちながら一部を変える編集では、低次元VAE潜在より扱いやすい可能性があります。
特に、既存画像をエンコードし、その潜在上で条件付き生成やマスク編集を行う場合、エンコーダの表現力が高いほど「何を残すべきか」「どこを変えるべきか」をモデルが扱いやすくなります。
独自ドメインの生成モデル
医療画像、建築パース、製造検査画像、EC商品画像のように、一般的な写真とは異なるドメインでは、潜在空間の作り方が品質に大きく影響します。RAEの考え方を使うと、ドメインに合った表現エンコーダを先に用意し、その特徴空間で生成モデルを学習するという設計が考えられます。
小規模チームでゼロから巨大な画像生成モデルを作るのは難しいですが、既存の強いエンコーダを凍結して活用し、デコーダや生成部分だけを調整する発想は、限定ドメインのプロダクトでは現実的な選択肢になり得ます。
開発や事業へのヒント
この論文から得られる大きなヒントは、AIシステムの性能は「モデル本体」だけでなく、「中間表現の設計」で大きく変わるということです。
生成モデルの改善点を潜在空間から探す
画像生成サービスを改善するとき、つい拡散モデル本体、プロンプト処理、推論ステップ数に注目しがちです。しかしRAEは、潜在空間を変えるだけで復元品質、表現品質、収束速度に影響が出ることを示しています。
これはRAGやエージェント開発にも通じます。検索であれば埋め込み空間、音声であれば音響特徴、コード生成であれば中間表現やASTなど、タスクに合った表現を選ぶことがシステム全体の上限を決めます。モデルを大きくする前に、「モデルが何を入力として見ているか」を疑う価値があります。
凍結済みモデルを部品として再利用する
RAEは、DINOv2のような既存の強いエンコーダを凍結し、デコーダと生成モデルをその周辺に組み立てます。これは小規模な開発でも使いやすい発想です。
たとえば、独自の画像生成・編集機能を作る場合、すべてをエンドツーエンドで学習するのではなく、既存の視覚表現モデルを固定部品として使い、その表現を業務ドメインに合わせて復元・変換する層を学習する構成が考えられます。学習対象を絞れるため、データ量や計算資源の制約があるプロダクトでも検討しやすくなります。
マルチモーダル機能は「共通表現」を軸に設計する
RAEは、画像理解で強い表現を画像生成にも使う方向性を示しています。これは、今後のマルチモーダルAIでは、理解用モデルと生成用モデルを別々に作るより、共通の表現空間をどう設計するかが重要になることを示唆しています。
たとえば、デザインレビューAI、広告生成AI、EC画像改善AIでは、画像を生成するだけでなく、生成結果を評価し、指示に沿って修正し、再生成するループが必要です。理解と生成の表現が近いほど、このループは実装しやすくなります。
限界
RAEには有望な点が多い一方で、実運用でそのまま簡単に使える技術とは限りません。
まず、計算コストの設計が難しいです。論文ではトークン数が固定であるためRAEの高次元チャネルが大きな追加コストになりにくいと説明されていますが、それでもDiT側の幅、DDTヘッド、デコーダ設計を適切に選ぶ必要があります。既存のVAEベースの学習レシピをそのまま流用すると失敗する可能性があります。
次に、データ依存性があります。論文の中心的な実験はImageNetであり、DINOv2やMAEなどのエンコーダがうまく機能する画像分布が前提です。医療画像や図面、UIスクリーンショットのような特殊ドメインでは、どのエンコーダがよい潜在空間を作るかを別途検証する必要があります。
また、デコーダの品質も重要です。エンコーダが強くても、デコーダがノイズを含む潜在や生成モデル由来の潜在に弱いと、最終画像にアーティファクトが出ます。論文ではノイズ拡張デコーディングで頑健性を高めていますが、実装時にはデコーダの学習データ、損失関数、GAN損失の安定性を丁寧に管理する必要があります。
最後に、再現性の問題があります。FIDのような生成評価は、サンプリング設定、ガイダンス、学習ステップ、評価実装に影響されます。RAEの考え方をプロダクトへ導入する場合は、論文の数値だけで判断せず、自分の用途に近いデータと評価指標で検証する必要があります。
よくある質問
Q. RAEはVAEの完全な上位互換ですか？
A. 少なくともこの論文のImageNet実験では、復元品質、表現品質、生成品質の面で強い結果を示しています。ただし、標準的なDiTへそのまま差し替えるだけでは性能が悪化するため、DiT幅、ノイズスケジュール、デコーダの頑健性まで含めた設計が必要です。
Q. なぜ画像生成にDINOv2のような認識用エンコーダが使えるのですか？
A. 論文の主張は、認識用エンコーダが低レベル情報を完全に捨てているわけではなく、適切なデコーダを学習すれば高品質に復元できるというものです。実際にDINOv2-BやMAE-Bの特徴から、SD-VAEより低いrFIDで画像を復元できる結果が示されています。
Q. RAEを使うと学習は必ず速くなりますか？
A. 必ずとは言えません。論文では、RAE向けの設計を入れた場合に収束速度と生成品質が改善しています。一方で、標準DiTをそのままRAE潜在に適用すると悪化します。高次元潜在に合わせたモデル幅やノイズ設定が前提です。
Q. 小規模な画像生成プロダクトでも使えますか？
A. 直接大規模DiTを学習するのは重いですが、考え方は使えます。既存の表現エンコーダを凍結し、特定ドメイン向けのデコーダや変換層を学習する構成は、小規模な画像編集、品質評価、検索付き生成などに応用できます。
Q. RAEはテキストから画像を生成するモデルにも関係しますか？
A. 関係します。この論文自体はImageNet中心ですが、RAE潜在は意味的な視覚表現なので、テキスト条件付き生成やVLMとの接続に向いている可能性があります。実際、RAEの後続研究やプロジェクトでは、大規模なテキスト画像生成への拡張も議論されています。
今日の学び
この論文は、Diffusion Transformerの性能を制限している要因として、生成モデル本体だけでなく、VAEが作る潜在空間の古さと情報不足に注目しました。
解決策として、DINOv2やMAEなどの事前学習済み視覚表現エンコーダを凍結して使い、学習済みデコーダと組み合わせるRepresentation Autoencodersを提案しました。さらに、高次元潜在を扱うために、DiTの幅、ノイズスケジュール、ノイズ拡張デコーディング、DDTヘッドを調整しています。
ここから得られるヒントは、AI開発では「どのモデルを使うか」だけでなく、「どの表現空間で問題を解くか」が非常に重要だということです。画像生成に限らず、RAG、音声、エージェント、マルチモーダルAIでも、中間表現をうまく設計できると、品質・速度・拡張性の改善につながります。