今回の論文
今回取り上げるのは、Wenhu Chen、Hexiang Hu、Xi Chen、Pat Verga、William W. Cohen による論文「MuRAG: Multimodal Retrieval-Augmented Generator for Open Question Answering over Images and Text」です。2022年の EMNLP 2022 で発表された論文で、公開元は ACL Anthology、研究分野はマルチモーダル質問応答、検索拡張生成、Vision-Language モデルです。URL は https://aclanthology.org/2022.emnlp-main.375/、DOI は https://doi.org/10.18653/v1/2022.emnlp-main.375 です。
この論文を選んだ理由は、RAG をテキストだけで終わらせず、画像も検索対象に含める設計をかなり早い段階で明確に示しているからです。いまの文書AI、EC検索、マニュアル検索、画面理解付きエージェントなどを考えるうえで、「外部知識は文章だけではない」という視点を得られます。
どんな技術か
MuRAG は、質問に答えるときに、テキストだけでなく画像も検索して、その検索結果を使って回答を生成する技術です。ひとことで言えば、マルチモーダル版の RAG です。
通常の RAG は、質問に対して関連文書を検索し、その文書を読ませて言語モデルに答えを作らせます。ただし、検索対象が文章だけだと、画像にしか載っていない情報を拾えません。たとえば「この建物のバルコニーには何が飾られているか」「この商品の写真に写っている付属品は何か」といった質問は、テキストだけでは答えにくいです。
MuRAG はこの問題に対して、画像とテキストを同じ外部メモリの中で扱い、質問に応じて両方から手がかりを取り出します。つまり、知識をモデル内部の重みに閉じ込めるのではなく、外部の画像・説明文・テキスト断片を検索して答える方向に拡張した技術です。
課題
この技術が解決しようとしているのは、オープンドメイン質問応答で必要な知識が、文章だけに存在するとは限らないという課題です。
何が難しいのかというと、現実の情報源には画像由来の知識が多いからです。商品の見た目、標識、UI画面、地図、図表、現場写真、機器の配置などは、文章だけでは十分に表現されていない場合があります。人間は画像を見ればすぐ分かることでも、テキストだけを検索するシステムは根本的に情報にアクセスできません。
既存の方法にも限界がありました。従来の RAG、REALM、RETRO、FiD のような検索拡張モデルは、外部メモリに主にテキストを使います。逆に VQA 系のモデルは画像質問応答に強いものの、与えられた画像に答えの材料が入っている前提で設計されており、大規模な外部知識検索は主目的ではありません。つまり、検索 と マルチモーダル理解 が分断されていたわけです。
なぜこの課題を解く必要があるのかというと、実際のAIシステムでは「知識検索」と「見た目の理解」が同時に必要な場面が増えているからです。文書検索でも、PDF の図やスクリーンショットが答えの鍵になることがあります。EC や製造業のナレッジ検索でも、仕様書テキストと製品画像をまたいで判断したいケースがあります。エージェントでも、UI の見た目と説明文の両方を結びつけないと正しく行動できません。
用語解説
- RAG
- Retrieval-Augmented Generation の略で、外部知識を検索してから生成する枠組みです。MuRAG はこの発想を画像とテキストの両方に拡張した技術なので、土台として理解しておくと全体像を追いやすくなります。
- マルチモーダルメモリ
- 画像、テキスト、画像とテキストの組をまとめて保存しておく外部知識ストアのことです。MuRAG の重要点は、検索先が「文書だけ」ではなく、この異種データを含むメモリになっているところです。
- コントラスト学習
- 正しい組み合わせを近づけ、誤った組み合わせを遠ざける学習方法です。MuRAG では「質問と正しいメモリ項目を近づける」役割を持ち、検索器として機能するための中核になっています。
- MIPS
- Maximum Inner Product Search の略で、ベクトルの内積が大きい候補を高速に探す検索方法です。MuRAG では質問ベクトルとメモリベクトルの近さを使って、関連する画像やテキストを上位K件取り出します。
- Vision-Language モデル
- 画像とテキストを共通の表現空間や統合アーキテクチャで扱うモデルです。MuRAG の仕組みを理解するには、画像エンコーダとテキストエンコーダを別々に置くだけでなく、検索と生成の両方に使える統合表現を作ることが重要だと押さえておく必要があります。
技術の仕組み
MuRAG の中心は、画像とテキストを同じ検索可能な表現空間に埋め込み、その検索結果を生成モデルに渡して回答を作る という設計です。検索器と生成器を完全に別モデルに分けるのではなく、1つのバックボーンを再利用している点が特徴です。
基本アイデア
基本の流れはシンプルです。まず質問をベクトル化し、外部メモリに入っている画像・テキスト・画像テキスト対の埋め込みと照合します。そこで見つかった上位K件を質問と一緒にモデルへ入れ、回答文を生成します。
重要なのは、検索対象がテキスト断片だけではないことです。画像そのものや画像キャプション付きの知識も検索候補になります。これにより、テキストでは書かれていない視覚的知識を回答生成へ持ち込めます。
モデル構造
MuRAG のバックボーンは、画像側に ViT、テキスト側に T5 を使った構成です。論文では、画像を 16x16 パッチに分けて ViT で処理し、テキストは T5 系の埋め込みで処理します。その後、両者を連結した表現をマルチモーダルエンコーダに通し、検索にも生成にも使える表現を作ります。
実装上は、ViT-large と T5-base を組み合わせた 527M パラメータのモデルが使われています。検索器と reader を別々に持つのではなく、同じバックボーンを再利用するため、設計思想としては「共通表現を軸にした検索一体型の生成モデル」です。
検索の流れ
質問ベクトルを作ったら、外部メモリの候補に対して MIPS で上位K件を検索します。論文では Top-K は 4 に設定されています。取得した候補は、そのまま質問の前に連結され、拡張入力としてエンコーダに入ります。
ここでのポイントは、retriever が「関連しそうなものを取るだけ」で終わらず、その出力がそのまま reader の条件付けに使われることです。つまり、検索の質がそのまま生成の質に効きます。そのため MuRAG は、検索精度を上げるための学習と、回答生成を上手くするための学習を同時に回しています。
学習方法
学習では、生成損失とコントラスト損失を足し合わせた joint loss を使います。コントラスト損失は質問と正しいメモリ項目を近づける役割を持ち、生成損失は検索結果を使って正しいキャプションや回答を生成する役割を持ちます。
この組み合わせが重要なのは、検索だけ上手くても答えを組み立てられなければ不十分で、逆に生成だけ上手くても正しい証拠を引けなければ外部知識活用にならないからです。MuRAG は「取る」と「答える」を分断せず、同時最適化しようとしています。
データの扱い方
事前学習では、LAION、Conceptual Captions、VQA、PAQ を retrieve-and-predict 形式に変換して使っています。画像テキスト対だけでなく、テキストQAも混ぜている点が実務的です。これにより、モデルは画像由来の知識アクセスと、テキスト由来の質問応答の両方を練習できます。
一方で、LAION や CC のようなキャプション生成系データでは、正解文がメモリにそのまま存在すると簡単すぎるため、検索結果を null にして自明解を避けています。この設計は地味ですが重要で、検索を入れれば何でも良いわけではなく、データリークを防いで学習課題を成立させています。
二段階ファインチューニング
MuRAG にはもう1つ大きな工夫があります。それが二段階ファインチューニングです。
まず第1段階では、バッチ内に含まれる正例・負例を使って in-batch memory を作り、その小さなメモリに対して検索と生成を同時に最適化します。これにより、巨大な外部メモリ全体に毎回逆伝播しなくても、retriever を更新できます。
第2段階では、メモリ全体をあらかじめエンコードして固定し、その上で実際の大域メモリから Top-K を検索して生成側をさらに調整します。論文では、この二段階を踏まないと性能が明確に落ちています。要するに、更新しやすい近似学習段階 と 実運用に近い検索条件への適応段階 を分けているわけです。
実験と結果
論文では、MuRAG が本当にマルチモーダル検索を活かせているか、また学習設計のどこが効いているかを丁寧に検証しています。
何を検証したのか
主に見ているのは次の3点です。1つ目は、画像とテキストの両方を含む知識検索型QAで既存手法より強いかどうかです。2つ目は、事前学習コーパスをどのように混ぜると性能が上がるかです。3つ目は、二段階ファインチューニングが本当に必要かどうかです。
単に最終スコアだけを見るのではなく、事前学習データと学習手順まで分解しているので、実装や再現の参考にしやすい論文です。
どんなデータセットや評価指標を使ったのか
評価には WebQA と MultimodalQA を使っています。どちらも、質問に答えるために画像とテキストの両方を参照しうるベンチマークです。
WebQA では、検索F1、流暢さ指標、キーワード一致ベースの正確性を組み合わせた Overall スコアで見ています。MultimodalQA では EM と F1 を中心に評価しています。さらに、候補が絞られた distractor 設定だけでなく、大規模コーパスから探す full-wiki 設定も比較しています。
ベンチマーク結果
WebQA の distractor 設定では、MuRAG は Overall 36.1 を記録し、比較対象の VLP + VinVL の 24.1 を大きく上回りました。full-wiki 設定でも MuRAG は 31.5、CLIP (20) + VLP は 16.1 で、候補数が増えた条件でも差を維持しています。
MultimodalQA でも改善は大きく、distractor 設定の EM-all は AutoRouting の 46.6 に対して MuRAG が 60.2、full-wiki では 34.7 に対して 51.4 でした。特に画像系質問の改善幅が大きく、論文中でも 20ポイント超の差が出ています。
この結果から分かるのは、画像を単なる補助特徴として足したのではなく、外部知識検索の対象に画像を含めたこと自体 が効いているという点です。画像を見られるVQAモデルと、外部知識を引けるRAG的設計をちゃんと統合すると、難しい質問に強くなります。
事前学習と二段階学習の効果
アブレーションも実務上かなり参考になります。事前学習なしでは WebQA の Overall は 23.5 でしたが、LAION 単独で 28.3、LAION+CC+PAQ+VQA まで増やすと 36.1 まで伸びています。つまり、マルチモーダル検索器は下流だけで急に学べるものではなく、混合コーパスで事前に鍛える価値が高いと分かります。
二段階ファインチューニングでも差が出ています。WebQA では Only In-Batch が 29.4、Only Fixed-Retrieval が 25.8、Two Stage が 31.5 でした。MultimodalQA でも 49.6、40.7、51.4 という順です。論文では、事前学習時の検索形式と下流タスク時の検索形式にずれがあるため、retriever の適応が必要だと説明しています。この指摘は、現代のRAG実装でもそのまま重要です。
結果から何が言えるのか
結果全体から言えるのは、マルチモーダルRAGでは「画像が扱える生成モデル」を作るだけでは足りず、「画像を検索できる retriever」をきちんと学習させる必要があるということです。また、検索条件が学習時と運用時で変わるなら、そのずれを埋める追加段階が効きます。
何に使える？
MuRAG の考え方は、いまのAIアプリ開発にかなり直接つながります。特に、答えの根拠が文章と画像にまたがるプロダクトで使い道があります。
文書AIとナレッジ検索
マニュアル、提案書、設計資料、監査資料、業務手順書には、本文だけでなく図、画面キャプチャ、表、構成図が含まれます。MuRAG 型の設計なら、テキスト検索だけでは取りこぼす「画像にしかない知識」を拾いやすくなります。PDF を丸ごと画像化して終わりではなく、テキスト断片と視覚断片を同じ検索対象として扱う発想が役立ちます。
EC・カタログ・画像付きFAQ
EC や部品カタログでは、「見た目は似ているが型番が違う」「写真を見ると付属品が分かる」といったケースが多いです。MuRAG のように画像と説明文を一緒に引けると、商品検索や問い合わせ自動応答の質を上げやすくなります。特に、テキストだけだと曖昧な質問に強くなりやすいです。
画面理解付きエージェント
ブラウザ操作や業務システム操作を行うエージェントでは、画面の見た目と、その画面に関する操作手順書の両方が必要です。MuRAG の発想を使うと、スクリーンショットやUI部品画像と、テキスト手順を横断して検索する設計が考えられます。これは単純な vision model 単体より、企業内ナレッジと結び付けやすいです。
製造・保守・現場支援
設備保守や現場点検では、異常写真、配線図、部品写真、作業票、点検手順が混在します。MuRAG は研究上は QA タスクですが、技術的には「視覚情報を知識ベースへ入れる」ため、現場支援AIの基盤設計にも向いています。異常部位の画像から関連手順を引く、といった流れに応用しやすいです。
開発や事業へのヒント
MuRAG から得られるヒントは、マルチモーダルAIを作るときに、生成モデルの性能だけでなく、何を検索対象として持つか をプロダクト設計の中心に置くべきだということです。
AIアプリを作るなら、画像も知識ストアに入れる
RAG を作ると、つい PDF のテキスト抽出だけに寄りがちです。しかし実務では、図やUIキャプチャにだけ価値がある情報が少なくありません。MuRAG の考え方を使うと、画像特徴や画像キャプションを知識ストアの一級市民として扱う設計に発想を切り替えられます。
既存サービス改善では、retriever 設計の見直しが効く
回答品質が悪いとき、すぐ生成モデルを大きくしたくなりますが、MuRAG の結果を見ると、retriever が拾えない情報は generator では埋めにくいと分かります。特にマルチモーダルな問い合わせ対応や社内検索では、検索対象の粒度、埋め込み方式、Top-K 設計を見直すほうが効果的な場合があります。
小規模プロダクトでも段階導入できる
MuRAG の完全再現は重いですが、考え方は小規模でも使えます。たとえば、画像に自動キャプションを付けてテキスト検索に混ぜる、画像埋め込みとテキスト埋め込みを別索引で持って後段で統合する、といった簡易版から始められます。論文どおりの joint training でなくても、設計原則としては十分活かせます。
今後注目すべき方向性
今後は、テキストRAGからマルチモーダルRAGへの拡張がさらに重要になるはずです。特に、画像だけでなく表、動画、UI状態、センサー出力まで検索対象を広げる流れが考えられます。MuRAG はその初期形として、「知識を複数モダリティで外部化する」方向性を理解するのに適した論文です。
限界
MuRAG にも明確な限界があります。
まず、計算コストは軽くありません。ViT-large と T5-base を組み合わせた 527M パラメータ構成で、論文では大規模TPU環境で学習しています。検索インデックスの構築、画像埋め込み生成、retriever と generator の同時学習まで含めると、小さなチームがそのまま再現するのは重いです。
次に、データ依存性があります。画像とテキストの対応が取れた大規模データ、さらに下流タスクに近い QA データがあるほど有利です。実務では画像キャプションの品質や、画像と文書断片のアラインメントが弱いと性能が落ちやすいでしょう。
また、画像質問は依然として難しいという結果も出ています。論文の人手分析でも、画像系クエリはテキスト系より正答率が低く、数え上げや物体認識ミスが目立ちます。つまり、画像を検索対象に入れれば万能になるわけではありません。
実装面でも、検索と生成を一体で最適化するため、単純な「埋め込みAPI + LLM」の構成より複雑です。運用時には、画像前処理、索引更新、クロスモーダル表現の劣化、メモリサイズ増大なども問題になります。
さらに、論文の対象は主に画像とテキストであり、表や動画、インタラクティブUIのような他モダリティは直接扱っていません。そのため、今日のマルチモーダルエージェントにそのまま当てはめるには追加設計が必要です。
よくある質問
Q. MuRAG は普通の RAG と何が違うのですか？
A. 最大の違いは、検索対象がテキストだけではなく画像も含むことです。普通の RAG は文書検索が前提ですが、MuRAG は画像とテキストを同じ外部メモリとして扱い、回答生成時に両方の証拠を使えます。
Q. 画像を検索するなら、画像キャプション化だけでも十分ですか？
A. 一部の用途では有効ですが、十分とは限りません。キャプション化すると視覚情報が文章へ圧縮されるため、細かい配置、見た目の差、数え上げなどが落ちやすいです。MuRAG の意義は、画像そのものの表現も検索に使おうとしている点にあります。
Q. 実務で MuRAG をそのまま再現する必要はありますか？
A. 必ずしもありません。重いため、まずは画像キャプション併用検索、画像埋め込み索引の追加、後段 rerank などの簡易構成から始めるのが現実的です。ただし、将来的に品質が頭打ちになるなら、MuRAG 型の joint learning 発想は有力な次の一手になります。
Q. どんなプロダクトと相性が良いですか？
A. 文書AI、EC検索、製造保守、画面理解付きエージェント、画像付きFAQ との相性が良いです。共通点は、答えの根拠が文章と画像に分散していることです。
Q. MuRAG の結果から、今後どこを注目すべきですか？
A. マルチモーダルRAGでは generator より retriever 設計が重要になりやすい点です。どのモダリティを知識ストアへ入れるか、どう埋め込みを揃えるか、運用時の検索条件にどう適応させるかが、品質差を大きく左右します。
今日の学び
この論文は、オープンドメインQAで必要な知識が文章だけにあるとは限らないという課題を扱っています。そこで、画像とテキストを同じ外部メモリに入れ、検索結果を使って回答を生成する MuRAG というマルチモーダルRAGで解こうとしました。
ここから得られるヒントは、RAG を改善したいなら生成モデルだけでなく、検索対象そのものを見直すべきだということです。画像、図、UI、現場写真まで知識ストアに入れる発想は、今後のAIアプリ開発でかなり重要になりそうです。