タグ
#対照学習の記事一覧
3件の記事があります。
マルチモーダル
CLIPとは？画像と文章を同じ空間で比較し、追加学習なしで分類や画像検索に使う技術
CLIPは画像と文章の対応を対照学習し、自然言語で分類対象を指定できる技術です。2つのエンコーダ、双方向の損失、プロンプトの役割と原論文の実験条件から、画像検索や分類の開発へのヒントと限界を解説します。
参照論文：Learning Transferable Visual Models From Natural Language Supervision
RAG・検索
E5とは？弱教師あり学習で文章の意味をベクトル化し、検索やRAGに活かす技術
E5は、Web上の文章ペアを選別して対照学習するテキスト埋め込み技術です。学習データの品質管理、queryとpassageの役割、検索評価の結果、RAGや問い合わせ分類への応用と導入時の注意点を解説します。
参照論文：Text Embeddings by Weakly-Supervised Contrastive Pre-training
RAG・検索
SimCSEとは？ドロップアウトだけで文埋め込みを強化し、検索・類似度計算を改善する手法
SimCSEは、同じ文を2回エンコードし、ドロップアウトの揺らぎだけを使って対照学習する文埋め込み手法です。仕組み、実験結果、検索やRAGでの使い道を日本語で解説します。
参照論文：SimCSE: Simple Contrastive Learning of Sentence Embeddings