タグ
#データ効率化の記事一覧
1件の記事があります。
データセット・データ処理
SemDeDupとは？学習データの意味的重複を削ってAI学習を速くする技術
SemDeDupは、埋め込み空間で意味的に似すぎたデータを見つけて除去し、モデル性能をほぼ維持したまま学習コストを下げる技術です。仕組み、実験結果、RAGやデータ基盤への応用を日本語で解説します。
参照論文：SemDeDup: Data-efficient learning at web-scale through semantic deduplication