タグ
#自己教師あり学習の記事一覧
7件の記事があります。
ELECTRAとは？置換トークンの検出で、文章理解モデルの事前学習を効率化する技術
ELECTRAは、小さな生成器が置き換えたトークンを識別し、入力全体から文章表現を学ぶ技術です。BERTの穴埋め学習との違い、学習と推論の流れ、同じ計算予算での実験結果から、分類・文書QAへの応用と限界を解説します。
参照論文：ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators
HuBERTとは？音声から作ったクラスタ番号の予測で、文字起こしに頼らず表現を学ぶ技術
HuBERTは、音声をクラスタリングして作った疑似ラベルを、隠した区間で予測する自己教師あり学習です。正解を作り直す反復学習、wav2vec 2.0との違い、音声認識の実験結果から、少量ラベルでの開発への応用と限界を解説します。
参照論文：HuBERT: Self-Supervised Speech Representation Learning by Masked Prediction of Hidden Units
TS2Vecとは？時系列からラベルなしで特徴を学び、予測や異常検知に活かす技術
TS2Vecは、時点・区間・系列全体の特徴を階層的な対照学習で獲得する技術です。文脈を変えた正例の作り方、拡張畳み込み、分類・予測・異常検知の実験結果から、センサーや稼働ログへの応用と導入時の注意点を解説します。
参照論文：TS2Vec: Towards Universal Representation of Time Series
wav2vec 2.0とは？文字起こしのない音声から学び、少量のラベルで音声認識へ適応する技術
wav2vec 2.0の自己教師あり音声学習を解説します。潜在表現のマスキング、量子化した正解との対照学習、CTCによる適応の仕組みと実験条件から、業務音声の文字起こしや少量データ開発へのヒントを整理します。
参照論文：wav2vec 2.0: A Framework for Self-Supervised Learning of Speech Representations
DINOv2とは？ラベルなし画像から学び、画像検索や分類に転用できる視覚特徴の技術
DINOv2は、画像全体とパッチ単位の自己教師あり学習で汎用的な視覚特徴を獲得する技術です。教師・生徒モデル、データ選別、蒸留の仕組みと実験結果、画像検索や少量ラベル分類への応用を解説します。
参照論文：DINOv2: Learning Robust Visual Features without Supervision
DINOv3とは？ラベルなし画像から高解像度の視覚特徴を学ぶ自己教師あり基盤モデル
DINOv3は、大規模なラベルなし画像から汎用的な視覚特徴を学習し、Gram anchoringで高解像度のdense feature劣化を抑える自己教師あり視覚基盤モデルです。仕組み、実験結果、AI開発への応用を解説します。
参照論文：DINOv3
Masked Autoencoders（MAE）とは？画像の75%を隠して表現学習する自己教師あり技術
Masked Autoencoders（MAE）は、画像の大部分を隠して欠けた部分を復元することで、ラベルなしデータから強い視覚表現を学ぶ自己教師あり学習技術です。非対称エンコーダ・デコーダ構造、高マスク率の意味、実験結果、実務での使い道を日本語で解説します。
参照論文：Masked Autoencoders Are Scalable Vision Learners