タグ
#ELECTRAの記事一覧
1件の記事があります。
学習・ファインチューニング
ELECTRAとは？置換トークンの検出で、文章理解モデルの事前学習を効率化する技術
ELECTRAは、小さな生成器が置き換えたトークンを識別し、入力全体から文章表現を学ぶ技術です。BERTの穴埋め学習との違い、学習と推論の流れ、同じ計算予算での実験結果から、分類・文書QAへの応用と限界を解説します。
参照論文：ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators