タグ
#自然言語処理の記事一覧
2件の記事があります。
LLM・基盤モデル
DeBERTaとは？単語の内容と位置を分けてAttentionを計算し、文章理解を改善する技術
DeBERTaは、単語の内容と相対位置を別々に扱うAttentionと、絶対位置を補う穴埋め予測で文章理解を学ぶモデルです。3つのスコアの仕組み、実験条件、文章分類・文書QAへの応用と計算コストを解説します。
参照論文：DeBERTa: Decoding-enhanced BERT with Disentangled Attention
学習・ファインチューニング
ELECTRAとは？置換トークンの検出で、文章理解モデルの事前学習を効率化する技術
ELECTRAは、小さな生成器が置き換えたトークンを識別し、入力全体から文章表現を学ぶ技術です。BERTの穴埋め学習との違い、学習と推論の流れ、同じ計算予算での実験結果から、分類・文書QAへの応用と限界を解説します。
参照論文：ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators