タグ
#R-Dropの記事一覧
1件の記事があります。
学習・ファインチューニング
R-Dropとは？同じ入力への予測のずれを抑え、推論を重くせずにモデルを改善する学習技術
R-Dropは、異なるDropoutで得た2つの予測分布を近づける正則化手法です。双方向KLと教師損失の仕組み、翻訳・文章分類・画像分類の実験結果から、専用モデル開発への応用と学習コスト、実装時の注意点を解説します。
参照論文：R-Drop: Regularized Dropout for Neural Networks