タグ
#正則化の記事一覧
3件の記事があります。
学習・ファインチューニング
AdamWとは？重みの減衰を勾配から分離し、モデルの汎化性能を改善する学習技術
AdamWは、Adamの適応的な勾配更新と重みの減衰を分ける最適化手法です。L2正則化との違い、モーメントと更新式、画像分類の実験条件から、専用モデルの学習設定やファインチューニングへの応用と注意点を解説します。
参照論文：Decoupled Weight Decay Regularization
学習・ファインチューニング
R-Dropとは？同じ入力への予測のずれを抑え、推論を重くせずにモデルを改善する学習技術
R-Dropは、異なるDropoutで得た2つの予測分布を近づける正則化手法です。双方向KLと教師損失の仕組み、翻訳・文章分類・画像分類の実験結果から、専用モデル開発への応用と学習コスト、実装時の注意点を解説します。
参照論文：R-Drop: Regularized Dropout for Neural Networks
学習・ファインチューニング
mixupとは？入力と正解ラベルを一緒に混ぜ、分類モデルの過学習を抑える技術
mixupは、2つの入力と正解ラベルを同じ比率で混ぜて学習するデータ拡張です。補間とソフトラベル、混合比の選び方、画像・音声分類の実験結果から、専用モデルの開発への応用と導入時の注意点を解説します。
参照論文：mixup: Beyond Empirical Risk Minimization