タグ
#最適化の記事一覧
2件の記事があります。
学習・ファインチューニング
AdamWとは？重みの減衰を勾配から分離し、モデルの汎化性能を改善する学習技術
AdamWは、Adamの適応的な勾配更新と重みの減衰を分ける最適化手法です。L2正則化との違い、モーメントと更新式、画像分類の実験条件から、専用モデルの学習設定やファインチューニングへの応用と注意点を解説します。
参照論文：Decoupled Weight Decay Regularization
学習・ファインチューニング
SAMとは？重みを少し動かしても損失が低いモデルを学び、汎化性能を改善する技術
Sharpness-Aware Minimization（SAM）は、重みの近傍で損失が増えにくい解を探す学習手法です。2回の勾配計算による更新、画像分類の実験条件と結果、専用モデル開発への応用、学習コストや分散実装の注意点を解説します。
参照論文：Sharpness-Aware Minimization for Efficiently Improving Generalization