タグ

#DoRAの記事一覧

1件の記事があります。

学習・ファインチューニング

DoRAとは？LoRAの精度差を埋める重み分解ファインチューニングの仕組みと使い道

DoRAは、LoRAの軽さを保ちながらフルファインチューニングに近い学習能力を目指すPEFT手法です。重みを大きさと向きに分ける考え方、仕組み、実験結果、開発への応用ポイントを日本語で解説します。

参照論文：DoRA: Weight-Decomposed Low-Rank Adaptation