タグ
#LoRAの記事一覧
2件の記事があります。
学習・ファインチューニング
DoRAとは？LoRAの精度差を埋める重み分解ファインチューニングの仕組みと使い道
DoRAは、LoRAの軽さを保ちながらフルファインチューニングに近い学習能力を目指すPEFT手法です。重みを大きさと向きに分ける考え方、仕組み、実験結果、開発への応用ポイントを日本語で解説します。
参照論文：DoRA: Weight-Decomposed Low-Rank Adaptation
学習・ファインチューニング
LoRAとは？少ない学習パラメータで大規模モデルを適応させる低ランクファインチューニングを解説
LoRAは、事前学習済みモデル本体を凍結したまま、低ランク行列だけを学習して新しいタスクに適応させる手法です。なぜ軽くて強いのか、仕組み、実験結果、実装へのヒントを日本語で整理します。
参照論文：LoRA: Low-Rank Adaptation of Large Language Models