タグ
#PEFTの記事一覧
3件の記事があります。
学習・ファインチューニング
Prefix-Tuningとは？仮想トークンで大規模モデルを軽量に適応する仕組みと使い道
Prefix-Tuningは、事前学習済みモデル本体を凍結したまま、連続ベクトルのプレフィックスだけを学習してタスク適応する手法です。仮想トークンの考え方、仕組み、実験結果、実務での使い道を日本語で解説します。
参照論文：Prefix-Tuning: Optimizing Continuous Prompts for Generation
学習・ファインチューニング
DoRAとは？LoRAの精度差を埋める重み分解ファインチューニングの仕組みと使い道
DoRAは、LoRAの軽さを保ちながらフルファインチューニングに近い学習能力を目指すPEFT手法です。重みを大きさと向きに分ける考え方、仕組み、実験結果、開発への応用ポイントを日本語で解説します。
参照論文：DoRA: Weight-Decomposed Low-Rank Adaptation
学習・ファインチューニング
LoRAとは？少ない学習パラメータで大規模モデルを適応させる低ランクファインチューニングを解説
LoRAは、事前学習済みモデル本体を凍結したまま、低ランク行列だけを学習して新しいタスクに適応させる手法です。なぜ軽くて強いのか、仕組み、実験結果、実装へのヒントを日本語で整理します。
参照論文：LoRA: Low-Rank Adaptation of Large Language Models