タグ
#ALiBiの記事一覧
1件の記事があります。
LLM・基盤モデル
ALiBiとは？距離に応じたAttention補正で、短く学習して長い入力へ対応する技術
ALiBiは、トークン間の距離に比例した補正をAttentionスコアへ加える位置表現です。固定の傾きと長さ外挿の仕組み、言語モデルの実験結果から、学習コストの設計や長文AIの評価へのヒントと限界を解説します。
参照論文：Train Short, Test Long: Attention with Linear Biases Enables Input Length Extrapolation