#位置表現の記事一覧

ALiBiとは？距離に応じたAttention補正で、短く学習して長い入力へ対応する技術

ALiBiは、トークン間の距離に比例した補正をAttentionスコアへ加える位置表現です。固定の傾きと長さ外挿の仕組み、言語モデルの実験結果から、学習コストの設計や長文AIの評価へのヒントと限界を解説します。

参照論文：Train Short, Test Long: Attention with Linear Biases Enables Input Length Extrapolation