タグ
#長文LLMの記事一覧
2件の記事があります。
LLM・基盤モデル
ALiBiとは？距離に応じたAttention補正で、短く学習して長い入力へ対応する技術
ALiBiは、トークン間の距離に比例した補正をAttentionスコアへ加える位置表現です。固定の傾きと長さ外挿の仕組み、言語モデルの実験結果から、学習コストの設計や長文AIの評価へのヒントと限界を解説します。
参照論文：Train Short, Test Long: Attention with Linear Biases Enables Input Length Extrapolation
評価・ベンチマーク
Lost in the Middleとは？長文LLMが中央の情報を見落とす問題とRAGの評価方法
長い入力を受け付けるLLMでも、その中の情報を均等に使えるとは限りません。Lost in the Middleの位置を変える評価方法、実験結果、RAGや社内文書QAの改善に活かす考え方を解説します。
参照論文：Lost in the Middle: How Language Models Use Long Contexts