タグ
#Attentionの記事一覧
3件の記事があります。
LLM・基盤モデル
DeBERTaとは？単語の内容と位置を分けてAttentionを計算し、文章理解を改善する技術
DeBERTaは、単語の内容と相対位置を別々に扱うAttentionと、絶対位置を補う穴埋め予測で文章理解を学ぶモデルです。3つのスコアの仕組み、実験条件、文章分類・文書QAへの応用と計算コストを解説します。
参照論文：DeBERTa: Decoding-enhanced BERT with Disentangled Attention
AI開発基盤・MLOps
FlexAttentionとは？Attentionの独自ルールを短いコードで書き、高速なGPU処理へ変換する技術
FlexAttentionは、Attentionのスコア補正や参照範囲をPyTorchの関数で定義し、融合GPUカーネルを生成する技術です。BlockMaskとコンパイルの仕組み、実験条件、可変長データの学習や推論基盤への応用を解説します。
参照論文：Flex Attention: A Programming Model for Generating Optimized Attention Kernels
LLM・基盤モデル
Differential Transformerとは？ノイズを打ち消す差分アテンションで長文理解を強くする技術
Differential Transformerは、2つのsoftmax注意マップの差分で不要な文脈ノイズを打ち消す新しいTransformerです。仕組み、通常のattentionとの違い、実験結果、RAGや長文処理への使い道を日本語で整理します。
参照論文：Differential Transformer