タグ
#vAttentionの記事一覧
1件の記事があります。
推論最適化
vAttentionとは？PagedAttentionなしでLLMサービングのKVキャッシュ断片化を防ぐ技術
vAttentionは、KVキャッシュを仮想メモリ上では連続のまま保ちつつ、物理メモリだけを必要時に割り当てるLLM推論基盤技術です。PagedAttentionとの違い、仕組み、実験結果、実装や事業へのヒントを日本語で解説します。
参照論文：vAttention: Dynamic Memory Management for Serving LLMs without PagedAttention