タグ
#KIVIの記事一覧
1件の記事があります。
推論最適化
KIVIとは？KVキャッシュを2bit量子化して長文推論を軽くする技術
KIVIは、LLM推論時のボトルネックになりやすいKVキャッシュを、Keyはper-channel、Valueはper-tokenで非対称に2bit量子化する技術です。仕組み、実験結果、推論基盤への使い道を日本語で解説します。
参照論文：KIVI: A Tuning-Free Asymmetric 2bit Quantization for KV Cache