タグ
#FlexGenの記事一覧
1件の記事があります。
推論最適化
FlexGenとは？単一GPUで大規模LLMを高スループット実行するオフロード推論技術
FlexGenは、GPU・CPU・SSDをまたいで重みやKVキャッシュを配置し、単一GPUでも大規模LLMを高スループットで動かす推論最適化技術です。オフロード方針探索、4bit圧縮、実験結果、実務での使い道を日本語で解説します。
参照論文：FlexGen: High-Throughput Generative Inference of Large Language Models with a Single GPU