#MInferenceの記事一覧

MInferenceとは？長文LLMのprefillを最大10倍高速化する動的疎Attention技術

MInferenceは、長文LLMのprefillで支配的になるAttention計算を、ヘッドごとの動的疎パターンで削減する推論最適化技術です。3種類の疎パターン、仕組み、実験結果、RAGやエージェント開発への応用ポイントを日本語で解説します。

参照論文：MInference 1.0: Accelerating Pre-filling for Long-Context LLMs via Dynamic Sparse Attention