タグ
#State Space Modelの記事一覧
1件の記事があります。
LLM・基盤モデル
Mamba-2とは？SSMとAttentionをつなぎ長文LLMを高速化するStructured State Space Duality
Mamba-2は、状態空間モデルとattentionをStructured State Space Dualityで結び、GPUの行列演算を活かして長文系列を効率よく処理するLLMアーキテクチャです。仕組み、評価結果、AI開発への応用を日本語で解説します。
参照論文：Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality