タグ

#Speculative Decodingの記事一覧

6件の記事があります。

SpecInferとは？トークン木でLLM推論を高速化する投機的デコーディング手法

SpecInferは、小さな補助モデルが作る候補列をトークン木としてまとめ、大規模LLMでまとめて検証する推論高速化手法です。通常の speculative decoding との違い、仕組み、実験結果、使い道を日本語で整理します。

参照論文：SpecInfer: Accelerating Generative Large Language Model Serving with Tree-based Speculative Inference and Verification

Sequoiaは、speculative decodingのドラフト木をモデルやGPUに合わせて最適化し、LLM推論を高速化する手法です。なぜ従来法が伸びにくかったのか、木構造の設計、検証アルゴリズム、実運用での使い道まで日本語で整理します。

参照論文：Sequoia: Scalable, Robust, and Hardware-aware Speculative Decoding

RAPIDは、長文コンテキストLLMの推論をRAGベースのドラフト生成と推論時知識転移で高速化しつつ、応答品質まで引き上げる手法です。長文推論がなぜ遅いのか、どこでRAGが効くのか、実装の勘所まで技術的に解説します。

参照論文：RAPID: Long-Context Inference with Retrieval-Augmented Speculative Decoding

SWIFTは、同じLLMの一部の層をスキップして軽量なドラフトモデルをその場で作り、追加学習なしで推論を1.3〜1.6倍高速化する手法です。自己スペキュレーティブデコーディングの考え方、仕組み、使い道を論文ベースで解説します。

参照論文：SWIFT: On-the-Fly Self-Speculative Decoding for LLM Inference Acceleration

Speculative Decodingは、小さなドラフトモデルで先読みした候補を大きな本命モデルがまとめて検証し、出力分布を変えずにLLM推論を高速化する技術です。仕組み、評価結果、実務での使い道まで日本語で整理します。

参照論文：Fast Inference from Transformers via Speculative Decoding

Medusaは、LLMに複数の軽量デコードヘッドを追加して複数トークンを並列予測し、推論を高速化する手法です。別のドラフトモデルを使わずに速くする考え方、仕組み、評価結果、実装へのヒントを技術的に解説します。

参照論文：Medusa: Simple LLM Inference Acceleration Framework with Multiple Decoding Heads