毎日AI論文解説

AWQとは？LLMを4bit量子化して軽く速く動かす技術

AWQは、活性値を見て重要な重みチャネルを保護しながらLLMを4bit量子化する技術です。仕組み、実験結果、推論最適化やエッジ配備への使い道を日本語で解説します。

参照論文：AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration

SmoothQuantとは？LLMをW8A8量子化して推論を高速化する技術

SmoothQuantは、活性値の外れ値を重み側へオフラインで移し、LLMのW8A8量子化を実用化する技術です。仕組み、実験結果、推論最適化への使い道を日本語で解説します。

参照論文：SmoothQuant: Accurate and Efficient Post-Training Quantization for Large Language Models

データセット・データ処理

SemDeDupとは？学習データの意味的重複を削ってAI学習を速くする技術

SemDeDupは、埋め込み空間で意味的に似すぎたデータを見つけて除去し、モデル性能をほぼ維持したまま学習コストを下げる技術です。仕組み、実験結果、RAGやデータ基盤への応用を日本語で解説します。

参照論文：SemDeDup: Data-efficient learning at web-scale through semantic deduplication

Activation Beaconとは？長文コンテキストを圧縮してLLMの文脈長と推論効率を伸ばす技術

Activation Beaconは、長い入力を beacon token のKV表現に圧縮し、LLMの短いコンテキスト窓でもより長い文脈を扱えるようにする手法です。仕組み、実験結果、RAGや長文エージェントへの使い道を日本語で解説します。

参照論文：Long Context Compression with Activation Beacon

Contrastive Decodingとは？追加学習なしでLLMの出力品質を改善する推論手法

Contrastive Decodingは、大きな言語モデルと小さな言語モデルの確率差を使って、繰り返しや話題逸脱を抑える推論手法です。学習不要で導入できる仕組み、実験結果、LLMアプリへの使い道を日本語で解説します。

参照論文：Contrastive Decoding: Open-ended Text Generation as Optimization

その他AI技術

Segment Anythingとは？クリックや枠指定で画像を切り抜ける汎用セグメンテーション技術

Segment Anythingは、点や矩形などのプロンプトを与えるだけで対象領域を切り出せる画像セグメンテーション技術です。SAMのモデル構造、SA-1Bデータセット、ゼロショット転用、開発への使い道を日本語で解説します。

参照論文：Segment Anything

マルチモーダル

LLaVAとは？画像を見て会話できるマルチモーダルAIの仕組みと実務での使い道

LLaVAは、CLIPの画像理解とLLMの対話能力をつなぎ、画像を見ながら自然言語で応答できるようにしたマルチモーダル技術です。Visual Instruction Tuningの考え方、2段階学習、評価結果、開発への応用ポイントを日本語で解説します。

参照論文：Visual Instruction Tuning

GraphReaderとは？長文をグラフ化して小さなコンテキストでも読めるAIエージェント技術

GraphReaderは、長い文書をそのままLLMに流し込む代わりに、文書をグラフ構造へ変換し、エージェントが必要なノードだけを探索しながら答えを組み立てる技術です。長文QA、RAG、社内検索への使い道まで日本語で解説します。

参照論文：GraphReader: Building Graph-based Agent to Enhance Long-Context Abilities of Large Language Models

SGLangとは？複数LLM呼び出しを高速化し、エージェントやRAGを実装しやすくする技術

SGLangは、複数のLLM呼び出しを含むAIアプリをPythonライクに記述しつつ、KVキャッシュ再利用や並列実行で高速化する技術です。RadixAttention、fork/join、構造化出力、長文処理への使い道まで日本語で解説します。

参照論文：SGLang: Efficient Execution of Structured Language Model Programs

画像・動画生成

DreamBoothとは？少数画像で被写体を学習し、本人・商品・キャラクターを生成できる技術

DreamBoothは、3〜5枚ほどの画像から特定の被写体を拡散モデルに学習させ、別の構図や背景でも同じ対象を生成できる画像生成技術です。識別子トークン、prior preservation loss、仕組み、実験結果、実務での使い道を日本語で解説します。

参照論文：DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Driven Generation

FlexGenとは？単一GPUで大規模LLMを高スループット実行するオフロード推論技術

FlexGenは、GPU・CPU・SSDをまたいで重みやKVキャッシュを配置し、単一GPUでも大規模LLMを高スループットで動かす推論最適化技術です。オフロード方針探索、4bit圧縮、実験結果、実務での使い道を日本語で解説します。

参照論文：FlexGen: High-Throughput Generative Inference of Large Language Models with a Single GPU

音声AI

Whisperとは？雑音や多言語に強い音声認識基盤モデルの仕組みと使い道

Whisperは、68万時間の多言語・マルチタスク音声データで学習された音声認識モデルです。なぜ従来のASRより頑健なのか、30秒単位の処理や特殊トークン設計、ゼロショット性能、実務での活かし方まで技術的に解説します。

参照論文：Robust Speech Recognition via Large-Scale Weak Supervision

StreamingLLMとは？長時間会話を止めずに続けるAttention Sinkベースの無限長推論技術

StreamingLLMは、LLMの冒頭トークンをAttention Sinkとして残しながら最近のトークンだけを保持し、長時間会話や連続入力を安定して処理する推論最適化技術です。仕組み、課題、実験結果、エージェントやチャット開発への使い道を日本語で解説します。

参照論文：Efficient Streaming Language Models with Attention Sinks

MInferenceとは？長文LLMのprefillを最大10倍高速化する動的疎Attention技術

MInferenceは、長文LLMのprefillで支配的になるAttention計算を、ヘッドごとの動的疎パターンで削減する推論最適化技術です。3種類の疎パターン、仕組み、実験結果、RAGやエージェント開発への応用ポイントを日本語で解説します。

参照論文：MInference 1.0: Accelerating Pre-filling for Long-Context LLMs via Dynamic Sparse Attention

vAttentionとは？PagedAttentionなしでLLMサービングのKVキャッシュ断片化を防ぐ技術

vAttentionは、KVキャッシュを仮想メモリ上では連続のまま保ちつつ、物理メモリだけを必要時に割り当てるLLM推論基盤技術です。PagedAttentionとの違い、仕組み、実験結果、実装や事業へのヒントを日本語で解説します。

参照論文：vAttention: Dynamic Memory Management for Serving LLMs without PagedAttention

KIVIとは？KVキャッシュを2bit量子化して長文推論を軽くする技術

KIVIは、LLM推論時のボトルネックになりやすいKVキャッシュを、Keyはper-channel、Valueはper-tokenで非対称に2bit量子化する技術です。仕組み、実験結果、推論基盤への使い道を日本語で解説します。

参照論文：KIVI: A Tuning-Free Asymmetric 2bit Quantization for KV Cache

ZeROとは？巨大モデル学習のGPUメモリ不足を分散で解決する最適化技術

ZeROは、巨大モデル学習で重複していた optimizer state、gradient、parameter を分散保持し、少ないGPUメモリでも大規模学習を進めやすくする技術です。仕組み、実験結果、開発基盤への応用を日本語で解説します。

参照論文：ZeRO: Memory Optimizations Toward Training Trillion Parameter Models

Reflexionとは？失敗の言語化メモでAIエージェントを改善するVerbal Reinforcement Learning

Reflexionは、AIエージェントが失敗理由を自然言語で振り返り、メモとして次回試行に持ち越す技術です。仕組み、実験結果、エージェント開発での使い道を日本語で解説します。

参照論文：Reflexion: Language Agents with Verbal Reinforcement Learning

SimCSEとは？ドロップアウトだけで文埋め込みを強化し、検索・類似度計算を改善する手法

SimCSEは、同じ文を2回エンコードし、ドロップアウトの揺らぎだけを使って対照学習する文埋め込み手法です。仕組み、実験結果、検索やRAGでの使い道を日本語で解説します。

参照論文：SimCSE: Simple Contrastive Learning of Sentence Embeddings

RAFTとは？RAG前提でLLMを学習し、検索ノイズに強くするドメイン適応手法

RAFTは、RAGで使う検索文書を学習時からLLMに見せ、正解文書とノイズ文書を見分けながら答える力を鍛える学習手法です。仕組み、実験結果、実務での使い道を日本語で解説します。

参照論文：RAFT: Adapting Language Model to Domain Specific RAG

H2Oとは？KVキャッシュを圧縮して長文LLM推論を高速化するHeavy-Hitter保持手法

H2Oは、LLM推論で増え続けるKVキャッシュの中から重要トークンと直近トークンを残すことで、精度を保ちながらメモリ使用量とレイテンシを抑える推論最適化手法です。仕組み、実験結果、実務での使い道を日本語で解説します。

参照論文：H2O: Heavy-Hitter Oracle for Efficient Generative Inference of Large Language Models

Self-Consistencyとは？複数の推論経路から最終回答を安定化するLLM推論手法

Self-Consistencyは、LLMに複数の推論経路を生成させ、最も一貫した答えを採用する推論時手法です。Chain-of-Thoughtの弱点、仕組み、実験結果、実務での使い道を日本語で解説します。

参照論文：Self-Consistency Improves Chain of Thought Reasoning in Language Models

Prefix-Tuningとは？仮想トークンで大規模モデルを軽量に適応する仕組みと使い道

Prefix-Tuningは、事前学習済みモデル本体を凍結したまま、連続ベクトルのプレフィックスだけを学習してタスク適応する手法です。仮想トークンの考え方、仕組み、実験結果、実務での使い道を日本語で解説します。

参照論文：Prefix-Tuning: Optimizing Continuous Prompts for Generation

DoRAとは？LoRAの精度差を埋める重み分解ファインチューニングの仕組みと使い道

DoRAは、LoRAの軽さを保ちながらフルファインチューニングに近い学習能力を目指すPEFT手法です。重みを大きさと向きに分ける考え方、仕組み、実験結果、開発への応用ポイントを日本語で解説します。

参照論文：DoRA: Weight-Decomposed Low-Rank Adaptation

評価・ベンチマーク

ARESとは？RAGの検索精度・忠実性・回答関連性を自動評価する仕組みと使い道

ARESは、RAGシステムの評価を人手だけに頼らず、自動生成した評価データと小型判定モデルで回せる評価フレームワークです。何をどう評価するのか、仕組み、実験結果、実務での使い道まで日本語で解説します。

参照論文：ARES: An Automated Evaluation Framework for Retrieval-Augmented Generation Systems

ColPaliとは？PDFを画像のまま検索できる視覚RAGの仕組みと使い道

ColPaliは、PDFをOCRでテキスト化してから検索するのではなく、ページ画像をそのまま埋め込み検索する文書検索技術です。図表やレイアウトを含む文書検索でなぜ強いのか、仕組み、評価結果、RAGへの使い道まで日本語で解説します。

参照論文：ColPali: Efficient Document Retrieval with Vision Language Models

Late Chunkingとは？RAGの文脈切れを減らす埋め込み分割の仕組みと使い道

Late Chunkingは、文書を先に小さく分割するのではなく、全文を一度エンコードしてからチャンク単位に埋め込みを作る手法です。RAGや検索で起きやすい文脈切れをなぜ減らせるのか、仕組み、評価結果、実務での使い道まで日本語で解説します。

参照論文：Late Chunking: Contextual Chunk Embeddings Using Long-Context Embedding Models

Token Mergingとは？Vision Transformerを高速化するトークン統合の仕組みと使い道

Token Merging（ToMe）は、Vision Transformerの似たトークンを段階的に統合し、再学習なしでも推論を大きく高速化できる手法です。なぜトークン削減が効くのか、どのように精度低下を抑えるのか、画像・動画・音声や生成AIへどう応用できるのかを解説します。

参照論文：Token Merging: Your ViT But Faster

音声AI

SpecAugmentとは？音声認識の精度を上げるスペクトログラム拡張の仕組みと使い道

SpecAugmentは、音声のスペクトログラムに時間方向・周波数方向のマスキングや時間伸縮を加えるだけで、音声認識モデルの汎化性能を大きく高める学習手法です。なぜ単純な欠損付与が効くのか、どのように学習へ組み込むのか、音声AIや系列モデル開発にどう応用できるのかを解説します。

参照論文：SpecAugment: A Simple Data Augmentation Method for Automatic Speech Recognition

画像・動画生成

ControlNetとは？画像生成を構図や線画で制御できる拡散モデル拡張の仕組みと使い道

ControlNetは、既存の拡散モデルを凍結しつつ、エッジ・深度・ポーズなどの空間条件を追加して画像生成を細かく制御する技術です。なぜプロンプトだけでは足りないのか、どう実装されているのか、開発でどこに応用できるのかを技術的に解説します。

参照論文：Adding Conditional Control to Text-to-Image Diffusion Models

Matryoshka Representation Learningとは？1つの埋め込みを用途ごとに縮めて使える多粒度表現学習の仕組みと使い道

Matryoshka Representation Learningは、1本の埋め込みベクトルの先頭側に重要情報を詰め込み、短い次元でも長い次元でも使えるようにする学習手法です。なぜ固定長埋め込みが非効率なのか、どうやって多粒度表現を作るのか、検索やRAGでどう活かせるのかを解説します。

参照論文：Matryoshka Representation Learning

マルチモーダル

BLIP-2とは？少ない学習コストで画像理解をLLMにつなぐQ-Formerの仕組みと使い道

BLIP-2は、凍結した画像エンコーダと大規模言語モデルをQ-Formerで接続し、少ない学習コストで高性能なマルチモーダル処理を実現する技術です。なぜ画像とLLMの接続が難しいのか、BLIP-2がどう解くのか、開発でどこに応用できるのかを解説します。

参照論文：BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models

HyDEとは？関連ラベルなしで検索精度を上げる仮想文書ベース検索の仕組みと使い道

HyDEは、質問からまず“答えらしき文書”を生成し、その文書をベクトル化して検索することで、学習データなしでも密ベクトル検索を強くする技術です。ゼロショット検索がなぜ難しいのか、HyDEがどう解くのか、RAGや社内検索にどう応用できるのかを解説します。

参照論文：Precise Zero-Shot Dense Retrieval without Relevance Labels

CRAGとは？検索ミスに強いRAGを実現する補正型検索拡張生成の仕組みと使い道

CRAGは、RAGで取得した文書の質を先に判定し、ダメならWeb検索で補い、使える部分だけを再構成して回答する技術です。検索失敗に弱い従来RAGをどう補正するのか、仕組みと実務での活かし方を解説します。

参照論文：Corrective Retrieval Augmented Generation

LongLLMLinguaとは？長文プロンプトを圧縮してLLMの精度・速度・コストを同時に改善する技術

LongLLMLinguaは、質問に関係する情報を残しながら長文プロンプトを段階的に圧縮し、LLMの長文処理を安く速くしつつ精度低下も抑える技術です。RAGや長文QA、要約で効く仕組みと実務での使い道を解説します。

参照論文：LongLLMLingua: Accelerating and Enhancing LLMs in Long Context Scenarios via Prompt Compression

Mixture-of-Depthsとは？Transformerの計算量を減らしつつ性能を保つ動的トークンルーティングを解説

Mixture-of-Depthsは、Transformerの各層で重要なトークンだけに重い計算を回し、他のトークンは残差経路でスキップさせる技術です。静的な計算グラフを保ちながら計算配分を動的化する仕組みと、推論高速化やモデル設計への使い道を整理します。

参照論文：Mixture-of-Depths: Dynamically allocating compute in transformer-based language models

Prompt Cacheとは？共通プロンプトを再計算せずLLM推論を高速化する仕組みと使い道を解説

Prompt Cacheは、システムプロンプトやテンプレート、参照文書などの共通部分を prompt module としてキャッシュし、LLM の attention state を再利用する推論最適化技術です。KVキャッシュをリクエスト間へ拡張する考え方と実務での使い道を日本語で整理します。

参照論文：Prompt Cache: Modular Attention Reuse for Low-Latency Inference

BitNetとは？1.58bitでLLMを軽く速くする1-bit事前学習の仕組みと使い道を解説

BitNetは、Transformerの線形層をBitLinearに置き換え、重みを1bitまたは1.58bitで最初から学習する技術です。量子化後処理より低コストで、同規模FP16モデルに近い性能を狙う考え方を日本語で整理します。

参照論文：BitNet: 1-bit Pre-training for Large Language Models

LLM・基盤モデル

LongRoPEとは？LLMのコンテキスト長を200万トークン超まで伸ばす仕組みと使い道を解説

LongRoPEは、RoPEの位置補間を次元ごと・位置ごとに最適化し、段階的な拡張と短文脈性能の回復を組み合わせて、既存LLMのコンテキスト長を2048kまで伸ばす技術です。長文RAGやAIエージェントにどう効くのかを日本語で解説します。

参照論文：LongRoPE: Extending LLM Context Window Beyond 2 Million Tokens

DSPyとは？プロンプト頼みのLLM開発を自己改善パイプラインに変える技術を解説

DSPyは、LLMアプリを宣言的なモジュールとして記述し、評価指標に合わせてプロンプトやデモ例、構成を自動最適化する技術です。仕組み、実験結果、RAGやエージェント開発への使い道を日本語で解説します。

参照論文：DSPy: Compiling Declarative Language Model Calls into Self-Improving Pipelines

TextGradとは？自然言語のフィードバックでAIシステムを最適化する手法を解説

TextGradは、LLMが返す自然言語の批評を勾配のように扱い、プロンプトや回答、コード、エージェント構成まで改善していく最適化手法です。仕組み、評価結果、実務での使い道を技術的に解説します。

参照論文：Optimizing generative AI by backpropagating language model feedback

GraphRAGとは？ナレッジグラフで複雑な全体質問に強いRAGの仕組みと使い道

GraphRAGは、文書群からエンティティと関係を抽出してナレッジグラフを作り、コミュニティ要約を使って全体傾向を答えるRAG手法です。通常のベクトル検索RAGが苦手な横断要約や複雑な質問にどう効くのかを技術的に整理します。

参照論文：From Local to Global: A Graph RAG Approach to Query-Focused Summarization

ReActとは？推論と行動を交互に回してLLMエージェントを安定化する技術

ReActは、LLMに考える過程と外部アクションを交互に出させることで、検索・ツール利用・逐次タスク実行を安定させる技術です。エージェント設計の基本として、仕組みと使い道を技術的に整理します。

参照論文：ReAct: Synergizing Reasoning and Acting in Language Models

Toolformerとは？LLMが自分でAPIを呼び出す自己教師ありツール利用学習の仕組み

Toolformerは、少数のAPI使用例だけを手がかりに、LLMがいつツールを呼ぶべきか、何を渡すべきか、返り値をどう使うべきかを自己教師ありで学ぶ技術です。エージェントや業務自動化にどう効くのかを技術的に整理します。

参照論文：Toolformer: Language Models Can Teach Themselves to Use Tools

LLM・基盤モデル

Switch Transformerとは？計算量を増やさずにモデル容量を拡張する疎なMoEの仕組みと使い道

Switch Transformerは、トークンごとに1つの専門家だけを選ぶ疎なMixture of Expertsで、計算量を大きく増やさずにモデル容量を拡張する技術です。top-1ルーティング、負荷分散、学習安定化、実務での応用可能性を整理します。

参照論文：Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity

LayerSkipとは？追加モデルなしでLLM推論を高速化する早期退出と自己Speculative Decodingの仕組み

LayerSkipは、LLMの中間層から早めに出力を作れるよう訓練し、同じモデルだけでspeculative decodingを行う推論最適化技術です。追加ドラフトモデルを持たずに高速化する考え方、仕組み、実務での使い道を整理します。

参照論文：LayerSkip: Enabling Early Exit Inference and Self-Speculative Decoding

Grouped-Query Attentionとは？KVキャッシュを減らして推論を速くする仕組みと使い道

Grouped-Query Attentionは、TransformerのAttentionで使うKey/Valueヘッドを共有し、品質を保ちながら推論を軽くしやすくする技術です。GQAの仕組み、既存手法との違い、実務での使い道を日本語で整理します。

参照論文：GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints

Speculative Decodingとは？LLM推論を品質そのままで高速化する仕組みと使い道

Speculative Decodingは、小さなドラフトモデルで先読みした候補を大きな本命モデルがまとめて検証し、出力分布を変えずにLLM推論を高速化する技術です。仕組み、評価結果、実務での使い道まで日本語で整理します。

参照論文：Fast Inference from Transformers via Speculative Decoding

LLM・基盤モデル

Mambaとは？線形時間で長文を扱える選択的状態空間モデルの仕組みと使い道

Mambaは、Transformerの二乗計算コストを避けながら、入力内容に応じて記憶を選別できる選択的状態空間モデルです。Selective SSM、並列スキャン、長文処理への強さ、実務での応用可能性を日本語で整理します。

参照論文：Mamba: Linear-Time Sequence Modeling with Selective State Spaces

QLoRAとは？4bit量子化で大規模モデルを省メモリにファインチューニングする技術

QLoRAは、事前学習済みLLMを4bit量子化したまま凍結し、LoRAだけを学習して大規模モデルを少ないGPUメモリで調整する技術です。NF4、Double Quantization、Paged Optimizerの仕組みと、実務での使い道を日本語で整理します。

参照論文：QLoRA: Efficient Finetuning of Quantized LLMs

ColBERTv2とは？RAG検索の精度を保ったままインデックスを軽量化する検索技術

ColBERTv2は、トークン単位で意味を照合するlate interaction検索の強みを保ちながら、残差圧縮と蒸留学習で実用性を高めた検索技術です。RAGや社内検索でなぜ効くのか、仕組み、実験結果、開発への応用まで日本語で整理します。

参照論文：ColBERTv2: Effective and Efficient Retrieval via Lightweight Late Interaction

DPOとは？RLHFを単純化して選好学習を直接最適化する仕組みと使い道

DPOは、報酬モデル学習とPPOを使わずに、好ましい応答と好ましくない応答の比較データからLLMを直接学習させる手法です。RLHFとの違い、数式の考え方、実験結果、実務での応用ポイントを日本語で整理します。

参照論文：Direct Preference Optimization: Your Language Model is Secretly a Reward Model

PagedAttentionとは？LLMサービングのKVキャッシュ断片化を減らし高スループット化する仕組みと使い道

PagedAttentionは、LLM推論で肥大化するKVキャッシュをページ単位で管理し、メモリ断片化と重複を抑える技術です。vLLMの中核になったこの仕組みを、課題、実装アイデア、実験結果、開発への応用まで日本語で整理します。

参照論文：Efficient Memory Management for Large Language Model Serving with PagedAttention

FlashAttentionとは？長文LLMを高速・省メモリにするIO-aware Attention最適化の仕組みと使い道

FlashAttentionは、TransformerのAttentionを近似せずに高速化・省メモリ化するカーネル最適化です。なぜ長文処理で効くのか、HBMとSRAMを意識した仕組み、実験結果、開発への応用ポイントを日本語で整理します。

参照論文：FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness

LoRAとは？少ない学習パラメータで大規模モデルを適応させる低ランクファインチューニングを解説

LoRAは、事前学習済みモデル本体を凍結したまま、低ランク行列だけを学習して新しいタスクに適応させる手法です。なぜ軽くて強いのか、仕組み、実験結果、実装へのヒントを日本語で整理します。

参照論文：LoRA: Low-Rank Adaptation of Large Language Models

Self-RAGとは？必要なときだけ検索し根拠を自己点検するRAG手法を解説

Self-RAGは、LLMが必要なときだけ検索し、取り込んだ根拠と自分の出力を自己評価しながら生成するRAG手法です。固定検索型RAGとの違い、仕組み、実験結果、実装へのヒントを日本語で整理します。

参照論文：Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection

Medusaとは？LLM推論を高速化する複数デコードヘッドの仕組みと使い道

Medusaは、LLMに複数の軽量デコードヘッドを追加して複数トークンを並列予測し、推論を高速化する手法です。別のドラフトモデルを使わずに速くする考え方、仕組み、評価結果、実装へのヒントを技術的に解説します。

参照論文：Medusa: Simple LLM Inference Acceleration Framework with Multiple Decoding Heads