カテゴリ

AI開発基盤・MLOpsの記事一覧

4件の記事があります。

AI開発基盤・MLOps

SGLangとは？複数LLM呼び出しを高速化し、エージェントやRAGを実装しやすくする技術

SGLangは、複数のLLM呼び出しを含むAIアプリをPythonライクに記述しつつ、KVキャッシュ再利用や並列実行で高速化する技術です。RadixAttention、fork/join、構造化出力、長文処理への使い道まで日本語で解説します。

参照論文：SGLang: Efficient Execution of Structured Language Model Programs

AI開発基盤・MLOps

ZeROとは？巨大モデル学習のGPUメモリ不足を分散で解決する最適化技術

ZeROは、巨大モデル学習で重複していた optimizer state、gradient、parameter を分散保持し、少ないGPUメモリでも大規模学習を進めやすくする技術です。仕組み、実験結果、開発基盤への応用を日本語で解説します。

参照論文：ZeRO: Memory Optimizations Toward Training Trillion Parameter Models

AI開発基盤・MLOps

DSPyとは？プロンプト頼みのLLM開発を自己改善パイプラインに変える技術を解説

DSPyは、LLMアプリを宣言的なモジュールとして記述し、評価指標に合わせてプロンプトやデモ例、構成を自動最適化する技術です。仕組み、実験結果、RAGやエージェント開発への使い道を日本語で解説します。

参照論文：DSPy: Compiling Declarative Language Model Calls into Self-Improving Pipelines

AI開発基盤・MLOps

TextGradとは？自然言語のフィードバックでAIシステムを最適化する手法を解説

TextGradは、LLMが返す自然言語の批評を勾配のように扱い、プロンプトや回答、コード、エージェント構成まで改善していく最適化手法です。仕組み、評価結果、実務での使い道を技術的に解説します。

参照論文：Optimizing generative AI by backpropagating language model feedback