タグ
#長文コンテキストの記事一覧
2件の記事があります。
推論最適化
Activation Beaconとは？長文コンテキストを圧縮してLLMの文脈長と推論効率を伸ばす技術
Activation Beaconは、長い入力を beacon token のKV表現に圧縮し、LLMの短いコンテキスト窓でもより長い文脈を扱えるようにする手法です。仕組み、実験結果、RAGや長文エージェントへの使い道を日本語で解説します。
参照論文：Long Context Compression with Activation Beacon
LLM・基盤モデル
LongRoPEとは？LLMのコンテキスト長を200万トークン超まで伸ばす仕組みと使い道を解説
LongRoPEは、RoPEの位置補間を次元ごと・位置ごとに最適化し、段階的な拡張と短文脈性能の回復を組み合わせて、既存LLMのコンテキスト長を2048kまで伸ばす技術です。長文RAGやAIエージェントにどう効くのかを日本語で解説します。
参照論文：LongRoPE: Extending LLM Context Window Beyond 2 Million Tokens