タグ
#TTT Layersの記事一覧
1件の記事があります。
LLM・基盤モデル
TTT Layersとは？推論中に学習して長文に強くなる新しい系列モデル
TTT Layersは、推論時に隠れ状態そのものを学習器として更新し、長文コンテキストを線形計算量で扱おうとする系列モデルです。仕組み、TransformerやMambaとの違い、実験結果、実務での使い道を日本語で整理します。
参照論文：Learning to (Learn at Test Time): RNNs with Expressive Hidden States