タグ
#ZeROの記事一覧
1件の記事があります。
AI開発基盤・MLOps
ZeROとは？巨大モデル学習のGPUメモリ不足を分散で解決する最適化技術
ZeROは、巨大モデル学習で重複していた optimizer state、gradient、parameter を分散保持し、少ないGPUメモリでも大規模学習を進めやすくする技術です。仕組み、実験結果、開発基盤への応用を日本語で解説します。
参照論文：ZeRO: Memory Optimizations Toward Training Trillion Parameter Models