https://akenji3.github.io/tags/horovod/ Recent content in Horovod on akenji's lab Hugo ja Sat, 04 Nov 2023 00:00:00 +0000 https://akenji3.github.io/post/20231104_horovod_modifycnn/ Sat, 04 Nov 2023 00:00:00 +0000 https://akenji3.github.io/post/20231104_horovod_modifycnn/ <h2 id="はじめに">はじめに</h2> <p><a href="https://akenji3.github.io/post/20231014_horovodindocker/">Horovod in Dockerを試す</a>で、自分の環境（オンプレミス）で、Docker環境下でHorovodを使えるようになった。次にやるべきことは、一台のサーバで動作する学習コードをHorovodを使った分散学習に適用するように変更することだ！手始めに比較的簡単なCNNコードをHorovodを使って分散学習できるように変更したので、以下記事にまとめる。</p> https://akenji3.github.io/post/20231014_horovodindocker/ Sat, 14 Oct 2023 00:00:00 +0000 https://akenji3.github.io/post/20231014_horovodindocker/ <h2 id="モチベーション">モチベーション</h2> <p>一年ぐらい前から分散学習（Distributed Training）に興味を持っていた。そのため複数のTITAN-Vが使えるマシンを用意し、Horovodという分散学習フレームワークを試していた。この度ようやく分散学習サンプルを動かすことが出来たので、ここに投稿する。</p>