| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2023-10-05 10:10 ［奨励講演］分散深層学習におけるヒューリスティックアルゴリズムに基づく通信スケジューリング ○福田竜大・橘 拓至（福井大）  NS2023-86 |
|
| 抄録 | （和） | 複数のプロセッサを使用する分散深層学習では，各プロセッサで学習処理を実行することで学習時間を大幅に短縮できる．しかしながら，分散深層学習では学習中にプロセッサ間で勾配データを通信する必要があり，通信処理時間が学習時間に大きく影響する．通信処理時間を短縮するために，パイプライン処理に基づくパイプライン法やデータ圧縮に基づく勾配圧縮法などが利用される．本稿では，複数のデータ圧縮技術と通信方式を考慮したヒューリスティックアルゴリズムに基づく通信スケジューリングを提案する．提案法では，ヒューリスティックアルゴリズムを用いて各層で複数の圧縮技術と通信方式から一意の解を迅速に導出できるため，複数のプロセッサでの分散処理が可能となる．提案法の性能をシミュレーションによって評価する．数値例から，提案法で用いたヒューリスティックアルゴリズムが遺伝的アルゴリズムと同等の結果であることがわかる．また，ヒューリスティックアルゴリズムの解導出時間が遺伝的アルゴリズムの解導出時間に比べ大幅に短縮されたことから，かなりの高速化を実現できたことがわかる． |
| （英） | In distributed deep learning, where multiple processors are used, the learning time can be significantly reduced by executing the learning process on each processor. However, distributed deep learning requires communication of gradient data between processors during learning, and the communication processing time significantly affects the learning time. To reduce the communication processing time, pipelining methods based on pipeline processing and gradient compression methods based on data compression are used. In this paper, we propose a communication scheduling based on a heuristic algorithm that considers multiple data compression techniques and communication methods. The proposed method can quickly derive a unique solution from multiple compression techniques and communication schemes at each layer using a heuristic algorithm, enabling distributed processing on multiple processors. The performance of the proposed method is evaluated by simulation. Numerical examples show that the heuristic algorithm used in the proposed method is comparable to the genetic algorithm. It also shows that the solution derivation time of the heuristic algorithm is considerably faster than the solution derivation time of the genetic algorithm. | |
| キーワード | （和） | 分散型深層学習 / 誤差逆伝播法 / データ圧縮 / 通信スケジューリング / / / / |
| （英） | Distributed deep learning / Back propagation / Data compression / Communication scheduling / / / / | |
| 文献情報 | 信学技報, vol. 123, no. 198, NS2023-86, pp. 83-88, 2023年10月. | |
| 資料番号 | NS2023-86 | |
| 発行日 | 2023-09-27 (NS) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | NS2023-86 |
|
| 研究会情報 | |
| 研究会 | NS |
| 開催期間 | 2023-10-04 - 2023-10-06 |
| 開催地（和） | 北海道大学 + オンライン開催 |
| 開催地（英） | Hokkaidou University + Online |
| テーマ（和） | ネットワークアーキテクチャ(オーバレイ、P2P、ユビキタスNW、スケールフリーNW、アクティブNW、NGN・新世代NW、IoT、エッジコンピューティング)、次世代パケットトランスポート(高速Ethernet、IP over WDM、マルチサービスパケット技術、MPLS)、グリッド、一般 |
| テーマ（英） | Network architecture (5G, Local 5G, Beyond5G, Mobile networks, Ad-hoc and sensor networks, Overlay and P2P networks, Programmable networks, SDN/NFV, IoT, Network slicing), Next generation packet transport (High speed Ethernet, IP over WDM, Multi-service package technology, MPLS), Grid, etc. |
| 講演論文情報の詳細 | |
| 申込み研究会 | NS |
| 会議コード | 2023-10-NS |
| 本文の言語 | 日本語 |
| タイトル（和） | 分散深層学習におけるヒューリスティックアルゴリズムに基づく通信スケジューリング |
| サブタイトル（和） | |
| タイトル（英） | Communication Scheduling Based on Heuristic Algorithm in Distributed Deep Learning |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 分散型深層学習 / Distributed deep learning |
| キーワード(2)（和/英） | 誤差逆伝播法 / Back propagation |
| キーワード(3)（和/英） | データ圧縮 / Data compression |
| キーワード(4)（和/英） | 通信スケジューリング / Communication scheduling |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 福田 竜大 / Ryudai Fukuda / フクダ リュウダイ |
| 第1著者 所属（和/英） | 福井大学 (略称： 福井大) University of Fukui (略称： Univ. Fukui) |
| 第2著者 氏名（和/英/ヨミ） | 橘 拓至 / Takuji Tachibana / タチバナ タクジ |
| 第2著者 所属（和/英） | 福井大学 (略称： 福井大) University of Fukui (略称： Univ. Fukui) |
| 講演者 | 第1著者 |
| 発表日時 | 2023-10-05 10:10:00 |
| 発表時間 | 25分 |
| 申込先研究会 | NS |
| 資料番号 | NS2023-86 |
| 巻番号（vol） | vol.123 |
| 号番号（no） | no.198 |
| ページ範囲 | pp.83-88 |
| ページ数 | 6 |
| 発行日 | 2023-09-27 (NS) |
[研究会発表申込システムのトップページに戻る]