お知らせ 2023年度・2024年度 学生員 会費割引キャンペーン実施中です
お知らせ 技術研究報告と和文論文誌Cの同時投稿施策(掲載料1割引き)について
お知らせ 電子情報通信学会における研究会開催について
お知らせ NEW 参加費の返金について
電子情報通信学会 研究会発表申込システム
講演論文 詳細
技報閲覧サービス
[ログイン]
技報アーカイブ
 トップに戻る 前のページに戻る   [Japanese] / [English] 

講演抄録/キーワード
講演名 2022-11-24 13:00
分散型深層学習における複数のデータ圧縮技術を利用した最適通信スケジューリングの提案
福田竜大橘 拓至福井大NS2022-105
抄録 (和) 複数のプロセッサを使用する分散型深層学習では,各プロセッサで学習処理を実行することで学習時間を大幅に短縮できる.しかしながら,分散型深層学習ではプロセッサ間で学習結果を通信する必要があり,通信データサイズが総学習時間に大きく影響する.それゆえ,データ圧縮技術を利用して通信データサイズを低減することが期待されるが,各層の学習処理や通信方式によって適切な圧縮率や圧縮処理時間が異なり,使用する圧縮技術によって総学習時間が変化してしまう.本稿では,分散型深層学習において,複数のデータ圧縮技術を利用する最適通信スケジューリングを提案する.提案法では,データ圧縮率や処理時間が異なる複数の圧縮技術を各層で適切に使用することで総学習時間の最小化を実現する.提案法の性能をシミュレーションによって評価し,提案法の有効性を評価する. 数値例から,提案法によって各層で適切なデータ圧縮技術を利用することで総学習時間を低減できることがわかる. 
(英) In distributed deep learning, which uses multiple processors, the training time can be greatly reduced by executing the training process on each processor. However, it is necessary to communicate the training results between processors, and the size of the communication data greatly affects the total training time. Although it is expected that the data size is decreased using a data compression technique, the appropriate compression ratio and processing time vary depending on the training process and transmission method of each layer.
The total training time varies depending on the data compression technique. In this paper, we propose an optimal data communication scheduling that uses multiple data compression techniques in distributed deep learning. The proposed method minimizes the total training time by appropriately using multiple compression techniques with different data compression ratios and processing times in each layer. The performance of the proposed method is evaluated by simulation to investigate the effectiveness of the proposed method. Numerical examples show that the proposed method can reduce the total training time by using appropriate data compression techniques in each layer.
キーワード (和) 分散型深層学習 / 誤差逆伝播法 / データ圧縮 / 通信スケジューリング / / / /  
(英) Distributed deep learning / Back propagation / Data compression / Communication scheduling / / / /  
文献情報 信学技報, vol. 122, no. 274, NS2022-105, pp. 29-34, 2022年11月.
資料番号 NS2022-105 
発行日 2022-11-17 (NS) 
ISSN Online edition: ISSN 2432-6380
著作権に
ついて
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034)
PDFダウンロード NS2022-105

研究会情報
研究会 NS ICM CQ NV  
開催期間 2022-11-24 - 2022-11-25 
開催地(和) 福岡大学文系センター棟 + オンライン開催 
開催地(英) Humanities and Social Sciences Center, Fukuoka Univ. + Online 
テーマ(和) ネットワーク品質,ネットワーク計測・管理,ネットワーク仮想化,ネットワークサービス,ブロックチェーン,セキュリティ,ネットワークインテリジェンス・AI,一般 
テーマ(英) Network quality, Network measurement/management, Network virtualization, Network service, Blockchain, Security, Network intelligence/AI, etc. 
講演論文情報の詳細
申込み研究会 NS 
会議コード 2022-11-NS-ICM-CQ-NV 
本文の言語 日本語 
タイトル(和) 分散型深層学習における複数のデータ圧縮技術を利用した最適通信スケジューリングの提案 
サブタイトル(和)  
タイトル(英) Optimal Data Communication Scheduling Considering Multiple Data Compression Techniques in Distributed Deep Learning 
サブタイトル(英)  
キーワード(1)(和/英) 分散型深層学習 / Distributed deep learning  
キーワード(2)(和/英) 誤差逆伝播法 / Back propagation  
キーワード(3)(和/英) データ圧縮 / Data compression  
キーワード(4)(和/英) 通信スケジューリング / Communication scheduling  
キーワード(5)(和/英) /  
キーワード(6)(和/英) /  
キーワード(7)(和/英) /  
キーワード(8)(和/英) /  
第1著者 氏名(和/英/ヨミ) 福田 竜大 / Fukuda Ryudai / フクダ リュウダイ
第1著者 所属(和/英) 福井大学 (略称: 福井大)
University of Fukui (略称: Univ. Fukui)
第2著者 氏名(和/英/ヨミ) 橘 拓至 / Takuji Tachibana / タチバナ タクジ
第2著者 所属(和/英) 福井大学 (略称: 福井大)
University of Fukui (略称: Univ. Fukui)
第3著者 氏名(和/英/ヨミ) / /
第3著者 所属(和/英) (略称: )
(略称: )
第4著者 氏名(和/英/ヨミ) / /
第4著者 所属(和/英) (略称: )
(略称: )
第5著者 氏名(和/英/ヨミ) / /
第5著者 所属(和/英) (略称: )
(略称: )
第6著者 氏名(和/英/ヨミ) / /
第6著者 所属(和/英) (略称: )
(略称: )
第7著者 氏名(和/英/ヨミ) / /
第7著者 所属(和/英) (略称: )
(略称: )
第8著者 氏名(和/英/ヨミ) / /
第8著者 所属(和/英) (略称: )
(略称: )
第9著者 氏名(和/英/ヨミ) / /
第9著者 所属(和/英) (略称: )
(略称: )
第10著者 氏名(和/英/ヨミ) / /
第10著者 所属(和/英) (略称: )
(略称: )
第11著者 氏名(和/英/ヨミ) / /
第11著者 所属(和/英) (略称: )
(略称: )
第12著者 氏名(和/英/ヨミ) / /
第12著者 所属(和/英) (略称: )
(略称: )
第13著者 氏名(和/英/ヨミ) / /
第13著者 所属(和/英) (略称: )
(略称: )
第14著者 氏名(和/英/ヨミ) / /
第14著者 所属(和/英) (略称: )
(略称: )
第15著者 氏名(和/英/ヨミ) / /
第15著者 所属(和/英) (略称: )
(略称: )
第16著者 氏名(和/英/ヨミ) / /
第16著者 所属(和/英) (略称: )
(略称: )
第17著者 氏名(和/英/ヨミ) / /
第17著者 所属(和/英) (略称: )
(略称: )
第18著者 氏名(和/英/ヨミ) / /
第18著者 所属(和/英) (略称: )
(略称: )
第19著者 氏名(和/英/ヨミ) / /
第19著者 所属(和/英) (略称: )
(略称: )
第20著者 氏名(和/英/ヨミ) / /
第20著者 所属(和/英) (略称: )
(略称: )
講演者 第1著者 
発表日時 2022-11-24 13:00:00 
発表時間 25分 
申込先研究会 NS 
資料番号 NS2022-105 
巻番号(vol) vol.122 
号番号(no) no.274 
ページ範囲 pp.29-34 
ページ数
発行日 2022-11-17 (NS) 


[研究会発表申込システムのトップページに戻る]

[電子情報通信学会ホームページ]


IEICE / 電子情報通信学会