| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2023-06-30 10:45 有限時間収束性による分散学習のための通信効率に優れたネットワーク構造 ○竹澤祐貴・佐藤竜馬・包 含（京大/沖縄科技大）・丹羽健太（NTT）・山田 誠（沖縄科技大）  NC2023-14 IBISML2023-14 |
|
| 抄録 | （和） | 分散学習は、並列計算やプライバシー保護への応用が期待され、近年注目されている。最近の多くの研究では、より速いconsensus rate（spectral gap）を持つ基礎的なグラフをネットワークとして用いると、分散学習の収束率や精度を向上させると述べられています。しかし、consensus rateが速いグラフ、例えば指数グラフは、一般に最大次数が大きく、通信コストが大きくかかる。そのため、速いconsensus rateと小さな最大次数の両方を持つグラフを用いることが重要である。本研究では、速いconsensus rateと小さい最大次数の両方を兼ね備えた新しいグラフを(k+1)進数グラフ (Base-(k+1) Graph)を提案する。(k+1)進数グラフは、任意のノード数と最大次数kに対して、有限回の通信で全ノードが同じ値に収束させることができる。この性質により、(k+1)進数グラフはDecentralized SGD (DSGD) に指数グラフよりも少ない通信コストでかつ速く収束させることができる。実験では様々な既存のグラフと比較し、(k+1)進数グラフが様々な分散型学習法を既存のグラフよりも高い精度により良い通信効率で学習させられることを実証した。 |
| （英） | Decentralized learning has recently been attracting increasing attention for its applications in parallel computation and privacy preservation. Many recent studies stated that the underlying network topology with a faster consensus rate leads to a better convergence rate and accuracy for decentralized learning. However, a topology with a fast consensus rate, e.g., the exponential graph, generally has a large maximum degree, which incurs significant communication costs. Thus, seeking topologies with both a fast consensus rate and small maximum degree is important. In this study, we propose a novel topology, the Base-(k + 1) Graph, which endows Decentralized SGD with both a faster convergence rate and more communication efficiency than the exponential graph. | |
| キーワード | （和） | 分散学習 / 連合学習 / ネットワーク構造 / グラフ / / / / |
| （英） | Decentralized Learning / Federated Learning / Network Topology / Graph / / / / | |
| 文献情報 | 信学技報, vol. 123, no. 91, IBISML2023-14, pp. 83-90, 2023年6月. | |
| 資料番号 | IBISML2023-14 | |
| 発行日 | 2023-06-22 (NC, IBISML) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | NC2023-14 IBISML2023-14 |
|
| 研究会情報 | |
| 研究会 | NC IBISML IPSJ-BIO IPSJ-MPS |
| 開催期間 | 2023-06-29 - 2023-07-01 |
| 開催地（和） | 沖縄科学技術大学院大学カンファレンス・センター |
| 開催地（英） | OIST Conference Center |
| テーマ（和） | 機械学習によるバイオデータマイニング、一般 |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | IBISML |
| 会議コード | 2023-06-NC-IBISML-BIO-MPS |
| 本文の言語 | 日本語 |
| タイトル（和） | 有限時間収束性による分散学習のための通信効率に優れたネットワーク構造 |
| サブタイトル（和） | |
| タイトル（英） | Beyond Exponential Graph: Communication-Efficient Topologies for Decentralized Learning via Finite-time Convergence |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 分散学習 / Decentralized Learning |
| キーワード(2)（和/英） | 連合学習 / Federated Learning |
| キーワード(3)（和/英） | ネットワーク構造 / Network Topology |
| キーワード(4)（和/英） | グラフ / Graph |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 竹澤 祐貴 / Yuki Takezawa / タケザワ ユウキ |
| 第1著者 所属（和/英） | 京都大学/沖縄科学技術大学院大学 (略称： 京大/沖縄科技大) Kyoto University/OIST (略称： Kyoto Univ./OIST) |
| 第2著者 氏名（和/英/ヨミ） | 佐藤 竜馬 / Ryoma Sato / サトウ リョウマ |
| 第2著者 所属（和/英） | 京都大学/沖縄科学技術大学院大学 (略称： 京大/沖縄科技大) Kyoto University/OIST (略称： Kyoto Univ./OIST) |
| 第3著者 氏名（和/英/ヨミ） | 包 含 / Han Bao / ツツミ フクム |
| 第3著者 所属（和/英） | 京都大学/沖縄科学技術大学院大学 (略称： 京大/沖縄科技大) Kyoto University/OIST (略称： Kyoto Univ./OIST) |
| 第4著者 氏名（和/英/ヨミ） | 丹羽 健太 / Kenta Niwa / ニワ ケンタ |
| 第4著者 所属（和/英） | NTTコミュニケーション科学基礎研究所 NTTコミュニケーション科学基礎研究所 (略称： NTT) NTT Communication Science Laboratries (略称： NTT CS Lab.) |
| 第5著者 氏名（和/英/ヨミ） | 山田 誠 / Makoto Yamada / ヤマダ マコト |
| 第5著者 所属（和/英） | 沖縄科学技術大学院大学 (略称： 沖縄科技大) OIST (略称： OIST) |
| 第6著者 氏名（和/英/ヨミ） | / / |
| 第6著者 所属（和/英） | (略称： ) (略称： ) |
| 講演者 | 第1著者 |
| 発表日時 | 2023-06-30 10:45:00 |
| 発表時間 | 25分 |
| 申込先研究会 | IBISML |
| 資料番号 | NC2023-14, IBISML2023-14 |
| 巻番号（vol） | vol.123 |
| 号番号（no） | no.90(NC), no.91(IBISML) |
| ページ範囲 | pp.83-90 |
| ページ数 | 8 |
| 発行日 | 2023-06-22 (NC, IBISML) |
[研究会発表申込システムのトップページに戻る]