| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2023-05-18 17:20 モデル巡回型分散Federated Learningにおけるモデル経路の最適化 ○前島航太・西尾理志・山﨑朝斗・原 祐子（東工大）  SeMI2023-5 |
|
| 抄録 | （和） | 分散FL(分散Federated Learning)は, ノード間で学習データを共有することなく, それぞれのノードが学習したモデルの更新情報のみを通信することでノード全体で協調してモデルを構築する機械学習手法である. しかし, データ分布がNon-IID(non-Independent and Identically Distributed)であると, ノードごとの更新情報が必ずしもモデルの改善に寄与するとは限らないため, 従来の機械学習と比較して精度が劣化するという問題がある. この問題は, 各ノードの持つデータの分布をもとに巡回経路を決定し, １つのモデルをノード間で巡回させながら順番に訓練する手法によって改善することができる. 本稿では特にモデルの巡回経路を決定する手法を新たに検討した. 巡回経路決定法には学習開始前に固定の経路を定める静的手法と, 学習を進めながら状況に応じて経路を決定する動的手法がある. 提案経路決定法では後者に該当し, 各ノードのデータ分布と, 学習に使用されたデータラベルから動的に経路を決定する. 具体的には, データラベルごとにネットワーク全体で使用された累積数を数え, それらの分散を最小化するような経路設計を行う. 実験評価により, 静的な巡回経路決定法と比較して,平均で16.25%少ない更新回数で収束した。また,動的に一様ランダムなノードを巡回経路とする手法と比較しても平均で20.22%少ない更新回数で収束することを示した. |
| （英） | Decentralized FL (Decentralized Federated Learning) is a machine learning technique in which clients construct a model collectively by communicating only the updates of the models they have trained without sharing the actual training data. However, when the data distribution is Non-IID (non-Independent and Identically Distributed), updates from each node may not necessarily contribute to improving the model, resulting in lower accuracy compared to traditional machine learning methods. This problem can be addressed by determining a circular path based on the data distribution of each client and training the model sequentially by circulating it among the clients. In this paper, we propose a new method for determining the circular path of the model. There are two methods for determining the circular path: a static method that determines a fixed path before starting the training and a dynamic method that determines the path based on the situation as the training progresses. In our proposed method, the path is determined dynamically based on the data distribution and labels used for training in each client. Specifically, we count the number of data labels used in the entire network for each label and design a path that minimizes their variance. Experimental evaluation showed that our proposed method converged with 16.25% fewer updates on average than the static circular path method. Additionally, our method converged with 20.22% fewer updates on average than a dynamic method that uniformly circulates random clients. | |
| キーワード | （和） | 機械学習 / 連合学習 / 非独立同分布 / P2Pネットワーク / / / / |
| （英） | Machine learning / Federated Learning / Non-IID / P2P network / / / / | |
| 文献情報 | 信学技報, vol. 123, no. 31, SeMI2023-5, pp. 20-22, 2023年5月. | |
| 資料番号 | SeMI2023-5 | |
| 発行日 | 2023-05-11 (SeMI) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | SeMI2023-5 |
|
| 研究会情報 | |
| 研究会 | SeMI IPSJ-ITS IPSJ-MBL IPSJ-DPS |
| 開催期間 | 2023-05-18 - 2023-05-19 |
| 開催地（和） | 沖縄科学技術大学院大学（OIST） |
| 開催地（英） | Okinawa Institute of Science and Technology (OIST) |
| テーマ（和） | センサネットワーク，モバイルインテリジェンス，分散コンピューティング，ITS，スマートコミュニティ，モバイルコンピューティング，パーベイシブシステム，一般 |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | SeMI |
| 会議コード | 2023-05-SeMI-ITS-MBL-DPS |
| 本文の言語 | 日本語 |
| タイトル（和） | モデル巡回型分散Federated Learningにおけるモデル経路の最適化 |
| サブタイトル（和） | |
| タイトル（英） | A heuristic method for optimization of model transfer route in decentralized federated learning |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 機械学習 / Machine learning |
| キーワード(2)（和/英） | 連合学習 / Federated Learning |
| キーワード(3)（和/英） | 非独立同分布 / Non-IID |
| キーワード(4)（和/英） | P2Pネットワーク / P2P network |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 前島 航太 / Kota Maejima / マエジマ コウタ |
| 第1著者 所属（和/英） | 東京工業大学 (略称： 東工大) Tokyo Institute of Technology (略称： Tokyo Tech) |
| 第2著者 氏名（和/英/ヨミ） | 西尾 理志 / Takayuki Nishio / ニシオ タカユキ |
| 第2著者 所属（和/英） | 東京工業大学 (略称： 東工大) Tokyo Institute of Technology (略称： Tokyo Tech) |
| 第3著者 氏名（和/英/ヨミ） | 山﨑 朝斗 / Asato Yamazaki / ヤマザキ アサト |
| 第3著者 所属（和/英） | 東京工業大学 (略称： 東工大) Tokyo Institute of Technology (略称： Tokyo Tech) |
| 第4著者 氏名（和/英/ヨミ） | 原 祐子 / Yuko Hara-Azumi / ハラ ユウコ |
| 第4著者 所属（和/英） | 東京工業大学 (略称： 東工大) Tokyo Institute of Technology (略称： Tokyo Tech) |
| 講演者 | 第1著者 |
| 発表日時 | 2023-05-18 17:20:00 |
| 発表時間 | 15分 |
| 申込先研究会 | SeMI |
| 資料番号 | SeMI2023-5 |
| 巻番号（vol） | vol.123 |
| 号番号（no） | no.31 |
| ページ範囲 | pp.20-22 |
| ページ数 | 3 |
| 発行日 | 2023-05-11 (SeMI) |
[研究会発表申込システムのトップページに戻る]