| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2024-05-10 10:30 分散的全域木生成と段階的合意に基づく連合学習アルゴリズム ○森 祐樹・萱谷竜也・右田剛史・高橋規一（岡山大）  NLP2024-11 |
|
| 抄録 | （和） | ニューラルネットワークの学習精度を高めるには大量の良質なデータが必要であるが，プライバシー保護等の観点からデータを集約できない場合がある．そこで複数拠点にあるデータを集約せずに学習する連合学習が注目されている．連合学習とは，各拠点に配置されたモデルが，手元のデータを用いてパラメータ値を更新する処理とパラメータ値に関する合意形成を行う処理を繰り返しながら学習を行う方法であり，データを集約して学習する場合と同様の効果が得られると期待されている．最近，合意形成を分散的かつ適応的に行うため，全モデルが協力して分散的に全域木を生成し，それに沿ってパラメータ値の集約と配信を行う方法が提案された．しかし，この方法はすべてのパラメータ値を送受信するため，ネットワークの帯域を圧迫したり合意形成に長い時間を要する等の問題がある．本報告では，これらの問題を解決するため，分散的全域木生成と段階的合意に基づく新たな連合学習アルゴリズムを提案し，その有効性を実験的に検証する．提案アルゴリズムの特徴は，ニューラルネットワークの層ごとにパラメータ値に関する合意形成を行う点であり，これにより通信量を低く抑えながら学習を行うことができる． |
| （英） | A large amount of high-quality data is necessary to improve the learning accuracy of neural networks. However, there are many cases where data cannot be aggregated for privacy protection and other reasons. As a framework to overcome this difficulty, the federated learning is attracting attention. In the federated learning, neural network models are deployed at each location, and each model is trained by repeating the process of updating parameter values using its own data and making a consensus on the parameter values with other models. Recently, a method for models to make a consensus on the parameter values in a decentralized and adaptive manner was proposed, in which a spanning tree is generated in a decentralized manner and the parameter values are aggregated and distributed along the tree. However, this method requires the transmission and reception of all the parameter values, which may cause network bandwidth congestion and a long time for reaching consensus. To solve these problems, we propose in this report a new federated learning algorithms based on decentralized spanning tree construction and step-by-step consensus, and verify their effectiveness experimentally. The proposed algorithms are characterized by the fact that a consensus on the parameter values is made at each layer of the neural network, which enables learning with low communication costs. | |
| キーワード | （和） | ニューラルネットワーク / 連合学習 / 合意形成 / 全域木 / / / / |
| （英） | neural networks / federated learning / consensus / spanning tree / / / / | |
| 文献情報 | 信学技報, vol. 124, no. 13, NLP2024-11, pp. 52-57, 2024年5月. | |
| 資料番号 | NLP2024-11 | |
| 発行日 | 2024-05-02 (NLP) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | NLP2024-11 |
|
| 研究会情報 | |
| 研究会 | NLP |
| 開催期間 | 2024-05-09 - 2024-05-10 |
| 開催地（和） | 香川県社会福祉総合センター |
| 開催地（英） | Kagawa Prefecture Social Welfare Center |
| テーマ（和） | NLP，一般 |
| テーマ（英） | Nonlinear Problems, etc. |
| 講演論文情報の詳細 | |
| 申込み研究会 | NLP |
| 会議コード | 2024-05-NLP |
| 本文の言語 | 日本語 |
| タイトル（和） | 分散的全域木生成と段階的合意に基づく連合学習アルゴリズム |
| サブタイトル（和） | |
| タイトル（英） | Federated Learning Algorithms based on Decentralized Spanning Tree Generation and Step-by-Step Consensus |
| サブタイトル（英） | |
| キーワード(1)（和/英） | ニューラルネットワーク / neural networks |
| キーワード(2)（和/英） | 連合学習 / federated learning |
| キーワード(3)（和/英） | 合意形成 / consensus |
| キーワード(4)（和/英） | 全域木 / spanning tree |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 森 祐樹 / Yuki Mori / モリ ユウキ |
| 第1著者 所属（和/英） | 岡山大学 (略称： 岡山大) Okayama University (略称： Okayama Univ.) |
| 第2著者 氏名（和/英/ヨミ） | 萱谷 竜也 / Tatsuya Kayatani / カヤタニ タツヤ |
| 第2著者 所属（和/英） | 岡山大学 (略称： 岡山大) Okayama University (略称： Okayama Univ.) |
| 第3著者 氏名（和/英/ヨミ） | 右田 剛史 / Tsuyoshi Migita / ミギタ ツヨシ |
| 第3著者 所属（和/英） | 岡山大学 (略称： 岡山大) Okayama University (略称： Okayama Univ.) |
| 第4著者 氏名（和/英/ヨミ） | 高橋 規一 / Norikazu Takahashi / タカハシ ノリカズ |
| 第4著者 所属（和/英） | 岡山大学 (略称： 岡山大) Okayama University (略称： Okayama Univ.) |
| 講演者 | 第1著者 |
| 発表日時 | 2024-05-10 10:30:00 |
| 発表時間 | 25分 |
| 申込先研究会 | NLP |
| 資料番号 | NLP2024-11 |
| 巻番号（vol） | vol.124 |
| 号番号（no） | no.13 |
| ページ範囲 | pp.52-57 |
| ページ数 | 6 |
| 発行日 | 2024-05-02 (NLP) |
[研究会発表申込システムのトップページに戻る]