講演抄録/キーワード |
講演名 |
2021-03-15 13:00
マルチニューラルネットワークの新たな分散学習アルゴリズムの提案 ○原田和明・右田剛史・高橋規一(岡山大) NLP2020-58 |
抄録 |
(和) |
異なる機関や地点で収集された訓練データを一か所に集約することなく,同一構造を有する多数のニューラルネットワーク(NN: Neural Network)に分散的に学習させる方法が提案されている.この方法は,各NNが,自身の訓練データに対する損失関数の最急降下方向と近傍のNNのパラメータ値の重み付き平均を組み合わせた方向にパラメータ値を更新することを繰り返すものであり,NN間の通信を表すグラフの構造や重みに関するいくつかの条件の下で,すべてのNNのパラメータ値が全訓練データに対する損失関数の同一の停留点に収束することが証明されている.しかしながら,訓練データがNNごとに大きくばらつき,かつNN間の通信を表すグラフが密でない場合には,学習精度の低下を招いてしまう.本報告では,そのような場合でも高精度の学習を実現する分散学習法を提案し,その有効性を実験的に評価する. |
(英) |
A method for multiple neural networks (NNs) with the same structure to learn multiple sets of training data collected at different institutions or places in a distributed manner without aggregating the data has recently been proposed. In this method, each NN iteratively updates the parameter values in the direction obtained by composing the direction of the steepest descent of the loss function for its own training data and the weighted average of the parameter values of its neighboring NNs. Under some conditions on the structure of the graph represening the communication between NNs and the weights for computing the average, it has been proved that the parameter values of all NNs converge to the same stationary point of the loss function for all training data. However, when the training data sets differ from NN to NN and the graph is not dense, it leads to decrease in learning accuracy. In this report, we propose a novel distributed learning method that prevents the degredation of learning accuracy even in such cases, and evaluate its effectiveness experimentally. |
キーワード |
(和) |
分散学習 / ニューラルネットワーク / マルチエージェントネットワーク / / / / / |
(英) |
distributed learning / neural network / multi-agent network / / / / / |
文献情報 |
信学技報, vol. 120, no. 430, NLP2020-58, pp. 17-22, 2021年3月. |
資料番号 |
NLP2020-58 |
発行日 |
2021-03-08 (NLP) |
ISSN |
Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
NLP2020-58 |
研究会情報 |
研究会 |
NLP MSS |
開催期間 |
2021-03-15 - 2021-03-16 |
開催地(和) |
オンライン開催 |
開催地(英) |
Online |
テーマ(和) |
MSS,NLP,一般,およびWIP(MSSのみ) |
テーマ(英) |
MSS, NLP, Work In Progress (MSS only), and etc. |
講演論文情報の詳細 |
申込み研究会 |
NLP |
会議コード |
2021-03-NLP-MSS |
本文の言語 |
日本語 |
タイトル(和) |
マルチニューラルネットワークの新たな分散学習アルゴリズムの提案 |
サブタイトル(和) |
|
タイトル(英) |
Proposal of Novel Distributed Learning Algorithms for Multi-Neural Networks |
サブタイトル(英) |
|
キーワード(1)(和/英) |
分散学習 / distributed learning |
キーワード(2)(和/英) |
ニューラルネットワーク / neural network |
キーワード(3)(和/英) |
マルチエージェントネットワーク / multi-agent network |
キーワード(4)(和/英) |
/ |
キーワード(5)(和/英) |
/ |
キーワード(6)(和/英) |
/ |
キーワード(7)(和/英) |
/ |
キーワード(8)(和/英) |
/ |
第1著者 氏名(和/英/ヨミ) |
原田 和明 / Kazuaki Harada / ハラダ カズアキ |
第1著者 所属(和/英) |
岡山大学 (略称: 岡山大)
Okayama University (略称: Okayama Univ.) |
第2著者 氏名(和/英/ヨミ) |
右田 剛史 / Tsuyoshi Migita / ミギタ ツヨシ |
第2著者 所属(和/英) |
岡山大学 (略称: 岡山大)
Okayama University (略称: Okayama Univ.) |
第3著者 氏名(和/英/ヨミ) |
高橋 規一 / Norikazu Takahashi / タカハシ ノリカズ |
第3著者 所属(和/英) |
岡山大学 (略称: 岡山大)
Okayama University (略称: Okayama Univ.) |
第4著者 氏名(和/英/ヨミ) |
/ / |
第4著者 所属(和/英) |
(略称: )
(略称: ) |
第5著者 氏名(和/英/ヨミ) |
/ / |
第5著者 所属(和/英) |
(略称: )
(略称: ) |
第6著者 氏名(和/英/ヨミ) |
/ / |
第6著者 所属(和/英) |
(略称: )
(略称: ) |
第7著者 氏名(和/英/ヨミ) |
/ / |
第7著者 所属(和/英) |
(略称: )
(略称: ) |
第8著者 氏名(和/英/ヨミ) |
/ / |
第8著者 所属(和/英) |
(略称: )
(略称: ) |
第9著者 氏名(和/英/ヨミ) |
/ / |
第9著者 所属(和/英) |
(略称: )
(略称: ) |
第10著者 氏名(和/英/ヨミ) |
/ / |
第10著者 所属(和/英) |
(略称: )
(略称: ) |
第11著者 氏名(和/英/ヨミ) |
/ / |
第11著者 所属(和/英) |
(略称: )
(略称: ) |
第12著者 氏名(和/英/ヨミ) |
/ / |
第12著者 所属(和/英) |
(略称: )
(略称: ) |
第13著者 氏名(和/英/ヨミ) |
/ / |
第13著者 所属(和/英) |
(略称: )
(略称: ) |
第14著者 氏名(和/英/ヨミ) |
/ / |
第14著者 所属(和/英) |
(略称: )
(略称: ) |
第15著者 氏名(和/英/ヨミ) |
/ / |
第15著者 所属(和/英) |
(略称: )
(略称: ) |
第16著者 氏名(和/英/ヨミ) |
/ / |
第16著者 所属(和/英) |
(略称: )
(略称: ) |
第17著者 氏名(和/英/ヨミ) |
/ / |
第17著者 所属(和/英) |
(略称: )
(略称: ) |
第18著者 氏名(和/英/ヨミ) |
/ / |
第18著者 所属(和/英) |
(略称: )
(略称: ) |
第19著者 氏名(和/英/ヨミ) |
/ / |
第19著者 所属(和/英) |
(略称: )
(略称: ) |
第20著者 氏名(和/英/ヨミ) |
/ / |
第20著者 所属(和/英) |
(略称: )
(略称: ) |
講演者 |
第1著者 |
発表日時 |
2021-03-15 13:00:00 |
発表時間 |
25分 |
申込先研究会 |
NLP |
資料番号 |
NLP2020-58 |
巻番号(vol) |
vol.120 |
号番号(no) |
no.430 |
ページ範囲 |
pp.17-22 |
ページ数 |
6 |
発行日 |
2021-03-08 (NLP) |