お知らせ 2023年度・2024年度 学生員 会費割引キャンペーン実施中です
お知らせ 技術研究報告と和文論文誌Cの同時投稿施策(掲載料1割引き)について
お知らせ 電子情報通信学会における研究会開催について
お知らせ NEW 参加費の返金について
電子情報通信学会 研究会発表申込システム
講演論文 詳細
技報閲覧サービス
[ログイン]
技報アーカイブ
 トップに戻る 前のページに戻る   [Japanese] / [English] 

講演抄録/キーワード
講演名 2021-03-15 13:00
マルチニューラルネットワークの新たな分散学習アルゴリズムの提案
原田和明右田剛史高橋規一岡山大NLP2020-58
抄録 (和) 異なる機関や地点で収集された訓練データを一か所に集約することなく,同一構造を有する多数のニューラルネットワーク(NN: Neural Network)に分散的に学習させる方法が提案されている.この方法は,各NNが,自身の訓練データに対する損失関数の最急降下方向と近傍のNNのパラメータ値の重み付き平均を組み合わせた方向にパラメータ値を更新することを繰り返すものであり,NN間の通信を表すグラフの構造や重みに関するいくつかの条件の下で,すべてのNNのパラメータ値が全訓練データに対する損失関数の同一の停留点に収束することが証明されている.しかしながら,訓練データがNNごとに大きくばらつき,かつNN間の通信を表すグラフが密でない場合には,学習精度の低下を招いてしまう.本報告では,そのような場合でも高精度の学習を実現する分散学習法を提案し,その有効性を実験的に評価する. 
(英) A method for multiple neural networks (NNs) with the same structure to learn multiple sets of training data collected at different institutions or places in a distributed manner without aggregating the data has recently been proposed. In this method, each NN iteratively updates the parameter values in the direction obtained by composing the direction of the steepest descent of the loss function for its own training data and the weighted average of the parameter values of its neighboring NNs. Under some conditions on the structure of the graph represening the communication between NNs and the weights for computing the average, it has been proved that the parameter values of all NNs converge to the same stationary point of the loss function for all training data. However, when the training data sets differ from NN to NN and the graph is not dense, it leads to decrease in learning accuracy. In this report, we propose a novel distributed learning method that prevents the degredation of learning accuracy even in such cases, and evaluate its effectiveness experimentally.
キーワード (和) 分散学習 / ニューラルネットワーク / マルチエージェントネットワーク / / / / /  
(英) distributed learning / neural network / multi-agent network / / / / /  
文献情報 信学技報, vol. 120, no. 430, NLP2020-58, pp. 17-22, 2021年3月.
資料番号 NLP2020-58 
発行日 2021-03-08 (NLP) 
ISSN Online edition: ISSN 2432-6380
著作権に
ついて
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034)
PDFダウンロード NLP2020-58

研究会情報
研究会 NLP MSS  
開催期間 2021-03-15 - 2021-03-16 
開催地(和) オンライン開催 
開催地(英) Online 
テーマ(和) MSS,NLP,一般,およびWIP(MSSのみ) 
テーマ(英) MSS, NLP, Work In Progress (MSS only), and etc. 
講演論文情報の詳細
申込み研究会 NLP 
会議コード 2021-03-NLP-MSS 
本文の言語 日本語 
タイトル(和) マルチニューラルネットワークの新たな分散学習アルゴリズムの提案 
サブタイトル(和)  
タイトル(英) Proposal of Novel Distributed Learning Algorithms for Multi-Neural Networks 
サブタイトル(英)  
キーワード(1)(和/英) 分散学習 / distributed learning  
キーワード(2)(和/英) ニューラルネットワーク / neural network  
キーワード(3)(和/英) マルチエージェントネットワーク / multi-agent network  
キーワード(4)(和/英) /  
キーワード(5)(和/英) /  
キーワード(6)(和/英) /  
キーワード(7)(和/英) /  
キーワード(8)(和/英) /  
第1著者 氏名(和/英/ヨミ) 原田 和明 / Kazuaki Harada / ハラダ カズアキ
第1著者 所属(和/英) 岡山大学 (略称: 岡山大)
Okayama University (略称: Okayama Univ.)
第2著者 氏名(和/英/ヨミ) 右田 剛史 / Tsuyoshi Migita / ミギタ ツヨシ
第2著者 所属(和/英) 岡山大学 (略称: 岡山大)
Okayama University (略称: Okayama Univ.)
第3著者 氏名(和/英/ヨミ) 高橋 規一 / Norikazu Takahashi / タカハシ ノリカズ
第3著者 所属(和/英) 岡山大学 (略称: 岡山大)
Okayama University (略称: Okayama Univ.)
第4著者 氏名(和/英/ヨミ) / /
第4著者 所属(和/英) (略称: )
(略称: )
第5著者 氏名(和/英/ヨミ) / /
第5著者 所属(和/英) (略称: )
(略称: )
第6著者 氏名(和/英/ヨミ) / /
第6著者 所属(和/英) (略称: )
(略称: )
第7著者 氏名(和/英/ヨミ) / /
第7著者 所属(和/英) (略称: )
(略称: )
第8著者 氏名(和/英/ヨミ) / /
第8著者 所属(和/英) (略称: )
(略称: )
第9著者 氏名(和/英/ヨミ) / /
第9著者 所属(和/英) (略称: )
(略称: )
第10著者 氏名(和/英/ヨミ) / /
第10著者 所属(和/英) (略称: )
(略称: )
第11著者 氏名(和/英/ヨミ) / /
第11著者 所属(和/英) (略称: )
(略称: )
第12著者 氏名(和/英/ヨミ) / /
第12著者 所属(和/英) (略称: )
(略称: )
第13著者 氏名(和/英/ヨミ) / /
第13著者 所属(和/英) (略称: )
(略称: )
第14著者 氏名(和/英/ヨミ) / /
第14著者 所属(和/英) (略称: )
(略称: )
第15著者 氏名(和/英/ヨミ) / /
第15著者 所属(和/英) (略称: )
(略称: )
第16著者 氏名(和/英/ヨミ) / /
第16著者 所属(和/英) (略称: )
(略称: )
第17著者 氏名(和/英/ヨミ) / /
第17著者 所属(和/英) (略称: )
(略称: )
第18著者 氏名(和/英/ヨミ) / /
第18著者 所属(和/英) (略称: )
(略称: )
第19著者 氏名(和/英/ヨミ) / /
第19著者 所属(和/英) (略称: )
(略称: )
第20著者 氏名(和/英/ヨミ) / /
第20著者 所属(和/英) (略称: )
(略称: )
講演者 第1著者 
発表日時 2021-03-15 13:00:00 
発表時間 25分 
申込先研究会 NLP 
資料番号 NLP2020-58 
巻番号(vol) vol.120 
号番号(no) no.430 
ページ範囲 pp.17-22 
ページ数
発行日 2021-03-08 (NLP) 


[研究会発表申込システムのトップページに戻る]

[電子情報通信学会ホームページ]


IEICE / 電子情報通信学会