| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2021-03-05 13:00 層構造リカレントネットにおける感度調整学習時の感度と最大リアプノフ指数の関係 ○江島拓哉・徳丸侑輝・柴田克成（大分大）  NC2020-69 |
|
| 抄録 | （和） | 筆者らは，個々のニューロンにおける入出力間の勾配ベクトルの大きさである「感度」を調整するローカルな学習によってリカレントネット(RNN)のダイナミクスを制御する「感度調整学習(SAL)」を提案した。そして，層構造を持たないフラットなRNNの学習時において，全ニューロンでの感度の平均の対数をとった対数感度がネットワークの最大リアプノフ指数と0に至るまでの間で一致することを示した。 本研究では，２層のRNN に感度調整学習を適用し，個々のニューロンにSALを適用する際にニューロン数や結合割合によらず，各層での対数感度の和がネットワークの最大リアプノフ指数と一致することを示した。このことから，各ニューロンにおいて感度の目標値を１として学習することでネットワークの最大リアプノフ指数を"Edge of Chaos"である0に調整できることが期待できる。 |
| （英） | We have proposed a local learning method named "sensitivity adjustment learning (SAL)". The sensitivity, which is adjusted in SAL, is a local index defined in each neuron as the magnitude of the output gradient with respect to the input. In the previous study, we found that SAL can control the global dynamics of non-layered recurrent neural networks (RNNs). In this paper, we observed the relation between the sensitivities and the maximum Lyapunov exponent, which shows the network chaoticity, for several cases of layered RNN when SAL was applied. The results show that the sum of "log sensitivity", which is the natural logarithm of the average sensitivity over all neurons in each layer, corresponds reasonably well to the maximum Lyapunov exponent until the dynamics get chaotic regardless of the number of neurons or connection rate. This suggests that by setting the target of "sensitivity" to be 1.0, SAL can adjust the maximum Lyapunov exponent to 0, which indicates the "Edge of Chaos". | |
| キーワード | （和） | リカレントニューラルネットワーク / カオスダイナミクス / 感度調整学習 / 感度 / カオスの縁 / / / |
| （英） | recurrent neural network / chaos dynamics / sensitivity adjustment learning / sensitivity / edge of chaos / / / | |
| 文献情報 | 信学技報, vol. 120, no. 403, NC2020-69, pp. 151-156, 2021年3月. | |
| 資料番号 | NC2020-69 | |
| 発行日 | 2021-02-24 (NC) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | NC2020-69 |
|
| 研究会情報 | |
| 研究会 | NC MBE |
| 開催期間 | 2021-03-03 - 2021-03-05 |
| 開催地（和） | オンライン開催 |
| 開催地（英） | Online |
| テーマ（和） | NC, ME, 一般 |
| テーマ（英） | Neuro Computing, Medical Engineering, etc. |
| 講演論文情報の詳細 | |
| 申込み研究会 | NC |
| 会議コード | 2021-03-NC-MBE |
| 本文の言語 | 日本語 |
| タイトル（和） | 層構造リカレントネットにおける感度調整学習時の感度と最大リアプノフ指数の関係 |
| サブタイトル（和） | |
| タイトル（英） | The Relation between Sensitivity and Maximum Lyapunov Exponent when Sensitivity Adjustment Learning is Applied to Layered Recurrent Neural Networks |
| サブタイトル（英） | |
| キーワード(1)（和/英） | リカレントニューラルネットワーク / recurrent neural network |
| キーワード(2)（和/英） | カオスダイナミクス / chaos dynamics |
| キーワード(3)（和/英） | 感度調整学習 / sensitivity adjustment learning |
| キーワード(4)（和/英） | 感度 / sensitivity |
| キーワード(5)（和/英） | カオスの縁 / edge of chaos |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 江島 拓哉 / Takuya Ejima / エジマ タクヤ |
| 第1著者 所属（和/英） | 大分大学 (略称： 大分大) Oita University (略称： Oita Univ.) |
| 第2著者 氏名（和/英/ヨミ） | 徳丸 侑輝 / Yuuki Tokumaru / トクマル ユウキ |
| 第2著者 所属（和/英） | 大分大学 (略称： 大分大) Oita University (略称： Oita Univ.) |
| 第3著者 氏名（和/英/ヨミ） | 柴田 克成 / Kastunari Shibata / シバタ カツナリ |
| 第3著者 所属（和/英） | 大分大学 (略称： 大分大) Oita University (略称： Oita Univ.) |
| 講演者 | 第1著者 |
| 発表日時 | 2021-03-05 13:00:00 |
| 発表時間 | 25分 |
| 申込先研究会 | NC |
| 資料番号 | NC2020-69 |
| 巻番号（vol） | vol.120 |
| 号番号（no） | no.403 |
| ページ範囲 | pp.151-156 |
| ページ数 | 6 |
| 発行日 | 2021-02-24 (NC) |
[研究会発表申込システムのトップページに戻る]