| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2020-03-06 10:20 競合学習で特徴抽出を行う動的強化学習ネットワーク ○小松泰士・山内ゆかり（日大）  NC2019-106 |
|
| 抄録 | （和） | Deep Q-Networkとは，状態空間の入力から畳み込みによって特徴抽出を行う強化学習アルゴリズムである．事前の知識情報なしで複雑な環境のルールや行動の優先度を学習する特徴がある．しかし，特徴抽出後の全結合層の規模の増大により処理が重くなる問題が存在する．そこで本研究では，特徴抽出後の次元数を動的に増減させ、全結合層の勾配降下法とは独立して特徴抽出部分の重みを更新させることで処理速度と学習効率の向上を目指す．従来手法における特徴抽出部分に自己増殖型ニューラルネットワーク（SOINN）を採用し、動的に特徴抽出後の次元数を変化させて学習を行うDynamic Q-Networkを提案する．実験にはReversiを用いてQ-Network自身の学習を行い，ランダムに打つ相手との勝率と処理時間の面でアルゴリズムの比較を行う．提案手法では処理時間と学習速度，学習率のすべての面で従来手法を上回った．特に処理時間は従来手法の約2/3まで減少した． |
| （英） | Deep Q-Network is a reinforcement learning algorithm that performs feature extraction by convolution from state space input. This method has the feature of learning the rules of complex environments and priorities of actions without prior knowledge information. However, there is a problem that the scale of the fully connected layer after the feature extraction becomes too large and the processing becomes heavy. Therefore, in this study, learning is performed by dynamically increasing or decreasing the number of dimensions after feature extraction. In addition, we aim to improve the processing speed and learning efficiency by updating the weight of the feature extraction part independently of the gradient descent method of the fully connected layer. We adopt a Self-Organizing Incremental Neural Network (SOINN) for the feature extraction part in the conventional method. We propose Dynamic Q-Network which performs learning by dynamically changing the number of dimensions after feature extraction. In the experiment, Q-Network uses Reversi to learn by playing against itself. For the evaluation, the winning rate with the opponent hitting at random and the processing time are used. In the proposed method, the processing time, the learning speed, and the learning rate were all superior to the conventional method. In particular, the processing time was reduced to about 2/3 of the conventional method. | |
| キーワード | （和） | 強化学習 / 畳み込みニューラルネットワーク / 自己増殖型ニューラルネットワーク / / / / / |
| （英） | Reinforcement Learning / Convolutional Neural Network / Self-Organizing Incremental Neural Network / / / / / | |
| 文献情報 | 信学技報, vol. 119, no. 453, NC2019-106, pp. 175-179, 2020年3月. | |
| 資料番号 | NC2019-106 | |
| 発行日 | 2020-02-26 (NC) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | NC2019-106 |
|
| 研究会情報 | |
| 研究会 | NC MBE |
| 開催期間 | 2020-03-04 - 2020-03-06 |
| 開催地（和） | 電気通信大学 |
| 開催地（英） | University of Electro Communications |
| テーマ（和） | NC, ME, 一般 |
| テーマ（英） | Neuro Computing, Medical Engineering, etc. |
| 講演論文情報の詳細 | |
| 申込み研究会 | NC |
| 会議コード | 2020-03-NC-MBE |
| 本文の言語 | 日本語 |
| タイトル（和） | 競合学習で特徴抽出を行う動的強化学習ネットワーク |
| サブタイトル（和） | |
| タイトル（英） | Feature Extraction by Competitive Learning for Dynamic Q-Network |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 強化学習 / Reinforcement Learning |
| キーワード(2)（和/英） | 畳み込みニューラルネットワーク / Convolutional Neural Network |
| キーワード(3)（和/英） | 自己増殖型ニューラルネットワーク / Self-Organizing Incremental Neural Network |
| キーワード(4)（和/英） | / |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 小松 泰士 / Taishi Komatsu / コマツ タイシ |
| 第1著者 所属（和/英） | 日本大学 (略称： 日大) Nihon University (略称： NU) |
| 第2著者 氏名（和/英/ヨミ） | 山内 ゆかり / Yukari Yamauchi / |
| 第2著者 所属（和/英） | 日本大学 (略称： 日大) Nihon University (略称： NU) |
| 講演者 | 第1著者 |
| 発表日時 | 2020-03-06 10:20:00 |
| 発表時間 | 25分 |
| 申込先研究会 | NC |
| 資料番号 | NC2019-106 |
| 巻番号（vol） | vol.119 |
| 号番号（no） | no.453 |
| ページ範囲 | pp.175-179 |
| ページ数 | 5 |
| 発行日 | 2020-02-26 (NC) |
[研究会発表申込システムのトップページに戻る]