| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2018-11-05 15:10 ［ポスター講演］カーネル密度関数推定を用いたパラメータ密度の継承によるCNNの学習効率化 ○堀内圭佑・亀山啓輔（筑波大）  IBISML2018-45 |
|
| 抄録 | （和） | 畳み込みニューラルネットワーク (CNN) は，様々な識別問題において優れた性能を示してきた.しかしな がら，その複雑さゆえに，訓練に時間を要する，学習が収束しないなどの問題がある.これらの問題を解決する方法と して，適切な値でネットワークのパラメータを初期化する手法が試みられている.それらの既存手法には，訓練済み のネットワークを活用して，新たに学習を行うネットワークの初期化を行うものがあるが，この手法では通常両ネッ トワークが同じ構造であることを前提としている.本論文では，学習済みネットワークのパラメータの確率密度分布 を継承することで，ネットワークを初期化を行い，構造の異なるネットワークに対しても適用可能な初期化手法を提 案する.提案手法では，CNN の任意の層に対して初期値を設定することができるが，誤差逆伝播法による学習の際に 最も時間を要するネットワークの最初の層に対して初期化を適用する.実験では，提案する初期化手法の有効性を検 証し，CNN の学習の効率化が可能であることを明らかにした. |
| （英） | CNNs have shown state-of-the-art performances on a large variety of classification tasks. However, because of its complexity, they may require an enormous amount of time for training and still not converge. One of the key ideas to address these problems is to initialize the network parameters with appropriate values before training. Several known methods pro- posed the initialization using an existing trained network, but they suppose both the trained network and the new network have the same structure. In this paper, we propose an initialization method that utilizes existing trained network and can be applied to a network with a different structure based on parameter density inheritance strategy. In the experiments, we verified the effectiveness of the proposed initialization method. With the proposed method, initialization can be applied for arbitrary layers of CNN, but we initialize only the first layer which requires the longest time in training with backpropagation. Through the experiments, the effectiveness of the proposed initialization method in improving the efficiency of CNN learning was verified. | |
| キーワード | （和） | 畳み込みニューラルネットワーク / 転移学習 / カーネル密度推定 / / / / / |
| （英） | CNN / Transfer Learning / Kernel Density Estimation / / / / / | |
| 文献情報 | 信学技報, vol. 118, no. 284, IBISML2018-45, pp. 9-15, 2018年11月. | |
| 資料番号 | IBISML2018-45 | |
| 発行日 | 2018-10-29 (IBISML) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | IBISML2018-45 |
|
| 研究会情報 | |
| 研究会 | IBISML |
| 開催期間 | 2018-11-05 - 2018-11-07 |
| 開催地（和） | 北海道民活動センター（かでる2.7） |
| 開催地（英） | Hokkaido Citizens Activites Center (Kaderu 2.7) |
| テーマ（和） | 情報論的学習理論ワークショップ (IBIS2018) |
| テーマ（英） | Information-Based Induction Science Workshop (IBIS2018) |
| 講演論文情報の詳細 | |
| 申込み研究会 | IBISML |
| 会議コード | 2018-11-IBISML |
| 本文の言語 | 日本語 |
| タイトル（和） | カーネル密度関数推定を用いたパラメータ密度の継承によるCNNの学習効率化 |
| サブタイトル（和） | |
| タイトル（英） | Parameter Density Inheritance Using Kernel Density Estimation for Efficient CNN Learning |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 畳み込みニューラルネットワーク / CNN |
| キーワード(2)（和/英） | 転移学習 / Transfer Learning |
| キーワード(3)（和/英） | カーネル密度推定 / Kernel Density Estimation |
| キーワード(4)（和/英） | / |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 堀内 圭佑 / Keisuke Horiuchi / ホリウチ ケイスケ |
| 第1著者 所属（和/英） | 筑波大学 (略称： 筑波大) Tsukuba University (略称： Tsukuba Univ.) |
| 第2著者 氏名（和/英/ヨミ） | 亀山 啓輔 / Keisuke Kameyama / カメヤマ ケイスケ |
| 第2著者 所属（和/英） | 筑波大学 (略称： 筑波大) Tsukuba University (略称： Tsukuba Univ.) |
| 第3著者 氏名（和/英/ヨミ） | / / |
| 第3著者 所属（和/英） | (略称： ) (略称： ) |
| 第4著者 氏名（和/英/ヨミ） | / / |
| 第4著者 所属（和/英） | (略称： ) (略称： ) |
| 第5著者 氏名（和/英/ヨミ） | / / |
| 第5著者 所属（和/英） | (略称： ) (略称： ) |
| 第6著者 氏名（和/英/ヨミ） | / / |
| 第6著者 所属（和/英） | (略称： ) (略称： ) |
| 第7著者 氏名（和/英/ヨミ） | / / |
| 第7著者 所属（和/英） | (略称： ) (略称： ) |
| 第8著者 氏名（和/英/ヨミ） | / / |
| 第8著者 所属（和/英） | (略称： ) (略称： ) |
| 第9著者 氏名（和/英/ヨミ） | / / |
| 第9著者 所属（和/英） | (略称： ) (略称： ) |
| 第10著者 氏名（和/英/ヨミ） | / / |
| 第10著者 所属（和/英） | (略称： ) (略称： ) |
| 第11著者 氏名（和/英/ヨミ） | / / |
| 第11著者 所属（和/英） | (略称： ) (略称： ) |
| 第12著者 氏名（和/英/ヨミ） | / / |
| 第12著者 所属（和/英） | (略称： ) (略称： ) |
| 第13著者 氏名（和/英/ヨミ） | / / |
| 第13著者 所属（和/英） | (略称： ) (略称： ) |
| 第14著者 氏名（和/英/ヨミ） | / / |
| 第14著者 所属（和/英） | (略称： ) (略称： ) |
| 第15著者 氏名（和/英/ヨミ） | / / |
| 第15著者 所属（和/英） | (略称： ) (略称： ) |
| 第16著者 氏名（和/英/ヨミ） | / / |
| 第16著者 所属（和/英） | (略称： ) (略称： ) |
| 第17著者 氏名（和/英/ヨミ） | / / |
| 第17著者 所属（和/英） | (略称： ) (略称： ) |
| 第18著者 氏名（和/英/ヨミ） | / / |
| 第18著者 所属（和/英） | (略称： ) (略称： ) |
| 講演者 | 第1著者 |
| 発表日時 | 2018-11-05 15:10:00 |
| 発表時間 | 180分 |
| 申込先研究会 | IBISML |
| 資料番号 | IBISML2018-45 |
| 巻番号（vol） | vol.118 |
| 号番号（no） | no.284 |
| ページ範囲 | pp.9-15 |
| ページ数 | 7 |
| 発行日 | 2018-10-29 (IBISML) |
[研究会発表申込システムのトップページに戻る]