講演抄録/キーワード |
講演名 |
2017-05-26 13:50
学習誤差の順逆並行伝播によるオートエンコーダ学習 ○大濱吉紘・吉村貴克(豊田中研) NC2017-3 |
抄録 |
(和) |
中間層の神経素子数を縮約した多層神経回路を用いて,データセットの本質的な情報表現を抽出するオートエンコーダ(AE)が知られている.一般にAEは,誤差逆伝播学習則により,入出力が一致するように結合荷重を適応させると中間層に情報表現が獲得される一方,階層数を増大させると膨大な繰り返し学習が必要となる.学習の高速化のために,学習則の調整法や,伝播誤差消失を緩和する神経素子が既に提案されているが,本報告では並列計算を想定してAEの入出力両側から学習誤差を並行伝播し,伝播誤差消失を緩和する方法を提案する.半円軌跡の中心角抽出及び手書き数字画像の特徴抽出課題の数値実験により,提案法の基礎特性を検討する. |
(英) |
Auto-encoder is known as a hourglass neural network for acquiring essential representations from multi-dimensional data set. Learning identity mapping by the back-propagation rule, the representations will be acquired in general. In order to reduce iterations for updating neural weights, many automated parameter adjustment method for the learning rule and neural activation functions for avoiding vanishing gradients have been proposed. In this work, we introduce that propagating errors both from input and output layer in parallel could decrease the iterations by half. Feasibility of this approach is confirmed by following two simple computer simulations. |
キーワード |
(和) |
オートエンコーダ / 表現学習 / 恒等写像 / 誤差逆伝播学習 / 誤差順伝播学習 / / / |
(英) |
Auto-Encoder / Representation Learning / Identity Mapping / Back-propagation Rule / Forward-propagation Rule / / / |
文献情報 |
信学技報, vol. 117, no. 64, NC2017-3, pp. 13-18, 2017年5月. |
資料番号 |
NC2017-3 |
発行日 |
2017-05-19 (NC) |
ISSN |
Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
NC2017-3 |