講演抄録/キーワード |
講演名 |
2012-03-14 16:00
素子数制限下での連続関数近似のための追加学習法 ○山内康一郎(中部大) NC2011-145 |
抄録 |
(和) |
筆者は既に,は組み込み機器向け神経回路:Limited General Regression Neural Network(LGRNN)を提案した.
LGRNNはGeneral Regression Neural Networkに中間ユニット数を一定個数に制限する機能を加えたものである.
学習初期は通常のGRNNと同様に,新しいユニットを割り付けることで学習していくが,中間ユニット数が上限に達すると,最も冗長なユニットをカーネル法を使って探しだして削除し,新しい学習サンプルを覚えるべく新しいユニットを割り付ける.
しかしこれだけでは,新しいサンプルの学習が過去の記憶に影響を与え,忘却する恐れがある.
そこでこの影響を事前に見積り,いくつかの学習オプションを適応的に選択するようになっている.
例えば,新しいサンプルを学習すると,かえって過去の記憶の忘却による誤差が大きくなると予測される場合には,新しいサンプルの学習を拒否する場合もある.
本稿ではこのLGRNNと同様に限られたリソースで学習を続けるクラスタリング用学習法:カーネルパーセプトロン,Forgetron, projectron, PDM等の既存のモデルとの比較を行った結果を報告する. |
(英) |
In our previous work, we had proposed a limited general regression neural network (LGRNN) for embedded systems.
The LGRNN learns new instances one by one for regression on a budget.
The LGRNN is an improved version of general regression neural network that continues incremental learning under a fixed number of hidden units.
Initially, the LGRNN learns new samples incrementally by allocating new hidden units.
If the number of hidden units reaches the upper bound, the LGRNN has to remove one useless hidden unit to learn a new sample.
However, there are cases in which the adverse effects of removing a useless unit are greater than the positive effects of learning the new sample.
In this case, the LGRNN should refrain from learning the new sample.
To achieve this, the LGRNN predicts the effects of several learning options (e.g., ignore or learning) before the learning process begins, and chooses the best learning option to be executed.
We also compared LGRNN's performances with those of other similar methods: Forgetron, Projectron and PDM.
As a result, we found that LGRNN error converges much faster than the other mothods. |
キーワード |
(和) |
Limited General Regression Neural Networks / Kernel Machine / Approximated Linear Dependency / 追記学習 / Learning on a budget / / / |
(英) |
Limited General Regression Neural Networks / Kernel Machine / Approximated Linear Dependency / Incremental Learning / Learning on a budget / / / |
文献情報 |
信学技報, vol. 111, no. 483, NC2011-145, pp. 141-146, 2012年3月. |
資料番号 |
NC2011-145 |
発行日 |
2012-03-07 (NC) |
ISSN |
Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
NC2011-145 |