| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2022-12-23 09:40 記憶ユニットの初期化方法による関数近似性能への影響 ○寺澤悠翔・大久保 潤（埼玉大）  IBISML2022-52 |
|
| 抄録 | （和） | ニューラルネットワークを用いた時系列データを学習するためのモデルとして，例えばRNNやLSTM，Transformerなどを利用したさまざまなものが提案されている．近年，記憶ユニットと呼ばれる新しい手法が提案された．従来のRNNやLSTMでは隠れ層や記憶セルがブラックボックス的要素となってしまう．一方で，記憶ユニットでは直交多項式を用いた明示的な近似を利用する．また，直交多項式の性質を利用することにより，記憶を担う部分の重みの学習は不要となる．しかし，記憶ユニットを実装した際の基本的な性質の調査はまだ十分ではない．例えば，記憶ユニットを用いた関数近似の精度は初期の数ステップで悪化する．本研究では記憶ユニットの関数近似の精度を向上させるために，いくつかの手法で数値実験を実施した．結果として，入力データの初期値を利用した前処理を行うことで関数近似の精度が向上することを確認した． |
| （英） | Many researchers have proposed various neural network models for learning time-series data, such as RNN, LSTM, and Transformer. Recently, a new method called `memory unit' has been proposed. In conventional RNNs and LSTMs, hidden layers and storage cells are black box elements. On the other hand, the memory unit uses explicit approximation using orthogonal polynomials. Moreover, the properties of orthogonal polynomials enable us to avoid learning the weights for the memory part. However, there remain some unclear points regarding the basic properties of the memory unit implementation. For example, the approximation accuracy of the memory unit decreases in first several steps. In this study, we perform several numerical experiments to improve the accuracy of function approximation of the memory unit. As a result, we confirmed that a preprocessing method based on the initial values of the input data improves the accuracy of function approximation. | |
| キーワード | （和） | ニューラルネットワーク / 時系列データ / RNN / LSTM / 記憶ユニット / / / |
| （英） | Neural Network / time series data / RNN / LSTM / memory units / / / | |
| 文献情報 | 信学技報, vol. 122, no. 325, IBISML2022-52, pp. 62-69, 2022年12月. | |
| 資料番号 | IBISML2022-52 | |
| 発行日 | 2022-12-15 (IBISML) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | IBISML2022-52 |
|
| 研究会情報 | |
| 研究会 | IBISML |
| 開催期間 | 2022-12-22 - 2022-12-23 |
| 開催地（和） | 京都大学 |
| 開催地（英） | Kyoto University |
| テーマ（和） | 機械学習一般 |
| テーマ（英） | Machine Learning, etc. |
| 講演論文情報の詳細 | |
| 申込み研究会 | IBISML |
| 会議コード | 2022-12-IBISML |
| 本文の言語 | 日本語 |
| タイトル（和） | 記憶ユニットの初期化方法による関数近似性能への影響 |
| サブタイトル（和） | |
| タイトル（英） | Effect of memory unit initialization on performance for function approximation |
| サブタイトル（英） | |
| キーワード(1)（和/英） | ニューラルネットワーク / Neural Network |
| キーワード(2)（和/英） | 時系列データ / time series data |
| キーワード(3)（和/英） | RNN / RNN |
| キーワード(4)（和/英） | LSTM / LSTM |
| キーワード(5)（和/英） | 記憶ユニット / memory units |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 寺澤 悠翔 / Yuto Terasawa / テラサワ ユウト |
| 第1著者 所属（和/英） | 埼玉大学 (略称： 埼玉大) Saitama University (略称： Saitama Univ.) |
| 第2著者 氏名（和/英/ヨミ） | 大久保 潤 / Jun Ohkubo / オオクボ ジュン |
| 第2著者 所属（和/英） | 埼玉大学 (略称： 埼玉大) Saitama University (略称： Saitama Univ.) |
| 講演者 | 第1著者 |
| 発表日時 | 2022-12-23 09:40:00 |
| 発表時間 | 20分 |
| 申込先研究会 | IBISML |
| 資料番号 | IBISML2022-52 |
| 巻番号（vol） | vol.122 |
| 号番号（no） | no.325 |
| ページ範囲 | pp.62-69 |
| ページ数 | 8 |
| 発行日 | 2022-12-15 (IBISML) |
[研究会発表申込システムのトップページに戻る]