| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2020-10-30 10:50 生徒教師学習を用いた継続学習の破滅的忘却に関する統計力学的解析 ○浅沼遥香・高木志郎・長野祥大・吉田雄紀（東大）・五十嵐康彦（筑波大）・岡田真人（東大）  NC2020-18 |
|
| 抄録 | （和） | モデルに複数のタスクを順番に学習させる継続学習をニューラルネットワークに行うと，最後に学習したタスク以外のタスクのパフォーマンスが急激に落ちる破滅的忘却が起こることが知られている． 先行研究から破滅的忘却を支配する要素として入力空間の類似度・タスク間の類似度が重要であることが実験的・経験的に知られている．破滅的忘却を回避する手法は開発されている一方，破滅的忘却を統一的に議論する枠組みは確立されていないため，それぞれの要因が具体的にどのように破滅的忘却に影響を及ぼすか明らかでない． 本研究ではタスクの類似度・入力空間の類似度を組み込んだ継続学習の単層線形の可解モデルを生徒教師学習・統計力学的定式化を用いてモデル化し解析した．汎化誤差の解析の結果，タスクの類似度と入力空間の類似度が破滅的忘却に対して相乗的に影響することがわかった． |
| （英） | When single neural networks sequentially learns more than one task, catastrophic forgetting occurs except for the last task. It is empirically known from previous studies that the input space similarity and the task-to-task similarity are important factors that govern catastrophic forgetting. While the method to avoid catastrophic forgetting has been studied, it is not clear how each factor specifically affects catastrophic forgetting as no consensus on a framework has been established to discuss catastrophic forgetting in a unified manner. In this study, we modeled and analyzed a solvable model of single-layer linear neural networks of continual learning that incorporates input space similarity and task-to-task similarity using teacher and student learning and statistical mechanics formulation. As a result of analysis, we found that the input space similarity and task-to-task similarity affect the catastrophic forgetting by multiplication. |
|
| キーワード | （和） | 破滅的忘却 / 単層線形モデル / 回帰問題 / オンライン学習 / 生徒教師学習 / 統計力学的解析 / 汎化誤差 / |
| （英） | catastrophic forgetting / a single-layer linear model / a regression problem / online learning / teacher and student learning / statistical mechanical analysis / generalization error / | |
| 文献情報 | 信学技報, vol. 120, no. 216, NC2020-18, pp. 50-55, 2020年10月. | |
| 資料番号 | NC2020-18 | |
| 発行日 | 2020-10-22 (NC) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | NC2020-18 |
|
| 研究会情報 | |
| 研究会 | MBE NC NLP CAS |
| 開催期間 | 2020-10-29 - 2020-10-30 |
| 開催地（和） | オンライン開催 |
| 開催地（英） | Online |
| テーマ（和） | ME，NC，CAS，NLP，一般 |
| テーマ（英） | ME，NC，CAS，NLP |
| 講演論文情報の詳細 | |
| 申込み研究会 | NC |
| 会議コード | 2020-10-MBE-NC-NLP-CAS |
| 本文の言語 | 日本語 |
| タイトル（和） | 生徒教師学習を用いた継続学習の破滅的忘却に関する統計力学的解析 |
| サブタイトル（和） | |
| タイトル（英） | statistical mechanical analysis of catastrophic forgetting in continual learning with teacher and student networks |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 破滅的忘却 / catastrophic forgetting |
| キーワード(2)（和/英） | 単層線形モデル / a single-layer linear model |
| キーワード(3)（和/英） | 回帰問題 / a regression problem |
| キーワード(4)（和/英） | オンライン学習 / online learning |
| キーワード(5)（和/英） | 生徒教師学習 / teacher and student learning |
| キーワード(6)（和/英） | 統計力学的解析 / statistical mechanical analysis |
| キーワード(7)（和/英） | 汎化誤差 / generalization error |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 浅沼 遥香 / Haruka Asanuma / アサヌマ ハルカ |
| 第1著者 所属（和/英） | 東京大学 (略称： 東大) Tokyo University (略称： Tokyo Univ.) |
| 第2著者 氏名（和/英/ヨミ） | 高木 志郎 / Shiro Takagi / タカギ シロウ |
| 第2著者 所属（和/英） | 東京大学 (略称： 東大) Tokyo University (略称： Tokyo Univ.) |
| 第3著者 氏名（和/英/ヨミ） | 長野 祥大 / Yoshihiro Nagano / ナガノ ヨシヒロ |
| 第3著者 所属（和/英） | 東京大学 (略称： 東大) Tokyo University (略称： Tokyo Univ.) |
| 第4著者 氏名（和/英/ヨミ） | 吉田 雄紀 / Yuki Yoshida / ヨシダ ユウキ |
| 第4著者 所属（和/英） | 東京大学 (略称： 東大) Tokyo University (略称： Tokyo Univ.) |
| 第5著者 氏名（和/英/ヨミ） | 五十嵐 康彦 / Yasuhiko Igarashi / イガラシ ヤスヒコ |
| 第5著者 所属（和/英） | 筑波大学 (略称： 筑波大) University of Tsukuba (略称： Tsukuba Univ.) |
| 第6著者 氏名（和/英/ヨミ） | 岡田 真人 / Masato Okada / オカダ マサト |
| 第6著者 所属（和/英） | 東京大学 (略称： 東大) Tokyo University (略称： Tokyo Univ.) |
| 講演者 | 第1著者 |
| 発表日時 | 2020-10-30 10:50:00 |
| 発表時間 | 25分 |
| 申込先研究会 | NC |
| 資料番号 | NC2020-18 |
| 巻番号（vol） | vol.120 |
| 号番号（no） | no.216 |
| ページ範囲 | pp.50-55 |
| ページ数 | 6 |
| 発行日 | 2020-10-22 (NC) |
[研究会発表申込システムのトップページに戻る]