講演抄録/キーワード |
講演名 |
2019-03-06 15:00
自己蒸留によるDNNの蒸留の効率化 ○高木純平・服部元信(山梨大) NC2018-83 |
抄録 |
(和) |
蒸留は,教師ニューラルネットの学習によって獲得した知識を生徒ニューラルネットの学習に用いることでより高精度な生徒を作成する手法である.また,作成した生徒を教師としてさらに蒸留を行うことでより高精度な生徒を作成できることもわかっている.しかし,そのような複数世代の蒸留は学習に時間がかかる問題がある.そこで本稿では,蒸留に必要な世代数を削減し,学習時間を短縮することを目的とし,学習途中に得られた最高精度のネットワークを教師として1世代内で蒸留を行う自己蒸留を提案する.画像分類タスクにおいて自己蒸留が,従来の蒸留に比べて少ない世代,短い学習時間で高精度を獲得できることを確認した. |
(英) |
Knowledge distillation is a method to create a superior student by using knowledge obtained from a trained teacher neural network. Recent studies have shown that much superior students can be obtained by distilling the trained student further as a teacher. Distilling the knowledge through multiple generations, however, takes a long time for learning. In this paper, we propose a self distillation method which can reduce both the number of generations and learning time for knowledge distillation. In self distillation, the most accurate network is obtained during intra-generation learning, and it is used as a teacher of intra-generational distillation. Our experiments for image classification task demonstrate that the proposed self distillation acquires high accuracy with fewer generations and less learning time than the conventional method. |
キーワード |
(和) |
知識蒸留 / 自己蒸留 / 深層学習 / 画像分類 / / / / |
(英) |
Knowledge Distillation / Self Distillation / Deep Learning / Image Classification / / / / |
文献情報 |
信学技報, vol. 118, no. 470, NC2018-83, pp. 209-214, 2019年3月. |
資料番号 |
NC2018-83 |
発行日 |
2019-02-25 (NC) |
ISSN |
Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
NC2018-83 |
研究会情報 |
研究会 |
NC MBE |
開催期間 |
2019-03-04 - 2019-03-06 |
開催地(和) |
電気通信大学 |
開催地(英) |
University of Electro Communications |
テーマ(和) |
NC, ME, 一般 |
テーマ(英) |
|
講演論文情報の詳細 |
申込み研究会 |
NC |
会議コード |
2019-03-NC-MBE |
本文の言語 |
日本語 |
タイトル(和) |
自己蒸留によるDNNの蒸留の効率化 |
サブタイトル(和) |
|
タイトル(英) |
Efficient Learning for Distillation of DNN by Self Distillation |
サブタイトル(英) |
|
キーワード(1)(和/英) |
知識蒸留 / Knowledge Distillation |
キーワード(2)(和/英) |
自己蒸留 / Self Distillation |
キーワード(3)(和/英) |
深層学習 / Deep Learning |
キーワード(4)(和/英) |
画像分類 / Image Classification |
キーワード(5)(和/英) |
/ |
キーワード(6)(和/英) |
/ |
キーワード(7)(和/英) |
/ |
キーワード(8)(和/英) |
/ |
第1著者 氏名(和/英/ヨミ) |
高木 純平 / Jumpei Takagi / タカギ ジュンペイ |
第1著者 所属(和/英) |
山梨大学 (略称: 山梨大)
University of Yamanashi (略称: Univ of Yamanashi) |
第2著者 氏名(和/英/ヨミ) |
服部 元信 / Motonobu Hattori / ハットリ モトノブ |
第2著者 所属(和/英) |
山梨大学 (略称: 山梨大)
University of Yamanashi (略称: Univ of Yamanashi) |
第3著者 氏名(和/英/ヨミ) |
/ / |
第3著者 所属(和/英) |
(略称: )
(略称: ) |
第4著者 氏名(和/英/ヨミ) |
/ / |
第4著者 所属(和/英) |
(略称: )
(略称: ) |
第5著者 氏名(和/英/ヨミ) |
/ / |
第5著者 所属(和/英) |
(略称: )
(略称: ) |
第6著者 氏名(和/英/ヨミ) |
/ / |
第6著者 所属(和/英) |
(略称: )
(略称: ) |
第7著者 氏名(和/英/ヨミ) |
/ / |
第7著者 所属(和/英) |
(略称: )
(略称: ) |
第8著者 氏名(和/英/ヨミ) |
/ / |
第8著者 所属(和/英) |
(略称: )
(略称: ) |
第9著者 氏名(和/英/ヨミ) |
/ / |
第9著者 所属(和/英) |
(略称: )
(略称: ) |
第10著者 氏名(和/英/ヨミ) |
/ / |
第10著者 所属(和/英) |
(略称: )
(略称: ) |
第11著者 氏名(和/英/ヨミ) |
/ / |
第11著者 所属(和/英) |
(略称: )
(略称: ) |
第12著者 氏名(和/英/ヨミ) |
/ / |
第12著者 所属(和/英) |
(略称: )
(略称: ) |
第13著者 氏名(和/英/ヨミ) |
/ / |
第13著者 所属(和/英) |
(略称: )
(略称: ) |
第14著者 氏名(和/英/ヨミ) |
/ / |
第14著者 所属(和/英) |
(略称: )
(略称: ) |
第15著者 氏名(和/英/ヨミ) |
/ / |
第15著者 所属(和/英) |
(略称: )
(略称: ) |
第16著者 氏名(和/英/ヨミ) |
/ / |
第16著者 所属(和/英) |
(略称: )
(略称: ) |
第17著者 氏名(和/英/ヨミ) |
/ / |
第17著者 所属(和/英) |
(略称: )
(略称: ) |
第18著者 氏名(和/英/ヨミ) |
/ / |
第18著者 所属(和/英) |
(略称: )
(略称: ) |
第19著者 氏名(和/英/ヨミ) |
/ / |
第19著者 所属(和/英) |
(略称: )
(略称: ) |
第20著者 氏名(和/英/ヨミ) |
/ / |
第20著者 所属(和/英) |
(略称: )
(略称: ) |
講演者 |
第1著者 |
発表日時 |
2019-03-06 15:00:00 |
発表時間 |
25分 |
申込先研究会 |
NC |
資料番号 |
NC2018-83 |
巻番号(vol) |
vol.118 |
号番号(no) |
no.470 |
ページ範囲 |
pp.209-214 |
ページ数 |
6 |
発行日 |
2019-02-25 (NC) |
|