| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2018-09-20 10:10 ニューロンの出力に基づくニューラルネットワークの構造学習 ○菅間幸司・磯田雄基・和田俊和（和歌山大）  PRMU2018-40 IBISML2018-17 |
|
| 抄録 | （和） | 本稿で 本稿で は DNN の軽量化ため手法を提案する の軽量化ため手法を提案する の軽量化ため手法を提案する の軽量化ため手法を提案する の軽量化ため手法を提案する の軽量化ため手法を提案する ．提案手法は 提案手法は ，ニューロンをその出力値により特徴 ニューロンをその出力値により特徴 ニューロンをその出力値により特徴 ニューロンをその出力値により特徴 ニューロンをその出力値により特徴 ニューロンをその出力値により特徴 づける づける Neuro NeuroNeuro-CodingCodingCodingCoding Codingと，ふる まいが似たニューロンを探して統合すふる まいが似たニューロンを探して統合すふる まいが似たニューロンを探して統合すふる まいが似たニューロンを探して統合すふる まいが似たニューロンを探して統合すふる まいが似たニューロンを探して統合すふる まいが似たニューロンを探して統合すNeuro NeuroNeuro-Unification UnificationUnificationUnificationUnification Unification Unificationの 2手法で構成される 手法で構成される 手法で構成される 手法で構成される ．従 来手法である 来手法である 来手法である PruningPruningPruningPruningPruning Pruningでは ，ニューロンや重みを取り除くだけであるが ニューロンや重みを取り除くだけであるが ニューロンや重みを取り除くだけであるが ニューロンや重みを取り除くだけであるが ニューロンや重みを取り除くだけであるが ニューロンや重みを取り除くだけであるが ニューロンや重みを取り除くだけであるが ，本手法の場合は取り除 本手法の場合は取り除 本手法の場合は取り除 本手法の場合は取り除 かれ たニューロン たニューロン たニューロン のふるまいが別ニューロンによって のふるまいが別ニューロンによって のふるまいが別ニューロンによって のふるまいが別ニューロンによって のふるまいが別ニューロンによって のふるまいが別ニューロンによって のふるまいが別ニューロンによって 代替 されるため されるため ，推論精度への影響を抑えつパラメータ減らすことがで 推論精度への影響を抑えつパラメータ減らすことがで 推論精度への影響を抑えつパラメータ減らすことがで 推論精度への影響を抑えつパラメータ減らすことがで 推論精度への影響を抑えつパラメータ減らすことがで 推論精度への影響を抑えつパラメータ減らすことがで 推論精度への影響を抑えつパラメータ減らすことがで 推論精度への影響を抑えつパラメータ減らすことがで 推論精度への影響を抑えつパラメータ減らすことがで 推論精度への影響を抑えつパラメータ減らすことがで きる ．そのため従来法と比べて再学習 そのため従来法と比べて再学習 そのため従来法と比べて再学習 そのため従来法と比べて再学習 そのため従来法と比べて再学習 そのため従来法と比べて再学習 の手間が省ける という利点あ手間が省ける という利点あ手間が省ける という利点あ手間が省ける という利点あ手間が省ける という利点あ．また ，従来法の多くでは 従来法の多くでは 従来法の多くでは 従来法の多くでは 軽量化後の 軽量化後の ネッ トワーク構造を トワーク構造を トワーク構造を トワーク構造を 事前に手動で決める 事前に手動で決める 事前に手動で決める 必要が あった必要が あった必要が あった，本手法 本手法 では初期構造から適切なを自動的に模索できる可 初期構造から適切なを自動的に模索できる可 初期構造から適切なを自動的に模索できる可 初期構造から適切なを自動的に模索できる可 初期構造から適切なを自動的に模索できる可 初期構造から適切なを自動的に模索できる可 初期構造から適切なを自動的に模索できる可 初期構造から適切なを自動的に模索できる可 初期構造から適切なを自動的に模索できる可 能性があり 能性があり 能性があり ，構造学習手法としての価値も期待される 構造学習手法としての価値も期待される 構造学習手法としての価値も期待される 構造学習手法としての価値も期待される 構造学習手法としての価値も期待される 構造学習手法としての価値も期待される 構造学習手法としての価値も期待される ． |
| （英） | This paper presents a method of compaction on DNNs. Our method includes two steps, 1) Neuro-Coding: feature the neuron behaviors by their outputs, and 2) Neuro-Unification: unify the neurons which behave similarly. While the existing pruning methods just remove the neurons or the weights, our method let another neuron succeed the behavior of the removed one. Therefore, our method can reduce the parameters while the sacrifice of inference accuracy stays small. Moreover, many of the existing methods require people to manually determine the network structure after compaction, but our method can explore an adequate structure automatically. Thus, our method could be valuable as a structural learning method. | |
| キーワード | （和） | ニューラルネットワーク / 軽量化 / Neuro-Coding / Neuro-Unification / / / / |
| （英） | Deep Neural Network (DNN) / Compaction / Neuro-Coding / Neuro-Unification / / / / | |
| 文献情報 | 信学技報, vol. 118, no. 219, PRMU2018-40, pp. 31-36, 2018年9月. | |
| 資料番号 | PRMU2018-40 | |
| 発行日 | 2018-09-13 (PRMU, IBISML) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | PRMU2018-40 IBISML2018-17 |
|
| 研究会情報 | |
| 研究会 | PRMU IBISML IPSJ-CVIM |
| 開催期間 | 2018-09-20 - 2018-09-21 |
| 開催地（和） | 福岡工業大学 |
| 開催地（英） | |
| テーマ（和） | 機械学習と実応用 |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | PRMU |
| 会議コード | 2018-09-PRMU-IBISML-CVIM |
| 本文の言語 | 英語（日本語タイトルあり） |
| タイトル（和） | ニューロンの出力に基づくニューラルネットワークの構造学習 |
| サブタイトル（和） | |
| タイトル（英） | Structural Learning of Neural Network based on Outputs of Neurons |
| サブタイトル（英） | |
| キーワード(1)（和/英） | ニューラルネットワーク / Deep Neural Network (DNN) |
| キーワード(2)（和/英） | 軽量化 / Compaction |
| キーワード(3)（和/英） | Neuro-Coding / Neuro-Coding |
| キーワード(4)（和/英） | Neuro-Unification / Neuro-Unification |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 菅間 幸司 / Koji Kamma / カンマ コウジ |
| 第1著者 所属（和/英） | 和歌山大学 (略称： 和歌山大) Wakayama University (略称： Wakayama Univ.) |
| 第2著者 氏名（和/英/ヨミ） | 磯田 雄基 / Yuki Isoda / イソダ ユウキ |
| 第2著者 所属（和/英） | 和歌山大学 (略称： 和歌山大) Wakayama University (略称： Wakayama Univ.) |
| 第3著者 氏名（和/英/ヨミ） | 和田 俊和 / Toshikazu Wada / ワダ トシカズ |
| 第3著者 所属（和/英） | 和歌山大学 (略称： 和歌山大) Wakayama University (略称： Wakayama Univ.) |
| 講演者 | 第1著者 |
| 発表日時 | 2018-09-20 10:10:00 |
| 発表時間 | 10分 |
| 申込先研究会 | PRMU |
| 資料番号 | PRMU2018-40, IBISML2018-17 |
| 巻番号（vol） | vol.118 |
| 号番号（no） | no.219(PRMU), no.220(IBISML) |
| ページ範囲 | pp.31-36 |
| ページ数 | 6 |
| 発行日 | 2018-09-13 (PRMU, IBISML) |
[研究会発表申込システムのトップページに戻る]