| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2021-03-03 13:00 畳み込みニューラルネットワークにおけるハイブリッドスパース化 ○野口尚馬・山内ゆかり（日大）  NC2020-46 |
|
| 抄録 | （和） | 畳み込みニューラルネットワーク(CNN)は画像分類や物体検出などの分野で高精度を実現している。しかし、大規模なCNNモデルは冗長なパラメータを多く含んでおり、それが汎化性能の低下や過学習などの原因となっている。この問題を解決する手法の一つに、CNNの学習時に重みをスパース化して冗長なパラメータを削減する方法がある。AlvarezらやScardapaneらは、グループ単位のL2正則化と要素ごとのL1正則化を合わせたスパースグループLASSOを様々なアーキテクチャに適用し、同等かそれ以上の精度の圧縮ネットワークを得ている。またKevinらは、L0正則化が機械学習のいくつかの分野でL1正則化より優れたスパース解を実現していることに着目し、スパースグループLASSOのL1正則化項をL0正則化項に置き換えたスパースグループLASSO L0を提案した。本研究では、スパースグループLASSOとスパースグループLASSO L0を合わせたハイブリッドスパース化手法を提案し、CNNの精度を維持しつつ従来手法よりも高いスパース度の実現を試みる。 |
| （英） | Convolutional neural networks (CNNs) have achieved high accuracy in areas such as image classification and object detection. However, large-scale CNN models contain a lot of redundant parameters, which leads to poor generalization performance and overtraining. Alvarez et al. and Scardapane et al. applied sparse group LASSO, which is a combination of group-wise L2 regularization and element-wise L1 regularization, to various architectures. They obtained compressed networks with the same or better accuracy. Kevin et al. proposed sparse-group LASSO L0, in which the L1 regularization term of sparse-group LASSO is replaced by an L0 regularization term. In this study, we propose a hybrid sparsification method that combines sparse-group LASSO and sparse-group LASSO L0, and try to achieve higher sparsity than the conventional method while maintaining the accuracy of CNN. | |
| キーワード | （和） | 畳み込みニューラルネットワーク / スパースモデリング / スパースグループLASSO / / / / / |
| （英） | Convolutional Neural Network / Sparse Modeling / Sparse Group LASSO / / / / / | |
| 文献情報 | 信学技報, vol. 120, no. 403, NC2020-46, pp. 21-24, 2021年3月. | |
| 資料番号 | NC2020-46 | |
| 発行日 | 2021-02-24 (NC) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | NC2020-46 |
|
| 研究会情報 | |
| 研究会 | NC MBE |
| 開催期間 | 2021-03-03 - 2021-03-05 |
| 開催地（和） | オンライン開催 |
| 開催地（英） | Online |
| テーマ（和） | NC, ME, 一般 |
| テーマ（英） | Neuro Computing, Medical Engineering, etc. |
| 講演論文情報の詳細 | |
| 申込み研究会 | NC |
| 会議コード | 2021-03-NC-MBE |
| 本文の言語 | 日本語 |
| タイトル（和） | 畳み込みニューラルネットワークにおけるハイブリッドスパース化 |
| サブタイトル（和） | |
| タイトル（英） | Hybrid Sparsity in Convolutional Neural Networks |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 畳み込みニューラルネットワーク / Convolutional Neural Network |
| キーワード(2)（和/英） | スパースモデリング / Sparse Modeling |
| キーワード(3)（和/英） | スパースグループLASSO / Sparse Group LASSO |
| キーワード(4)（和/英） | / |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 野口 尚馬 / Shoma Noguchi / ノグチ ショウマ |
| 第1著者 所属（和/英） | 日本大学 (略称： 日大) Nihon University (略称： Nihon Univ.) |
| 第2著者 氏名（和/英/ヨミ） | 山内 ゆかり / Yukari Yamauchi / ヤマウチ ユカリ |
| 第2著者 所属（和/英） | 日本大学 (略称： 日大) Nihon University (略称： Nihon Univ.) |
| 講演者 | 第1著者 |
| 発表日時 | 2021-03-03 13:00:00 |
| 発表時間 | 25分 |
| 申込先研究会 | NC |
| 資料番号 | NC2020-46 |
| 巻番号（vol） | vol.120 |
| 号番号（no） | no.403 |
| ページ範囲 | pp.21-24 |
| ページ数 | 4 |
| 発行日 | 2021-02-24 (NC) |
[研究会発表申込システムのトップページに戻る]