| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2022-01-24 16:20 最終層学習によるDPUの学習機能追加について ○高嶋優希・神宮司明良・中原啓貴（東工大）  VLD2021-59 CPSY2021-28 RECONF2021-67 |
|
| 抄録 | （和） | 近年，深層学習への需要が高まっており，多くのハードウェア実装が提案されてきた．Xilinx社の提供するプラットフォームであるDeep learning Processor Unit（DPU）はその一つである．しかし，推論を高速で行える一方で学習できないという問題があった． 本研究ではConvolutional Neural Network（CNN）の最終層を独立させる最終層学習を提案する．この手法は最終層以外をDPUを用いて演算を行い，最終層はCPUで計算する．すなわち，モデルの大半をDPUで処理可能なため高速な計算速度を維持しつつ，最終層のみをCPUで実行して重みの変更や追加といった学習を可能とする．CNNを用いた画像分類は出力のニューロン数とクラス数が一致している必要があり，クラス数を追加する再学習などで効果を発揮する． 最終層学習を行う場合，既存のクラスと追加するクラスのドメインの類似性が重要であることが分かった．そのため多クラスなデータセットでの学習には向かない．しかし，cifar10のようなクラス数が少なくドメインが独立しているデータセットであればモデル全体を10クラス分全ての学習データで学習した際と，モデル全体を8クラス分で学習したのち最終層のみ2クラス追加して学習した際で3ポイント程度の精度低下に抑えることができた．またDPUとCPUのハイブリッドシステムの処理速度低下はほとんどないことを明らかにした． |
| （英） | The demand for deep learning has been increasing, and many hardware implementations have been proposed. The Deep learning Processor Unit (DPU) was provided by Xilinx. Althogh it can perform inference at high speed, it cannot perform training. We propose a tail layer training that makes the tail layer of a Convolutional Neural Network (CNN) independent. All layers except the tail layer are computed using a DPU, and the tail layer is computed by a CPU. Since the number of neurons and classes in the output must be the same for image classification, it is effective for retraining to add the number of classes. The tail layer training, found that the relationship between the existing classes and the classes to be added is important. Therefore, it is not suitable for training on large number of classes. However, with a dataset such as cifar10, it is able to reduce the loss of accuracy by about 3 points between training the entire model with all 10 classes and training only the tail layer with 2 add classes after training the entire model with 8 classes. |
|
| キーワード | （和） | CNN / 画像分類 / DPU / 最終層学習 / / / / |
| （英） | CNN / Image Classification / DPU / Tail Layer Training / / / / | |
| 文献情報 | 信学技報, vol. 121, no. 344, RECONF2021-67, pp. 55-60, 2022年1月. | |
| 資料番号 | RECONF2021-67 | |
| 発行日 | 2022-01-17 (VLD, CPSY, RECONF) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | VLD2021-59 CPSY2021-28 RECONF2021-67 |
|
| 研究会情報 | |
| 研究会 | RECONF VLD CPSY IPSJ-ARC IPSJ-SLDM |
| 開催期間 | 2022-01-24 - 2022-01-25 |
| 開催地（和） | オンライン開催 |
| 開催地（英） | Online |
| テーマ（和） | FPGA 応用および一般 |
| テーマ（英） | FPGA Applications, etc. |
| 講演論文情報の詳細 | |
| 申込み研究会 | RECONF |
| 会議コード | 2022-01-RECONF-VLD-CPSY-ARC-SLDM |
| 本文の言語 | 日本語 |
| タイトル（和） | 最終層学習によるDPUの学習機能追加について |
| サブタイトル（和） | |
| タイトル（英） | Addition of DPU Training Function by Tail Layer Training |
| サブタイトル（英） | |
| キーワード(1)（和/英） | CNN / CNN |
| キーワード(2)（和/英） | 画像分類 / Image Classification |
| キーワード(3)（和/英） | DPU / DPU |
| キーワード(4)（和/英） | 最終層学習 / Tail Layer Training |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 高嶋 優希 / Yuki Takashima / タカシマ ユウキ |
| 第1著者 所属（和/英） | 東京工業大学 (略称： 東工大) Tokyo Institute of Technology (略称： Tokyo Tech) |
| 第2著者 氏名（和/英/ヨミ） | 神宮司 明良 / Akira Jinguji / ジングウジ アキラ |
| 第2著者 所属（和/英） | 東京工業大学 (略称： 東工大) Tokyo Institute of Technology (略称： Tokyo Tech) |
| 第3著者 氏名（和/英/ヨミ） | 中原 啓貴 / Hiroki Nakahara / ナカハラ ヒロキ |
| 第3著者 所属（和/英） | 東京工業大学 (略称： 東工大) Tokyo Institute of Technology (略称： Tokyo Tech) |
| 講演者 | 第1著者 |
| 発表日時 | 2022-01-24 16:20:00 |
| 発表時間 | 25分 |
| 申込先研究会 | RECONF |
| 資料番号 | VLD2021-59, CPSY2021-28, RECONF2021-67 |
| 巻番号（vol） | vol.121 |
| 号番号（no） | no.342(VLD), no.343(CPSY), no.344(RECONF) |
| ページ範囲 | pp.55-60 |
| ページ数 | 6 |
| 発行日 | 2022-01-17 (VLD, CPSY, RECONF) |
[研究会発表申込システムのトップページに戻る]