| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2023-12-06 11:20 ベイズ深層学習のドロップアウトパターン事前決定による推論高速化手法の検討 ○菅 研吾・平山侑樹・金子竜也・高前田伸也（東大）  CPSY2023-34 |
|
| 抄録 | （和） | ベイズ深層学習 (BNN) は，確率モデリングと確率推論を利用する機械学習手法であり，予測の不確実性を捉えやすく，過学習を抑えるという利点がある．BNN を実現する方法として，推論時にドロップアウトを伴うフォワーディングを複数行い，得られた計算結果の平均と分散を出力とする手法が知られている． 我々はハードウェア上でベイズ深層学習の推論を行うことを見据え，推論時のデータフローを最適化する手法を提案する．提案手法は，学習を行う前にドロップアウトパターンを事前決定し，これを学習と推論の両方に使用する．これにより推論時の乱数発生を不要にし，また低回数の順伝播で高精度な推論を可能にする．さらに，中間層の計算結果を効率的に使い回すため，順伝播のデータフローの構造を学習時に自動探索する．これにより計算回数をさらに削減し，推論プロセスの効率を向上させることを意図する．本稿では，提案手法の有用性を示すために，MNISTデータセットを用いた実験を行った．その結果，既存手法と同程度の精度を保ちながら，途中計算に用いられるパラメータ数を平均で約43%削減できることが示された． |
| （英） | ||
| キーワード | （和） | ベイズ深層学習 / 深層学習 / ドロップアウト / / / / / |
| （英） | / / / / / / / | |
| 文献情報 | 信学技報, vol. 123, no. 293, CPSY2023-34, pp. 42-47, 2023年12月. | |
| 資料番号 | CPSY2023-34 | |
| 発行日 | 2023-11-28 (CPSY) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | CPSY2023-34 |
|
| 研究会情報 | |
| 研究会 | CPSY IPSJ-ARC IPSJ-HPC |
| 開催期間 | 2023-12-05 - 2023-12-06 |
| 開催地（和） | 沖縄産業支援センター |
| 開催地（英） | Okinawa Industry Support Center |
| テーマ（和） | コンピュータシステム, HPC, 一般 |
| テーマ（英） | Computer Systems, HPC, etc. |
| 講演論文情報の詳細 | |
| 申込み研究会 | CPSY |
| 会議コード | 2023-12-CPSY-ARC-HPC |
| 本文の言語 | 日本語 |
| タイトル（和） | ベイズ深層学習のドロップアウトパターン事前決定による推論高速化手法の検討 |
| サブタイトル（和） | |
| タイトル（英） | |
| サブタイトル（英） | |
| キーワード(1)（和/英） | ベイズ深層学習 / |
| キーワード(2)（和/英） | 深層学習 / |
| キーワード(3)（和/英） | ドロップアウト / |
| キーワード(4)（和/英） | / |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 菅 研吾 / / スガ ケンゴ |
| 第1著者 所属（和/英） | 東京大学 (略称： 東大) (略称： ) |
| 第2著者 氏名（和/英/ヨミ） | 平山 侑樹 / / ヒラヤマ ユウキ |
| 第2著者 所属（和/英） | 東京大学 (略称： 東大) (略称： ) |
| 第3著者 氏名（和/英/ヨミ） | 金子 竜也 / / カネコ タツヤ |
| 第3著者 所属（和/英） | 東京大学 (略称： 東大) (略称： ) |
| 第4著者 氏名（和/英/ヨミ） | 高前田 伸也 / / タカマエダ シンヤ |
| 第4著者 所属（和/英） | 東京大学 (略称： 東大) (略称： ) |
| 講演者 | 第1著者 |
| 発表日時 | 2023-12-06 11:20:00 |
| 発表時間 | 25分 |
| 申込先研究会 | CPSY |
| 資料番号 | CPSY2023-34 |
| 巻番号（vol） | vol.123 |
| 号番号（no） | no.293 |
| ページ範囲 | pp.42-47 |
| ページ数 | 6 |
| 発行日 | 2023-11-28 (CPSY) |
[研究会発表申込システムのトップページに戻る]