| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2020-10-21 15:35 ［招待講演］深層学習を微分方程式で記述する ○園田 翔（理研）  IBISML2020-24 |
|
| 抄録 | （和） | 深層ニューラルネットの内部で起きている情報処理を，特徴量空間$Z$上の曲線$f:[0,1]times Zto Z$や，対応する特徴量分布$p(t,z)$の時間発展方程式として記述したい。現実のネットワーク構造は縦横無尽に接続することがあり統一的な解析は困難だが，ここでは特に複数の中間層が縦列接続している構造を想定する。中間層写像$f_ell:Z^{ell-1} to Z^ell$を何層も重ねた合成写像$f_L circ cdots circ f_1:Z^0to Z^L$による情報処理は，ある共通の状態空間$Z$上の点列${ z_t }_{t in NN}$や曲線$z()$に対応付けられる。点列や曲線の生成過程を決定することで，深層構造で行われている情報処理を理解し，改善へと繋げる。このように深層ニューラルネットの情報処理様式を曲線に転換して解析する方法は，2018年頃からは Neural ODE や ODE-Net という通称で積極的に研究開発が進められている。本講演では，Sonoda and Murata (2019) ``Transport Analysis of Infinitely Deep Neural Network'' JMLR に基づき，雑音除去自己符号化器の場合には特徴量分布の発展方程式が後退型熱方程式で与えられることを説明する。時間があれば，講演者が最近発見したReLUネットのRadon型再構成公式に基づく新しい方程式も紹介する。 |
| （英） | ||
| キーワード | （和） | 深層ニューラルネット / 最適制御 / 自己符号化器 / 後退型熱方程式 / Radon型再構成公式 / / / |
| （英） | / / / / / / / | |
| 文献情報 | 信学技報, vol. 120, no. 195, IBISML2020-24, pp. 42-42, 2020年10月. | |
| 資料番号 | IBISML2020-24 | |
| 発行日 | 2020-10-13 (IBISML) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | IBISML2020-24 |
|
| 研究会情報 | |
| 研究会 | IBISML |
| 開催期間 | 2020-10-20 - 2020-10-22 |
| 開催地（和） | オンライン開催 |
| 開催地（英） | Online |
| テーマ（和） | 機械学習の最前線に関するオーガナイズドセッションおよび機械学習一般 |
| テーマ（英） | Organized Sessions on Frontiers of Machine Learning and General Sessions |
| 講演論文情報の詳細 | |
| 申込み研究会 | IBISML |
| 会議コード | 2020-10-IBISML |
| 本文の言語 | 日本語（英語タイトルなし） |
| タイトル（和） | 深層学習を微分方程式で記述する |
| サブタイトル（和） | |
| タイトル（英） | |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 深層ニューラルネット / |
| キーワード(2)（和/英） | 最適制御 / |
| キーワード(3)（和/英） | 自己符号化器 / |
| キーワード(4)（和/英） | 後退型熱方程式 / |
| キーワード(5)（和/英） | Radon型再構成公式 / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 園田 翔 / / ソノダ ショウ |
| 第1著者 所属（和/英） | 理化学研究所 (略称： 理研) (略称： ) |
| 第2著者 氏名（和/英/ヨミ） | / / |
| 第2著者 所属（和/英） | (略称： ) (略称： ) |
| 第3著者 氏名（和/英/ヨミ） | / / |
| 第3著者 所属（和/英） | (略称： ) (略称： ) |
| 第4著者 氏名（和/英/ヨミ） | / / |
| 第4著者 所属（和/英） | (略称： ) (略称： ) |
| 第5著者 氏名（和/英/ヨミ） | / / |
| 第5著者 所属（和/英） | (略称： ) (略称： ) |
| 第6著者 氏名（和/英/ヨミ） | / / |
| 第6著者 所属（和/英） | (略称： ) (略称： ) |
| 第7著者 氏名（和/英/ヨミ） | / / |
| 第7著者 所属（和/英） | (略称： ) (略称： ) |
| 第8著者 氏名（和/英/ヨミ） | / / |
| 第8著者 所属（和/英） | (略称： ) (略称： ) |
| 第9著者 氏名（和/英/ヨミ） | / / |
| 第9著者 所属（和/英） | (略称： ) (略称： ) |
| 第10著者 氏名（和/英/ヨミ） | / / |
| 第10著者 所属（和/英） | (略称： ) (略称： ) |
| 第11著者 氏名（和/英/ヨミ） | / / |
| 第11著者 所属（和/英） | (略称： ) (略称： ) |
| 第12著者 氏名（和/英/ヨミ） | / / |
| 第12著者 所属（和/英） | (略称： ) (略称： ) |
| 第13著者 氏名（和/英/ヨミ） | / / |
| 第13著者 所属（和/英） | (略称： ) (略称： ) |
| 第14著者 氏名（和/英/ヨミ） | / / |
| 第14著者 所属（和/英） | (略称： ) (略称： ) |
| 第15著者 氏名（和/英/ヨミ） | / / |
| 第15著者 所属（和/英） | (略称： ) (略称： ) |
| 第16著者 氏名（和/英/ヨミ） | / / |
| 第16著者 所属（和/英） | (略称： ) (略称： ) |
| 第17著者 氏名（和/英/ヨミ） | / / |
| 第17著者 所属（和/英） | (略称： ) (略称： ) |
| 第18著者 氏名（和/英/ヨミ） | / / |
| 第18著者 所属（和/英） | (略称： ) (略称： ) |
| 講演者 | 第1著者 |
| 発表日時 | 2020-10-21 15:35:00 |
| 発表時間 | 40分 |
| 申込先研究会 | IBISML |
| 資料番号 | IBISML2020-24 |
| 巻番号（vol） | vol.120 |
| 号番号（no） | no.195 |
| ページ範囲 | p.42 |
| ページ数 | 1 |
| 発行日 | 2020-10-13 (IBISML) |
[研究会発表申込システムのトップページに戻る]