| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2024-03-03 15:00 Tweedie's formulaを用いたデノイジング・オートエンコーダの一般化 ○相島祐太（奈良先端大）・園田 翔（理研）・磯部 伸（東大）・池田和司（奈良先端大）  IBISML2023-40 |
|
| 抄録 | （和） | デノイジング・オートエンコーダはデータ生成分布のスコア$nabla log p(x)$を学習している. しかし，従来のデノイジング・オートエンコーダの理論研究はノイズ付加過程がガウスの場合のみが考察されていた．本研究では，ノイズ付加過程を指数型分布族に拡張することを考える．Tweedie's formulaを用いてデノイジング・オートエンコーダの最適解が周辺分布$q(tilde x) = int q(tilde x|x)p(x)dx$のスコアを学習していることを示す．さらに，この周辺分布のスコアがノイズ付加過程のエントロピーの勾配と等価であることを示す． |
| （英） | Denoising autoencoders learn the score of the data-generating distribution, i.e., $nabla log p(x)$. However, theoretical studies have discussed only the case when the corruption process is Gaussian. To generalize the previous results, in this study, we extend the class of distributions to an exponential family. By using Tweedie's formula, we show that the generalized DAE learns score of marginal distribution $q(tilde x) = int q(tilde x|x)p(x)dx$, while Gaussian DAE learns the score of the data-generating distribution $p(x)$. Furthermore, we prove that this marginal score is equivalent to the gradient of the entropy of the corruption process. | |
| キーワード | （和） | デノイジング・オートエンコーダ / デノイジング・スコアマッチング / Tweedie's formula / / / / / |
| （英） | denoising autoencoders / denoising score matching / Tweedie's formula / / / / / | |
| 文献情報 | 信学技報, vol. 123, no. 410, IBISML2023-40, pp. 1-5, 2024年3月. | |
| 資料番号 | IBISML2023-40 | |
| 発行日 | 2024-02-25 (IBISML) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | IBISML2023-40 |
|
| 研究会情報 | |
| 研究会 | PRMU IBISML IPSJ-CVIM |
| 開催期間 | 2024-03-03 - 2024-03-04 |
| 開催地（和） | 広島大学 東広島キャンパス |
| 開催地（英） | Hiroshima Univ. Higashi-Hiroshima campus |
| テーマ（和） | 雑多なデータセットの有効活用 (PRMU/IPSJ-CVIM)、機械学習の理論と応用の広がり (IBISML) |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | IBISML |
| 会議コード | 2024-03-PRMU-IBISML-CVIM |
| 本文の言語 | 日本語 |
| タイトル（和） | Tweedie's formulaを用いたデノイジング・オートエンコーダの一般化 |
| サブタイトル（和） | |
| タイトル（英） | The Generalized Denoising Autoencoder with Tweedie's Formula |
| サブタイトル（英） | |
| キーワード(1)（和/英） | デノイジング・オートエンコーダ / denoising autoencoders |
| キーワード(2)（和/英） | デノイジング・スコアマッチング / denoising score matching |
| キーワード(3)（和/英） | Tweedie's formula / Tweedie's formula |
| キーワード(4)（和/英） | / |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 相島 祐太 / Yuta Aishima / アイシマ ユウタ |
| 第1著者 所属（和/英） | 奈良先端科学技術大学院大学 (略称： 奈良先端大) Nara Institute of Science and Technology (略称： NAIST) |
| 第2著者 氏名（和/英/ヨミ） | 園田 翔 / Sho Sonoda / ソノダ ショウ |
| 第2著者 所属（和/英） | 理化学研究所革新知能統合研究センター (略称： 理研) RIKEN AIP (略称： RIKEN) |
| 第3著者 氏名（和/英/ヨミ） | 磯部 伸 / Noboru Isobe / イソベ ノボル |
| 第3著者 所属（和/英） | 東京大学 (略称： 東大) Tokyo University (略称： Tokyo Univ.) |
| 第4著者 氏名（和/英/ヨミ） | 池田 和司 / Kazushi Ikeda / イケダ カズシ |
| 第4著者 所属（和/英） | 奈良先端科学技術大学院大学 (略称： 奈良先端大) Nara Institute of Science and Technology (略称： NAIST) |
| 講演者 | 第1著者 |
| 発表日時 | 2024-03-03 15:00:00 |
| 発表時間 | 15分 |
| 申込先研究会 | IBISML |
| 資料番号 | IBISML2023-40 |
| 巻番号（vol） | vol.123 |
| 号番号（no） | no.410 |
| ページ範囲 | pp.1-5 |
| ページ数 | 5 |
| 発行日 | 2024-02-25 (IBISML) |
[研究会発表申込システムのトップページに戻る]