| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2023-02-22 09:45 確率論を用いた敵対的訓練の理論的理解 ○熊野創一郎（東大）・計良宥志（千葉大）・山﨑俊彦（東大）  ITS2022-59 IE2022-76 |
|
| 抄録 | （和） | 本論文では，訓練初期の深層ニューラルネットワークに対して，敵対的訓練を理論的に解析する．我々はまず理論的解析の手段として，新たな平均場理論を提唱し，これを用いて多様なノルムに対して，敵対的損失の厳しい上界を求める．次にショートカットを持たないネットワークは良い初期化をしても敵対的に訓練しにくく，逆にショートカットを持つネットワークは良い初期化でなくとも敵対的に訓練できることを示す．更に敵対的訓練はネットワークの表現力を減少させることを明らかにし，また高い表現力を維持するためにはネットワークの深さだけでなく，幅を増やす必要性を明らかにした． |
| （英） | In this paper, we provide the first theoretical analysis of the training dynamics of adversarial training of deep neural networks in a mean field view. To this end, we propose a new mean field theory, which allows us to study adversarial training from various aspects. Particularly, we derive tight upper bounds for adversarial loss with various norms, prove that networks are not adversarially trainable without shortcuts except for restrictive cases, show that adversarial training degrades the expressibility of a network, and the network width is an important factor to alleviate this. | |
| キーワード | （和） | 敵対的訓練 / 敵対的画像 / 平均場理論 / 確率論 / / / / |
| （英） | Adversarial Training / Adversarial Examples / Mean Field Theory / Probabilistic Theory / / / / | |
| 文献情報 | 信学技報, vol. 122, no. 385, IE2022-76, pp. 95-100, 2023年2月. | |
| 資料番号 | IE2022-76 | |
| 発行日 | 2023-02-14 (ITS, IE) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | ITS2022-59 IE2022-76 |
|
| 研究会情報 | |
| 研究会 | IE ITS ITE-MMS ITE-ME ITE-AIT |
| 開催期間 | 2023-02-21 - 2023-02-22 |
| 開催地（和） | 北海道大学 |
| 開催地（英） | Hokkaido Univ. |
| テーマ（和） | 画像処理，一般 |
| テーマ（英） | Image Processing, etc. |
| 講演論文情報の詳細 | |
| 申込み研究会 | IE |
| 会議コード | 2023-02-IE-ITS-MMS-ME-AIT |
| 本文の言語 | 英語（日本語タイトルあり） |
| タイトル（和） | 確率論を用いた敵対的訓練の理論的理解 |
| サブタイトル（和） | |
| タイトル（英） | Probabilistic Approach towards Theoretical Understanding for Adversarial Training |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 敵対的訓練 / Adversarial Training |
| キーワード(2)（和/英） | 敵対的画像 / Adversarial Examples |
| キーワード(3)（和/英） | 平均場理論 / Mean Field Theory |
| キーワード(4)（和/英） | 確率論 / Probabilistic Theory |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 熊野 創一郎 / Soichiro Kumano / クマノ ソウイチロウ |
| 第1著者 所属（和/英） | 東京大学 (略称： 東大) The University of Tokyo (略称： UTokyo) |
| 第2著者 氏名（和/英/ヨミ） | 計良 宥志 / Hiroshi Kera / ケラ ヒロシ |
| 第2著者 所属（和/英） | 千葉大学 (略称： 千葉大) Chiba University (略称： Chiba Univ.) |
| 第3著者 氏名（和/英/ヨミ） | 山﨑 俊彦 / Toshihiko Yamasaki / ヤマサキ トシヒコ |
| 第3著者 所属（和/英） | 東京大学 (略称： 東大) The University of Tokyo (略称： UTokyo) |
| 講演者 | 第1著者 |
| 発表日時 | 2023-02-22 09:45:00 |
| 発表時間 | 15分 |
| 申込先研究会 | IE |
| 資料番号 | ITS2022-59, IE2022-76 |
| 巻番号（vol） | vol.122 |
| 号番号（no） | no.384(ITS), no.385(IE) |
| ページ範囲 | pp.95-100 |
| ページ数 | 6 |
| 発行日 | 2023-02-14 (ITS, IE) |
[研究会発表申込システムのトップページに戻る]