| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2022-01-23 11:45 CNNの中間特徴表現を考慮した知識蒸留による敵対的学習 ○樋口陽光（電通大）・鈴木聡志（NTT）・庄野 逸（電通大）  NC2021-44 |
|
| 抄録 | （和） | 敵対的攻撃とは，入力に対し人工的に設計された微小な摂動を与えることで，畳み込みニューラルネットワーク (Convolutional Neural Network; CNN) に誤った識別をさせる脆弱性攻撃の一種である．摂動を加えたadv画像を学習に用いることで敵対的攻撃に対する頑健性を向上させる手法として敵対的学習がある．しかし，従来の敵対的学習では摂動を加えていないclean画像に対する識別率がclean画像のみで学習した場合よりも低下することが知られており，CNNの実応用において重要な課題となる．中間特徴表現の可視化から，clean画像のみで学習したCNNはclean画像の識別に有効な特徴表現が獲得できているが，従来の敵対的学習では獲得できていなことが示唆された．clean画像の識別に有効な特徴表現を学習対象のCNNに転移し敵対的学習におけるclean画像の識別率が向上すると考えられる．そこで本研究では，clean画像のみで学習したCNNを教師モデルとした知識蒸留による敵対的学習手法を提案する．提案手法は，clean画像と摂動を加えたadv画像の両方に対して従来の敵対的学習を識別率において上回り，clean画像の識別に有効な特徴を転移できたと考えられる． |
| （英） | Adversarial examples are one of the vulnerability attacks to the convolution neural network (CNN). The adversarialexamples are made by adding adversarial perturbations, which are maliciously designed to deceive the target DNN and aregenerally human-imperceptible, to input images. Adversarial training is a method to improve classification accuracy againstadversarial attacks. In the adversarial training, the CNN is trained with not clean images (not including adversarial pertur-bations) but adversarial examples. However, conventional adversarial training decreases the classification accuracy on cleanimages than usual training which trains the CNN with clean images only. From our experimental results, the CNNs trained onclean images only can obtain effective feature representations for classifying clean images, while the conventional adversarialtraining cannot. In accordance with this perspective, we propose a new adversarial training method based on knowledgedistillation using clean-CNN that trained with clean images only as a teacher model. This method transfers the knowledge fromthe clean-CNN and makes feature representations effective for classifying clean images in adversarial training. Our methodoutperforms the conventional adversarial training for both clean images and adversarial examples. | |
| キーワード | （和） | 畳み込みニューラルネットワーク / 敵対的学習 / 知識蒸留 / 多様体仮説 / / / / |
| （英） | Convolutional Neural Network / Adversarial Training / Knowledge Distillation / Manifold Hypothesis / / / / | |
| 文献情報 | 信学技報, vol. 121, no. 338, NC2021-44, pp. 59-64, 2022年1月. | |
| 資料番号 | NC2021-44 | |
| 発行日 | 2022-01-14 (NC) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | NC2021-44 |
|
| 研究会情報 | |
| 研究会 | NLP MICT MBE NC |
| 開催期間 | 2022-01-21 - 2022-01-23 |
| 開催地（和） | オンライン開催 |
| 開催地（英） | Online |
| テーマ（和） | NC, ME，MICT，NLP, 一般 |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | NC |
| 会議コード | 2022-01-NLP-MICT-MBE-NC |
| 本文の言語 | 日本語 |
| タイトル（和） | CNNの中間特徴表現を考慮した知識蒸留による敵対的学習 |
| サブタイトル（和） | |
| タイトル（英） | Adversarial Training with Knowledge Distillation considering Intermediate Feature Representation in CNNs |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 畳み込みニューラルネットワーク / Convolutional Neural Network |
| キーワード(2)（和/英） | 敵対的学習 / Adversarial Training |
| キーワード(3)（和/英） | 知識蒸留 / Knowledge Distillation |
| キーワード(4)（和/英） | 多様体仮説 / Manifold Hypothesis |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 樋口 陽光 / Hikaru Higuchi / ヒグチ ヒカル |
| 第1著者 所属（和/英） | 電気通信大学 (略称： 電通大) The University of Electro-Communications (略称： The Univ. of Electro-Communications) |
| 第2著者 氏名（和/英/ヨミ） | 鈴木 聡志 / Satoshi Suzuki / スズキ サトシ |
| 第2著者 所属（和/英） | 日本電信電話株式会社コンピュータ&データサイエンス研究所 (略称： NTT) NTT Computer and Data Science Laboratories, NTT Corporation (略称： former NTT) |
| 第3著者 氏名（和/英/ヨミ） | 庄野 逸 / Hayaru Shouno / ショウノ ハヤル |
| 第3著者 所属（和/英） | 電気通信大学 (略称： 電通大) The University of Electro-Communications (略称： The Univ. of Electro-Communications) |
| 講演者 | 第1著者 |
| 発表日時 | 2022-01-23 11:45:00 |
| 発表時間 | 25分 |
| 申込先研究会 | NC |
| 資料番号 | NC2021-44 |
| 巻番号（vol） | vol.121 |
| 号番号（no） | no.338 |
| ページ範囲 | pp.59-64 |
| ページ数 | 6 |
| 発行日 | 2022-01-14 (NC) |
[研究会発表申込システムのトップページに戻る]