| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2026-03-24 15:20 Improving the Robustness/Accuracy Tradeoff in Robust Information Bottleneck Distillation Through Dual Teachers ○Vincent Ryusuke Takahashi・Yoshinari Takeishi・Jun'ichi Takeuchi（Kyushu Univ.）・Kave Salamatian（Savoie Mont Blanc Univ.）  IBISML2025-44 |
|
| 抄録 | （和） | Deep neural networks (DNNs) have achieved remarkable success in classical machine learning problems. However, they are known to be vulnerable to adversarial attacks. Countermeasures proposed in the literature, notably Information Bottleneck Distillation (IBD) introduced by Kuang et al., degrades the classification accuracy on clean inputs while improving the robustness to adversarial inputs. In this work, we extend the IBD framework by introducing in the distillation an additional “clean teacher model” that works only on clean inputs. The features of both the clean and robust teachers are transferred to the student through a cross-layer attention matrix. Experimental results on the CIFAR-10 dataset show that the proposed method improves classification accuracy on clean samples compared to the original IBD, while maintaining similar accuracy on adversarial samples. We also analyze the impact of different training settings that have different influences on the attention module. |
| （英） | Deep neural networks (DNNs) have achieved remarkable success in classical machine learning problems. However, they are known to be vulnerable to adversarial attacks. Countermeasures proposed in the literature, notably Information Bottleneck Distillation (IBD) introduced by Kuang et al., degrades the classification accuracy on clean inputs while improving the robustness to adversarial inputs. In this work, we extend the IBD framework by introducing in the distillation an additional “clean teacher model” that works only on clean inputs. The features of both the clean and robust teachers are transferred to the student through a cross-layer attention matrix. Experimental results on the CIFAR-10 dataset show that the proposed method improves classification accuracy on clean samples compared to the original IBD, while maintaining similar accuracy on adversarial samples. We also analyze the impact of different training settings that have different influences on the attention module. | |
| キーワード | （和） | / / / / / / / |
| （英） | Adversarial Attacks / Adversarial Robustness / Information Bottleneck / Knowledge Distillation / Convolutional Neural Networkd / Image Classification / / | |
| 文献情報 | 信学技報, vol. 125, no. 425, IBISML2025-44, pp. 25-32, 2026年3月. | |
| 資料番号 | IBISML2025-44 | |
| 発行日 | 2026-03-17 (IBISML) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | IBISML2025-44 |
|
| 研究会情報 | |
| 研究会 | PRMU IPSJ-CVIM IBISML ITE-SIP |
| 開催期間 | 2026-03-24 - 2026-03-25 |
| 開催地（和） | あわぎんホール |
| 開催地（英） | |
| テーマ（和） | 人や動物の行動解析、マルチメディア認識技術 |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | IBISML |
| 会議コード | 2026-03-PRMU-CVIM-IBISML-SIP |
| 本文の言語 | 英語 |
| タイトル（和） | |
| サブタイトル（和） | |
| タイトル（英） | Improving the Robustness/Accuracy Tradeoff in Robust Information Bottleneck Distillation Through Dual Teachers |
| サブタイトル（英） | |
| キーワード(1)（和/英） | / Adversarial Attacks |
| キーワード(2)（和/英） | / Adversarial Robustness |
| キーワード(3)（和/英） | / Information Bottleneck |
| キーワード(4)（和/英） | / Knowledge Distillation |
| キーワード(5)（和/英） | / Convolutional Neural Networkd |
| キーワード(6)（和/英） | / Image Classification |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 高橋 ヴァンサン 隆亮 / Vincent Ryusuke Takahashi / タカハシ ヴァンサン リュウスケ |
| 第1著者 所属（和/英） | 九州大学 (略称： 九大) Kyushu University (略称： Kyushu Univ.) |
| 第2著者 氏名（和/英/ヨミ） | 武石 啓成 / Yoshinari Takeishi / タケイシ ヨシナリ |
| 第2著者 所属（和/英） | 九州大学 (略称： 九大) Kyushu University (略称： Kyushu Univ.) |
| 第3著者 氏名（和/英/ヨミ） | 竹内 純一 / Jun'ichi Takeuchi / タケウチ ジュンイチ |
| 第3著者 所属（和/英） | 九州大学 (略称： 九大) Kyushu University (略称： Kyushu Univ.) |
| 第4著者 氏名（和/英/ヨミ） | サラマシアン カヴェ / Kave Salamatian / サラマシアン カヴェ |
| 第4著者 所属（和/英） | サボアモンブラン大学 (略称： サボアモンブラン大) Savoie Mont Blanc University (略称： Savoie Mont Blanc Univ.) |
| 講演者 | 第1著者 |
| 発表日時 | 2026-03-24 15:20:00 |
| 発表時間 | 20分 |
| 申込先研究会 | IBISML |
| 資料番号 | IBISML2025-44 |
| 巻番号（vol） | vol.125 |
| 号番号（no） | no.425 |
| ページ範囲 | pp.25-32 |
| ページ数 | 8 |
| 発行日 | 2026-03-17 (IBISML) |
[研究会発表申込システムのトップページに戻る]