| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2025-03-07 13:10 Diffusion Modelによる知識の増強と非ターゲットクラス相関係数損失を用いた知識蒸留 ○中村謙士・服部元信（山梨大）  NC2024-85 |
|
| 抄録 | （和） | 近年, ニューラルネットワークの分野において, 知識蒸留が注目されている. 知識蒸留は,大規模で高性能な教師から得られた知識を小規模な生徒に伝達する手法であり,生徒の性能が向上することが示されている. しかし,依然として教師と生徒の間に大きな性能差が存在する問題がある. 本研究では, 教師の知識をより多くかつ効果的に伝達するためにDiffusion Modelを利用し,教師の出力を考慮した新しい損失関数を導入した知識蒸留を提案する. |
| （英） | In recent years, knowledge distillation has attracted much attention in the field of neural networks. Knowledge distillation is a method of transferring knowledge obtained from a large, high-performing teacher to small students, and has been shown to improve student performance. However, there is still the problem of a large performance gap between teachers and students. In this study, we propose a knowledge distillation method that utilizes the Diffusion Model and introduces a new loss function that takes into account the teacher's output in order to transfer more teacher knowledge and more effectively. |
|
| キーワード | （和） | 知識蒸留 / 拡散モデル / / / / / / |
| （英） | Knowledge Distillation / Diffusion Model / / / / / / | |
| 文献情報 | 信学技報, vol. 124, no. 413, NC2024-85, pp. 121-126, 2025年3月. | |
| 資料番号 | NC2024-85 | |
| 発行日 | 2025-02-26 (NC) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | NC2024-85 |
|
| 研究会情報 | |
| 研究会 | NC MBE |
| 開催期間 | 2025-03-05 - 2025-03-07 |
| 開催地（和） | 東京大学 |
| 開催地（英） | |
| テーマ（和） | 脳アーキテクチャー, 一般（NC, ME） |
| テーマ（英） | Brain architecture, General |
| 講演論文情報の詳細 | |
| 申込み研究会 | NC |
| 会議コード | 2025-03-NC-MBE |
| 本文の言語 | 日本語 |
| タイトル（和） | Diffusion Modelによる知識の増強と非ターゲットクラス相関係数損失を用いた知識蒸留 |
| サブタイトル（和） | |
| タイトル（英） | Knowledge distillation using knowledge augmentation by Diffusion Model and non-target class correlation coefficient loss |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 知識蒸留 / Knowledge Distillation |
| キーワード(2)（和/英） | 拡散モデル / Diffusion Model |
| キーワード(3)（和/英） | / |
| キーワード(4)（和/英） | / |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 中村 謙士 / Kenji Nakamura / ナカムラ ケンジ |
| 第1著者 所属（和/英） | 山梨大学 (略称： 山梨大) Yamanashi University (略称： Yamanashi Univ.) |
| 第2著者 氏名（和/英/ヨミ） | 服部 元信 / Motonobu Hattori / ハットリ モトノブ |
| 第2著者 所属（和/英） | 山梨大学 (略称： 山梨大) Yamanashi University (略称： Yamanashi Univ.) |
| 講演者 | 第1著者 |
| 発表日時 | 2025-03-07 13:10:00 |
| 発表時間 | 25分 |
| 申込先研究会 | NC |
| 資料番号 | NC2024-85 |
| 巻番号（vol） | vol.124 |
| 号番号（no） | no.413 |
| ページ範囲 | pp.121-126 |
| ページ数 | 6 |
| 発行日 | 2025-02-26 (NC) |
[研究会発表申込システムのトップページに戻る]