| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2023-03-02 09:00 生成モデルのメタ学習によるニューラルネットワークの正則化 ○山口真弥（NTT/京大）・千々和大輝・金井関利・熊谷充敏（NTT）・鹿島久嗣（京大）  PRMU2022-58 IBISML2022-65 |
|
| 抄録 | （和） | 我々は深層学習モデル向け生成的データ拡張の手法について研究している。生成的データ拡張は生成モデルから得られた生成サンプルを分類用追加データセットとして利用する正則化手法である。生成的データ拡張の重要な課題として、生成サンプルを使用することでかえって分類モデルの精度を劣化させてしまうことが挙げられる。これは、生成サンプルが完璧にはクラスラベルの情報を表現できていないことと、一様サンプリングによるサンプル生成が必ずしも分類モデルの学習に役立つサンプルを提供しないことが原因として考えられる。この論文では、生成的データ拡張の新しい戦略であるtextit{メタ生成的正則化} (MGR) を提案する。 MGR は、生成サンプルを深層モデルの特徴抽出器の正則化に利用することで、生成サンプルによる分類モデルの精度劣化を防ぐ。また、MGR で生成モデルから出力されるサンプルは分類モデルのバリデーション損失を用いたメタ学習によって学習中に最適化される。実験では6つの画像データセットを用いて MGR が従来の生成的データ拡張の性能劣化を克服し、どのデータセットにおいても安定して精度改善をもたらすことを確認した。 |
| （英） | This paper investigates methods for improving generative data augmentation for deep learning. Generative data augmentation leverages the synthetic samples produced by generative models as an additional dataset for classification with small dataset settings. A key challenge of generative data augmentation is that the synthetic data contain uninformative samples that degrade accuracy. This can be caused by the synthetic samples not perfectly representing class categories in real data and uniform sampling not necessarily providing useful samples for tasks. In this paper, we present a novel strategy for generative data augmentation called textit{meta generative regularization} (MGR). To avoid the degradation of generative data augmentation, MGR utilizes synthetic samples for regularizing feature extractors instead of training classifiers. These synthetic samples are dynamically determined to minimize the validation losses through meta-learning. Experiments on six datasets showed that MGR is effective particularly when datasets are smaller and stably outperforms baselines by up to 7 percentage points on test accuracy. | |
| キーワード | （和） | 生成モデル / 生成的データ拡張 / 正則化 / 深層学習 / / / / |
| （英） | generative models / generative data augmentation / regularization / deep learning / / / / | |
| 文献情報 | 信学技報, vol. 122, no. 404, PRMU2022-58, pp. 1-6, 2023年3月. | |
| 資料番号 | PRMU2022-58 | |
| 発行日 | 2023-02-23 (PRMU, IBISML) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | PRMU2022-58 IBISML2022-65 |
|
| 研究会情報 | |
| 研究会 | PRMU IBISML IPSJ-CVIM |
| 開催期間 | 2023-03-02 - 2023-03-03 |
| 開催地（和） | はこだて未来大学 |
| 開催地（英） | Future University Hakodate |
| テーマ（和） | 異分野連携(PRMU)、AutoML (CVIM)、機械学習の理論と応用の広がり(IBISML) |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | PRMU |
| 会議コード | 2023-03-PRMU-IBISML-CVIM |
| 本文の言語 | 日本語 |
| タイトル（和） | 生成モデルのメタ学習によるニューラルネットワークの正則化 |
| サブタイトル（和） | |
| タイトル（英） | Toward Regularizing Neural Networks with Meta-Learning Generative Models |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 生成モデル / generative models |
| キーワード(2)（和/英） | 生成的データ拡張 / generative data augmentation |
| キーワード(3)（和/英） | 正則化 / regularization |
| キーワード(4)（和/英） | 深層学習 / deep learning |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 山口 真弥 / Shin'ya Yamaguchi / ヤマグチ シンヤ |
| 第1著者 所属（和/英） | NTT/京都大学 (略称： NTT/京大) NTT/Kyoto University (略称： NTT/Kyoto Univ.) |
| 第2著者 氏名（和/英/ヨミ） | 千々和 大輝 / Daiki Chijiwa / チジワ ダイキ |
| 第2著者 所属（和/英） | NTT (略称： NTT) NTT (略称： NTT) |
| 第3著者 氏名（和/英/ヨミ） | 金井 関利 / Sekitoshi Kanai / カナイ セキトシ |
| 第3著者 所属（和/英） | NTT (略称： NTT) NTT (略称： NTT) |
| 第4著者 氏名（和/英/ヨミ） | 熊谷 充敏 / Atsutoshi Kumagai / クマガイ アツトシ |
| 第4著者 所属（和/英） | NTT (略称： NTT) NTT (略称： NTT) |
| 第5著者 氏名（和/英/ヨミ） | 鹿島 久嗣 / Hisashi Kashima / カシマ ヒサシ |
| 第5著者 所属（和/英） | 京都大学 (略称： 京大) Kyoto University (略称： Kyoto Univ.) |
| 講演者 | 第1著者 |
| 発表日時 | 2023-03-02 09:00:00 |
| 発表時間 | 10分 |
| 申込先研究会 | PRMU |
| 資料番号 | PRMU2022-58, IBISML2022-65 |
| 巻番号（vol） | vol.122 |
| 号番号（no） | no.404(PRMU), no.405(IBISML) |
| ページ範囲 | pp.1-6 |
| ページ数 | 6 |
| 発行日 | 2023-02-23 (PRMU, IBISML) |
[研究会発表申込システムのトップページに戻る]