| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2024-02-29 10:10 蒸留を用いた連合学習における学習モデル切替手法 ○矢島大路（芝浦工大）・小野翔多（東大）・三好 匠・山崎 託（芝浦工大）  NS2023-186 |
|
| 抄録 | （和） | 機械学習におけるデータの急激な増大に伴い，サーバへの負荷集中を避ける手法として，連合学習のような分散機械学習が注目されている．しかし，機械学習には膨大な計算が必要とされるため，性能の低いデバイスを用いて連合学習を行うことは困難である．この問題に対し，機械学習モデルの圧縮技術である蒸留を用いた連合学習が提案されている．本手法では，クライアントの処理負荷と学習時間の削減を実現しているが，機械学習モデルが最終的に到達できる精度が低下するという問題がある．本稿では，学習初期に小型モデルを用いて短時間で機械学習モデルの精度を向上させ，その後通常の連合学習に切り替える手法を提案する．実験結果より，提案手法は従来手法の精度向上速度の利点を活かしながら機械学習モデルが最終的に到達できる精度を向上することができた． |
| （英） | Due to the drastic increase in the data for machine learning, distributed machine learning such as federated learning has been attracting attention to avoid the intensive load on a server. Since the process of machine learning requires a huge amount of computation, it is difficult to perform federated learning process on low-performance client devices. To solve this problem, federated learning with downsizing machine learning model by distillation has been proposed. This method can reduce the processing cost and learning time on the clients but degrades the achieved accuracy of machine learning model. This paper proposes a method that improves the accuracy of machine learning model in a short time with downsized machine learning model in the early stage of learning and then switches to general federated learning process. From the experimental results, the proposed method can rapidly improve the accuracy of machine learning model while counteracting the degradation of the final accuracy achieved. | |
| キーワード | （和） | 機械学習 / 連合学習 / 蒸留 / 機械学習モデル / / / / |
| （英） | Machine learning / Federated learning / Distillation / Machine learning model / / / / | |
| 文献情報 | 信学技報, vol. 123, no. 397, NS2023-186, pp. 86-89, 2024年2月. | |
| 資料番号 | NS2023-186 | |
| 発行日 | 2024-02-22 (NS) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | NS2023-186 |
|
| 研究会情報 | |
| 研究会 | NS IN |
| 開催期間 | 2024-02-29 - 2024-03-01 |
| 開催地（和） | 沖縄コンベンションセンター |
| 開催地（英） | Okinawa Convention Center |
| テーマ（和） | 一般 |
| テーマ（英） | General |
| 講演論文情報の詳細 | |
| 申込み研究会 | NS |
| 会議コード | 2024-02-NS-IN |
| 本文の言語 | 日本語 |
| タイトル（和） | 蒸留を用いた連合学習における学習モデル切替手法 |
| サブタイトル（和） | |
| タイトル（英） | Model Shifting Method in Federated Learning Using Distillation |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 機械学習 / Machine learning |
| キーワード(2)（和/英） | 連合学習 / Federated learning |
| キーワード(3)（和/英） | 蒸留 / Distillation |
| キーワード(4)（和/英） | 機械学習モデル / Machine learning model |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 矢島 大路 / Hiromichi Yajima / ヤジマ ヒロミチ |
| 第1著者 所属（和/英） | 芝浦工業大学 (略称： 芝浦工大) Shibaura Institute of Technology (略称： SIT) |
| 第2著者 氏名（和/英/ヨミ） | 小野 翔多 / Shota Ono / オノ ショウタ |
| 第2著者 所属（和/英） | 東京大学 (略称： 東大) The University of Tokyo (略称： The Univ. of Tokyo) |
| 第3著者 氏名（和/英/ヨミ） | 三好 匠 / Takumi Miyoshi / ミヨシ タクミ |
| 第3著者 所属（和/英） | 芝浦工業大学 (略称： 芝浦工大) Shibaura Institute of Technology (略称： SIT) |
| 第4著者 氏名（和/英/ヨミ） | 山崎 託 / Taku Yamazaki / ヤマザキ タク |
| 第4著者 所属（和/英） | 芝浦工業大学 (略称： 芝浦工大) Shibaura Institute of Technology (略称： SIT) |
| 講演者 | 第1著者 |
| 発表日時 | 2024-02-29 10:10:00 |
| 発表時間 | 25分 |
| 申込先研究会 | NS |
| 資料番号 | NS2023-186 |
| 巻番号（vol） | vol.123 |
| 号番号（no） | no.397 |
| ページ範囲 | pp.86-89 |
| ページ数 | 4 |
| 発行日 | 2024-02-22 (NS) |
[研究会発表申込システムのトップページに戻る]