| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2020-01-31 10:00 ［ポスター講演］教師なしデータを用いた低通信コストな協調的学習法 ○板原壮平・西尾理志・守倉正博・山本高至（京大）  SeMI2019-109 |
|
| 抄録 | （和） | 多数のモバイル端末の持つデータを機械学習に利用するフレームワークとしてFederated Learning（FL）が提案されている．FLではデータをローカルに保持したまま学習を行うために，データをサーバにアップロードする代わりに，各端末が自身のデータを用いて更新したモデルをアップロードし集約する．しかし，モデルアップロードの通信コストや，端末におけるデータの偏りにより，学習効率が低下する課題がある．本研究は，通信コストが少なく，かつ，データの偏りが大きい場合も学習できる，知識蒸留を用いた協調的学習方式（DS-FL : Distillation-Based Semi-Supervised Federated Learning）を提案する．提案手法では，ラベル付けされていないが学習に利用可能な公開データを用いた半教師あり学習によりモデルを更新する． 具体的には，各端末は自身のデータを用いてモデルを更新するとともに，公開データに対する推論結果を共有し，推論結果の平均に近づくようモデルをさらに更新する．モデルに比べて推論結果はデータ容量が小さいため，共有に必要な通信コストが低減できるとともに，偏りのない公開データを用いることで，端末でのデータの偏りの影響を緩和する．画像分類タスク（MNIST）における評価によって，提案手法は既存方式と比べて学習に必要な通信コストを94%削減することを示した． |
| （英） | Federated learning (FL) is a machine learning setting where many mobile devices collaboratively train a machine learning (ML) model, while keeping the training data decentralized. In FL, each device updates a model with his/her data and uploads the model to a server which aggregates the models instead of uploading the training data to the server.Thus, the traffic for uploading the model is not negligible.This paper proposes a cooperative learning method, called Distillation Based Semi-Supervised Federated Learning (DS-FL), which aims to reduce traffic required for training the ML model. In DS-FL, non-labeled open data is used for the cooperative model training via semi-supervised learning.Each device trains a model with his/her data, predicts logits for the open data, and updates the model with the open data and aggregated logits. Since the data size of the logits is much smaller than that of the models, traffic is reduced largely. We evaluate our method using an image classification task (MNIST). Our experiments show that the proposed method achieves 94% less traffic than that of the previous method. | |
| キーワード | （和） | 協調学習 / 半教師あり学習 / 機械学習 / 通信コスト / / / / |
| （英） | Federated Learning / Semi-Supervised Learning / Machine Learning / Communication Cost / / / / | |
| 文献情報 | 信学技報, vol. 119, no. 406, SeMI2019-109, pp. 47-48, 2020年1月. | |
| 資料番号 | SeMI2019-109 | |
| 発行日 | 2020-01-23 (SeMI) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | SeMI2019-109 |
|
| 研究会情報 | |
| 研究会 | SeMI |
| 開催期間 | 2020-01-30 - 2020-01-31 |
| 開催地（和） | ことひら温泉琴参閣 |
| 開催地（英） | |
| テーマ（和） | センシング，モビリティ，モバイル・ユビキタスコンピューティング，センサ・アドホック・モバイルネットワーク，アプリケーション，一般 |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | SeMI |
| 会議コード | 2020-01-SeMI |
| 本文の言語 | 日本語 |
| タイトル（和） | 教師なしデータを用いた低通信コストな協調的学習法 |
| サブタイトル（和） | |
| タイトル（英） | Communication-Efficient Federated Learning Using Non-Labeled Data |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 協調学習 / Federated Learning |
| キーワード(2)（和/英） | 半教師あり学習 / Semi-Supervised Learning |
| キーワード(3)（和/英） | 機械学習 / Machine Learning |
| キーワード(4)（和/英） | 通信コスト / Communication Cost |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 板原 壮平 / Souhei Itahara / イタハラ ソウヘイ |
| 第1著者 所属（和/英） | 京都大学 (略称： 京大) Kyoto University (略称： Kyoto Univ) |
| 第2著者 氏名（和/英/ヨミ） | 西尾 理志 / Takayuki Nishio / ニシオ タカユキ |
| 第2著者 所属（和/英） | 京都大学 (略称： 京大) Kyoto University (略称： Kyoto Univ) |
| 第3著者 氏名（和/英/ヨミ） | 守倉 正博 / Masahiro Morikura / モリクラ マサヒロ |
| 第3著者 所属（和/英） | 京都大学 (略称： 京大) Kyoto University (略称： Kyoto Univ) |
| 第4著者 氏名（和/英/ヨミ） | 山本 高至 / Koji Yamamoto / ヤマモト コウジ |
| 第4著者 所属（和/英） | 京都大学 (略称： 京大) Kyoto University (略称： Kyoto Univ) |
| 講演者 | 第1著者 |
| 発表日時 | 2020-01-31 10:00:00 |
| 発表時間 | 90分 |
| 申込先研究会 | SeMI |
| 資料番号 | SeMI2019-109 |
| 巻番号（vol） | vol.119 |
| 号番号（no） | no.406 |
| ページ範囲 | pp.47-48 |
| ページ数 | 2 |
| 発行日 | 2020-01-23 (SeMI) |
[研究会発表申込システムのトップページに戻る]