講演抄録/キーワード |
講演名 |
2019-06-19 15:15
無線ネットワークでのnon-IIDデータを用いたFederated Learningの予測精度向上に関する検討 ○吉田直矢・西尾理志・守倉正博・山本高至(京大)・米谷 竜(オムロン サイニックエックス) RCS2019-54 |
抄録 |
(和) |
Federated Learning(FL)は,モバイル端末が持つデータを端末に保持したまま利用する分散学習方式の1つである.ユーザの興味の多様性から,端末が持つデータは通常,独立同一分布(Independent and Identically Distributed:IID)とはならず,これによりFLで得られるモデルの性能が悪化する.本稿は,non-IIDデータを用いたFLの性能改善を目的とし,Hybrid-FLと呼ばれる新たなFL方式を提案する.Hybrid-FLでは,限られた数の端末(例えば,1%未満の端末)が,自身のデータのFLサーバへのアップロードを許可すると仮定し,端末によるモデル更新とともに,サーバがアップロードされたデータでモデルを更新する.端末が持つデータがnon-IIDな場合でも,複数の端末のデータを集めることで,サーバ内のデータはIIDに近くなると考えられ,IIDデータで更新したモデルが集約される.モバイルネットワークでは帯域制限によりすべてのデータやモデルを収集できないため,良いデータが学習に利用されるように,端末とデータを選択するアルゴリズムを設計する.このアルゴリズムにより,より多くのIIDデータをサーバに構成し,モデル性能を改善する.性能評価では,シミュレートされた無線通信環境で機械学習し,データがnon-IIDである場合に,提案方式で得られるモデルの分類精度が既存方式より高いことを示す. |
(英) |
Federated Learning (FL) is a decentralized learning mechanism, which enables to train machine learning (ML) model using the rich data of mobile clients while keeping all the data on mobile clients. Data on mobile clients is typically not independent and identically distributed (IID) owing to diverse of mobile users' interest, and FL on non-IID data could degrade the model performance. This work aims to extend FL to solve the performance degradation problem resulting from non-IID data. We assume that a limited number (e.g., less than 1%) of clients who allow their data to be uploaded to a server, and we propose a novel learning mechanism referred to as Hybrid-FL, where the server updates the model using data gathered from the clients and merges the model with models trained by clients. Even if each client has non-IID data, approximately IID data can be constructed on the server by combining data stored by multiple clients. In Hybrid-FL, we design heuristic algorithms that solve the data and client selection problem to construct ``good'' dataset on the server under bandwidth and time limitation. The algorithm increases the amount of data gathered from clients and makes the data approximately IID for improving model performance. Evaluations consisting of network simulations and machine learning (ML) experiments show that the proposed scheme achieves a significantly higher classification accuracy than previous schemes in the non-IID case. |
キーワード |
(和) |
Federated Learning / モバイルネットワーク / スケジューリング / non-IIDデータ / 機械学習 / / / |
(英) |
Federated Learning / Mobile Networks / Scheduling / non-IID data / Machine Learning / / / |
文献情報 |
信学技報, vol. 119, no. 90, RCS2019-54, pp. 103-108, 2019年6月. |
資料番号 |
RCS2019-54 |
発行日 |
2019-06-12 (RCS) |
ISSN |
Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
RCS2019-54 |