| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2023-03-01 11:15 Self-Superviced Non-IID Federated Learning by using CKA ○Li Zhaojie・Ohtsuki Tomoaki（Keio Univ.）・Gui Guan（NJUPT）  RCS2022-254 |
|
| 抄録 | （和） | (まだ登録されていません) |
| （英） | Federated Learning is now widely used to train neural networks on distributed datasets. It allows a system to perform distributed machine learning efficiently and safely in real time. One of the main challenges in federated learning is heterogeneity. Heterogeneity in training is usually expressed as a non-independent and identical (non-IID) distribution of the local dataset. Non-IID distributed datasets lead to slow global model aggregation and low accuracy. Our research addresses efficient global network training under local data heterogeneity. Existing work proposes to consider the difference between the global model and the local model as an influencing factor in each round of federated learning. By controlling the loss function in local devices, existing methods can improve the speed of model aggregation in the non-IID scenario. However, simple similarity does not accurately reflect the relationship between models. Based on this state of affairs, our research aims to find a better way to represent the relationship between models and apply it to control the federated learning of local models. We introduce Centered Kernel Alignment (CKA) to compute the inter-model relationship between models. Inspired by self-learning, we propose a novel approach that creates a new loss function that combines the loss of deep learning and the loss of inter-model relationships between models. The loss of inter-model relationships between models consists of computing the CKA of the feature maps in the output layer. The proposed framework is evaluated on the image recognition datasets in a non-IID scenario. We test the experimental results on different data distributions and different models. We also compare the state of the art, which controls the federated learning by tuning the local model. When training the Cifar-10 dataset using the Resnet 50 model, our approach improves the training accuracy by 2% and the aggregation speed by 14%. In conclusion, our method enables fast model aggregation and improves global model accuracy in a non-IID scenario by using Resnet50. | |
| キーワード | （和） | / / / / / / / |
| （英） | Federated Learning / Centered Kernel Alignment / Non-IID Data / Heterogeneity / Communication Efficient / / / | |
| 文献情報 | 信学技報, vol. 122, no. 399, RCS2022-254, pp. 42-47, 2023年3月. | |
| 資料番号 | RCS2022-254 | |
| 発行日 | 2023-02-22 (RCS) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | RCS2022-254 |
|
| 研究会情報 | |
| 研究会 | RCS SR SRW |
| 開催期間 | 2023-03-01 - 2023-03-03 |
| 開催地（和） | 東京工業大学＋オンライン開催 |
| 開催地（英） | Tokyo Institute of Technology, and Online |
| テーマ（和） | 移動通信ワークショップ |
| テーマ（英） | Mobile Communication Workshop |
| 講演論文情報の詳細 | |
| 申込み研究会 | RCS |
| 会議コード | 2023-03-RCS-SR-SRW |
| 本文の言語 | 英語 |
| タイトル（和） | |
| サブタイトル（和） | |
| タイトル（英） | Self-Superviced Non-IID Federated Learning by using CKA |
| サブタイトル（英） | |
| キーワード(1)（和/英） | / Federated Learning |
| キーワード(2)（和/英） | / Centered Kernel Alignment |
| キーワード(3)（和/英） | / Non-IID Data |
| キーワード(4)（和/英） | / Heterogeneity |
| キーワード(5)（和/英） | / Communication Efficient |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 李 兆傑 / Li Zhaojie / リ チョウケツ |
| 第1著者 所属（和/英） | 慶応義塾大学 (略称： 慶大) Keio University (略称： Keio Univ.) |
| 第2著者 氏名（和/英/ヨミ） | 大槻 知明 / Ohtsuki Tomoaki / オオツキ トモアキ |
| 第2著者 所属（和/英） | 慶応義塾大学 (略称： 慶大) Keio University (略称： Keio Univ.) |
| 第3著者 氏名（和/英/ヨミ） | 桂 冠 / Gui Guan / ケイ カン |
| 第3著者 所属（和/英） | 南京郵電大学 (略称： 南京郵電大) Nanjing University of Posts and Telecommunications (略称： NJUPT) |
| 第4著者 氏名（和/英/ヨミ） | / / |
| 第4著者 所属（和/英） | (略称： ) (略称： ) |
| 第5著者 氏名（和/英/ヨミ） | / / |
| 第5著者 所属（和/英） | (略称： ) (略称： ) |
| 第6著者 氏名（和/英/ヨミ） | / / |
| 第6著者 所属（和/英） | (略称： ) (略称： ) |
| 第7著者 氏名（和/英/ヨミ） | / / |
| 第7著者 所属（和/英） | (略称： ) (略称： ) |
| 第8著者 氏名（和/英/ヨミ） | / / |
| 第8著者 所属（和/英） | (略称： ) (略称： ) |
| 第9著者 氏名（和/英/ヨミ） | / / |
| 第9著者 所属（和/英） | (略称： ) (略称： ) |
| 第10著者 氏名（和/英/ヨミ） | / / |
| 第10著者 所属（和/英） | (略称： ) (略称： ) |
| 第11著者 氏名（和/英/ヨミ） | / / |
| 第11著者 所属（和/英） | (略称： ) (略称： ) |
| 第12著者 氏名（和/英/ヨミ） | / / |
| 第12著者 所属（和/英） | (略称： ) (略称： ) |
| 第13著者 氏名（和/英/ヨミ） | / / |
| 第13著者 所属（和/英） | (略称： ) (略称： ) |
| 第14著者 氏名（和/英/ヨミ） | / / |
| 第14著者 所属（和/英） | (略称： ) (略称： ) |
| 第15著者 氏名（和/英/ヨミ） | / / |
| 第15著者 所属（和/英） | (略称： ) (略称： ) |
| 第16著者 氏名（和/英/ヨミ） | / / |
| 第16著者 所属（和/英） | (略称： ) (略称： ) |
| 第17著者 氏名（和/英/ヨミ） | / / |
| 第17著者 所属（和/英） | (略称： ) (略称： ) |
| 第18著者 氏名（和/英/ヨミ） | / / |
| 第18著者 所属（和/英） | (略称： ) (略称： ) |
| 講演者 | 第1著者 |
| 発表日時 | 2023-03-01 11:15:00 |
| 発表時間 | 25分 |
| 申込先研究会 | RCS |
| 資料番号 | RCS2022-254 |
| 巻番号（vol） | vol.122 |
| 号番号（no） | no.399 |
| ページ範囲 | pp.42-47 |
| ページ数 | 6 |
| 発行日 | 2023-02-22 (RCS) |
[研究会発表申込システムのトップページに戻る]