| 講演抄録／キーワード |
| 講演名 |
2025-07-30 09:30
［依頼講演］交互方向乗数法を用いた知識蒸留による分散連合学習と制御理論との関連
○田谷昭仁・西山勇毅・瀬崎 薫（東大） |
| 抄録 |
（和） |
連合学習はデータのプライバシを保護したまま学習可能な手法として注目されている．特に，IoTやセンサネットワークではサーバを用いない完全分散型の連合学習が期待されている．著者らは[1]において，知識蒸留を用いる完全分散型連合学習を提案し，そのアルゴリズムが関数空間で分散合意最適化を行うことに相当することを示した．さらに，[2]では交互方向定数法（ADMM：Alternating Direction Method of Multipliers）を用いて収束速度を向上させる手法を提案した．本発表では，non-IID（Independent and Identically Distributed）データを用いる連合学習について，確率的勾配法によるモデル更新のばらつきをモデル化し，[2]で導入した収束安定化のための係数が，このばらつきを抑制することを，分散連合学習のアルゴリズムとPI制御との類似性の観点から説明する． |
| （英） |
Federated learning (FL) is a promising approach for training machine learning models while keeping raw data local to preserve privacy. In particular, serverless FL is gaining more attention because it is suitable for IoT and sensor networks. In [1], we proposed knowledge-distillation-based serverless FL and showed that the algorithm is equivalent to consensus-based optimization in function space. Furthermore, in [2], we proposed a method to accelerate convergence using the alternating direction method of multipliers (ADMM). In this presentation, we revisit the stabilization coefficients introduced in [2] and discuss them from the perspective of the similarity between the consensus-based optimization and PI control. Through analysis, we demonstrate the stochastic variability of model updates that come from stochastic gradient descent in non independent and identically distributed (IID) scenarios are stabilized by the PI-control. |
| キーワード |
（和） |
連合学習 / 知識蒸留 / 交互方向乗数法 / PI制御 / 関数空間 / / / |
| （英） |
federated learning / knowledge distillation / ADMM / proportional integral control / function space / / / |
| 文献情報 |
信学技報 |
| 資料番号 |
|
| 発行日 |
|
| ISSN |
Online edition: ISSN 2432-6380 |
| PDFダウンロード |
|
| 研究会情報 |
| 研究会 |
SR RCS RCC SeMI NS RISING HCL |
| 開催期間 |
2025-07-30 - 2025-08-01 |
| 開催地（和） |
マリオス（盛岡地域交流センター） |
| 開催地（英） |
MALIOS |
| テーマ（和） |
IoT、無線分散ネットワーク、センサネットワーク、 制御通信、ネットワーク制御、一般 |
| テーマ（英） |
|
| 講演論文情報の詳細 |
| 申込み研究会 |
RISING |
| 会議コード |
2025-07-SR-RCS-RCC-SeMI-NS-RISING-HCL |
| 本文の言語 |
日本語 |
| タイトル（和） |
交互方向乗数法を用いた知識蒸留による分散連合学習と制御理論との関連 |
| サブタイトル（和） |
|
| タイトル（英） |
Connection between ADMM-Based Knowledge Distillation in Distributed Federated Learning and PI Control |
| サブタイトル（英） |
|
| キーワード(1)（和/英） |
連合学習 / federated learning |
| キーワード(2)（和/英） |
知識蒸留 / knowledge distillation |
| キーワード(3)（和/英） |
交互方向乗数法 / ADMM |
| キーワード(4)（和/英） |
PI制御 / proportional integral control |
| キーワード(5)（和/英） |
関数空間 / function space |
| キーワード(6)（和/英） |
/ |
| キーワード(7)（和/英） |
/ |
| キーワード(8)（和/英） |
/ |
| 第1著者 氏名（和/英/ヨミ） |
田谷 昭仁 / Akihito Taya / タヤ アキヒト |
| 第1著者 所属（和/英） |
東京大学 (略称： 東大)
The University of Tokyo (略称： Univ. Tokyo) |
| 第2著者 氏名（和/英/ヨミ） |
西山 勇毅 / Yuuki Nishiyama / ニシヤマ ユウキ |
| 第2著者 所属（和/英） |
東京大学 (略称： 東大)
The University of Tokyo (略称： Univ. Tokyo) |
| 第3著者 氏名（和/英/ヨミ） |
瀬崎 薫 / Kaoru Sezaki / セザキ カオル |
| 第3著者 所属（和/英） |
東京大学 (略称： 東大)
The University of Tokyo (略称： Univ. Tokyo) |
| 第4著者 氏名（和/英/ヨミ） |
/ / |
| 第4著者 所属（和/英） |
(略称： )
(略称： ) |
| 第5著者 氏名（和/英/ヨミ） |
/ / |
| 第5著者 所属（和/英） |
(略称： )
(略称： ) |
| 第6著者 氏名（和/英/ヨミ） |
/ / |
| 第6著者 所属（和/英） |
(略称： )
(略称： ) |
| 第7著者 氏名（和/英/ヨミ） |
/ / |
| 第7著者 所属（和/英） |
(略称： )
(略称： ) |
| 第8著者 氏名（和/英/ヨミ） |
/ / |
| 第8著者 所属（和/英） |
(略称： )
(略称： ) |
| 第9著者 氏名（和/英/ヨミ） |
/ / |
| 第9著者 所属（和/英） |
(略称： )
(略称： ) |
| 第10著者 氏名（和/英/ヨミ） |
/ / |
| 第10著者 所属（和/英） |
(略称： )
(略称： ) |
| 第11著者 氏名（和/英/ヨミ） |
/ / |
| 第11著者 所属（和/英） |
(略称： )
(略称： ) |
| 第12著者 氏名（和/英/ヨミ） |
/ / |
| 第12著者 所属（和/英） |
(略称： )
(略称： ) |
| 第13著者 氏名（和/英/ヨミ） |
/ / |
| 第13著者 所属（和/英） |
(略称： )
(略称： ) |
| 第14著者 氏名（和/英/ヨミ） |
/ / |
| 第14著者 所属（和/英） |
(略称： )
(略称： ) |
| 第15著者 氏名（和/英/ヨミ） |
/ / |
| 第15著者 所属（和/英） |
(略称： )
(略称： ) |
| 第16著者 氏名（和/英/ヨミ） |
/ / |
| 第16著者 所属（和/英） |
(略称： )
(略称： ) |
| 第17著者 氏名（和/英/ヨミ） |
/ / |
| 第17著者 所属（和/英） |
(略称： )
(略称： ) |
| 第18著者 氏名（和/英/ヨミ） |
/ / |
| 第18著者 所属（和/英） |
(略称： )
(略称： ) |
| 第19著者 氏名（和/英/ヨミ） |
/ / |
| 第19著者 所属（和/英） |
(略称： )
(略称： ) |
| 第20著者 氏名（和/英/ヨミ） |
/ / |
| 第20著者 所属（和/英） |
(略称： )
(略称： ) |
| 第21著者 氏名（和/英/ヨミ） |
/ / |
| 第21著者 所属（和/英） |
(略称： )
(略称： ) |
| 第22著者 氏名（和/英/ヨミ） |
/ / |
| 第22著者 所属（和/英） |
(略称： )
(略称： ) |
| 第23著者 氏名（和/英/ヨミ） |
/ / |
| 第23著者 所属（和/英） |
(略称： )
(略称： ) |
| 第24著者 氏名（和/英/ヨミ） |
/ / |
| 第24著者 所属（和/英） |
(略称： )
(略称： ) |
| 第25著者 氏名（和/英/ヨミ） |
/ / |
| 第25著者 所属（和/英） |
(略称： )
(略称： ) |
| 第26著者 氏名（和/英/ヨミ） |
/ / |
| 第26著者 所属（和/英） |
(略称： )
(略称： ) |
| 第27著者 氏名（和/英/ヨミ） |
/ / |
| 第27著者 所属（和/英） |
(略称： )
(略称： ) |
| 第28著者 氏名（和/英/ヨミ） |
/ / |
| 第28著者 所属（和/英） |
(略称： )
(略称： ) |
| 第29著者 氏名（和/英/ヨミ） |
/ / |
| 第29著者 所属（和/英） |
(略称： )
(略称： ) |
| 第30著者 氏名（和/英/ヨミ） |
/ / |
| 第30著者 所属（和/英） |
(略称： )
(略称： ) |
| 第31著者 氏名（和/英/ヨミ） |
/ / |
| 第31著者 所属（和/英） |
(略称： )
(略称： ) |
| 第32著者 氏名（和/英/ヨミ） |
/ / |
| 第32著者 所属（和/英） |
(略称： )
(略称： ) |
| 第33著者 氏名（和/英/ヨミ） |
/ / |
| 第33著者 所属（和/英） |
(略称： )
(略称： ) |
| 第34著者 氏名（和/英/ヨミ） |
/ / |
| 第34著者 所属（和/英） |
(略称： )
(略称： ) |
| 第35著者 氏名（和/英/ヨミ） |
/ / |
| 第35著者 所属（和/英） |
(略称： )
(略称： ) |
| 第36著者 氏名（和/英/ヨミ） |
/ / |
| 第36著者 所属（和/英） |
(略称： )
(略称： ) |
| 講演者 |
第1著者 |
| 発表日時 |
2025-07-30 09:30:00 |
| 発表時間 |
25分 |
| 申込先研究会 |
RISING |
| 資料番号 |
|
| 巻番号（vol） |
vol.125 |
| 号番号（no） |
|
| ページ範囲 |
|
| ページ数 |
|
| 発行日 |
|