ご案内 入会して研究会活動をもっとお得に!研究会参加費・年間登録費が会員価格になります。
お知らせ 【重要】研究会参加費の支払いおよび原稿アップロード手続きの変更に関するご案内
電子情報通信学会 研究会発表申込システム
講演論文 詳細
技報閲覧サービス
[ログイン]
技報アーカイブ
 トップに戻る 前のページに戻る   [Japanese] / [English] 

講演抄録/キーワード
講演名 2024-11-11 13:20
[ポスター講演]関数空間における交互方向乗数法を用いた知識蒸留による分散型連合学習
田谷昭仁西山勇毅瀬崎 薫東大
抄録 (和) 高品質な機械学習モデルを構築するために大規模なデータセットを用いる学習が求められている.しかし,プライバシーの問題やデータの所有権の問題から,データを集約することが難しい場合がある.この問題を解決するために,データの所有者が個々に学習を行い,学習済みモデルのパラメータを共有することで,データを集約することなく学習を行う連合学習が提案されている.著者らは[1]において,IoT端末やセンサネットワーク向けの連合学習手法として,サーバを用いない分散型のアルゴリズムでかつ,知識蒸留を用いることで通信量削減と異種モデル混在環境での学習を可能にする学習手法を提案した.この手法は関数空間における分散合意最適化を行うことで,サーバを用いない学習アルゴリズムを実現した.本稿では,分散合意最適化よりも高速に収束する交互方向乗数法を用いる手法を提案する.提案手法は関数空間上での交互方向乗数法によるモデル更新を目指して,知識蒸留によるパラメータ更新を行う.また,提案手法と既存手法による収束速度の比較をシミュレーションにより行う. 
(英) To improve the performance of machine learning models, it is necessary to train them using large datasets. However, it is difficult in some cases to obtain a large dataset due to privacy issues. To address this problem, federated learning (FL) has been proposed, in which data owners train their models individually and share the model parameters to train the model without collecting the data. We have proposed a serverless federated learning method for IoT devices and sensor networks in [1], which reduces communication costs and enables learning in a heterogeneous model environment by using knowledge distillation (KD). In this paper, we propose to use the alternating direction method of multipliers (ADMM) to achieve faster convergence than consensus-based optimization, which is utilized in [1]. The proposed method emulates the ADMM in function spaces to optimize models, and this procedure is realized by updating the model parameters by distillation. We also compare the convergence speed of the proposed method with that of existing methods through simulations.
キーワード (和) 連合学習 / 知識蒸留 / 交互方向乗数法 / 関数空間 / / / /  
(英) federated learning / knowledge distillation / ADMM / function space / / / /  
文献情報 信学技報
資料番号  
発行日  
ISSN  
PDFダウンロード

研究会情報
研究会 RISING  
開催期間 2024-11-11 - 2024-11-12 
開催地(和) 北海道立道民活動センター かでる2・7 
開催地(英) Kaderu 2・7 (Sapporo) 
テーマ(和) 超知性通信ネットワークに関する研究,一般 
テーマ(英) Cross-Field Research Association of Super-Intelligent Networking 
講演論文情報の詳細
申込み研究会 RISING 
会議コード 2024-11-RISING 
本文の言語 日本語 
タイトル(和) 関数空間における交互方向乗数法を用いた知識蒸留による分散型連合学習 
サブタイトル(和)  
タイトル(英) Decentralized Federated Distillation Based on ADMM in Function Spaces 
サブタイトル(英)  
キーワード(1)(和/英) 連合学習 / federated learning  
キーワード(2)(和/英) 知識蒸留 / knowledge distillation  
キーワード(3)(和/英) 交互方向乗数法 / ADMM  
キーワード(4)(和/英) 関数空間 / function space  
キーワード(5)(和/英) /  
キーワード(6)(和/英) /  
キーワード(7)(和/英) /  
キーワード(8)(和/英) /  
第1著者 氏名(和/英/ヨミ) 田谷 昭仁 / Akihito Taya / タヤ アキヒト
第1著者 所属(和/英) 東京大学 (略称: 東大)
The University of Tokyo (略称: Univ. Tokyo)
第2著者 氏名(和/英/ヨミ) 西山 勇毅 / Yuuki Nishiyama / ニシヤマ ユウキ
第2著者 所属(和/英) 東京大学 (略称: 東大)
The University of Tokyo (略称: Univ. Tokyo)
第3著者 氏名(和/英/ヨミ) 瀬崎 薫 / Kaoru Sezaki / セザキ カオル
第3著者 所属(和/英) 東京大学 (略称: 東大)
The University of Tokyo (略称: Univ. Tokyo)
第4著者 氏名(和/英/ヨミ) / /
第4著者 所属(和/英) (略称: )
(略称: )
第5著者 氏名(和/英/ヨミ) / /
第5著者 所属(和/英) (略称: )
(略称: )
第6著者 氏名(和/英/ヨミ) / /
第6著者 所属(和/英) (略称: )
(略称: )
第7著者 氏名(和/英/ヨミ) / /
第7著者 所属(和/英) (略称: )
(略称: )
第8著者 氏名(和/英/ヨミ) / /
第8著者 所属(和/英) (略称: )
(略称: )
第9著者 氏名(和/英/ヨミ) / /
第9著者 所属(和/英) (略称: )
(略称: )
第10著者 氏名(和/英/ヨミ) / /
第10著者 所属(和/英) (略称: )
(略称: )
第11著者 氏名(和/英/ヨミ) / /
第11著者 所属(和/英) (略称: )
(略称: )
第12著者 氏名(和/英/ヨミ) / /
第12著者 所属(和/英) (略称: )
(略称: )
第13著者 氏名(和/英/ヨミ) / /
第13著者 所属(和/英) (略称: )
(略称: )
第14著者 氏名(和/英/ヨミ) / /
第14著者 所属(和/英) (略称: )
(略称: )
第15著者 氏名(和/英/ヨミ) / /
第15著者 所属(和/英) (略称: )
(略称: )
第16著者 氏名(和/英/ヨミ) / /
第16著者 所属(和/英) (略称: )
(略称: )
第17著者 氏名(和/英/ヨミ) / /
第17著者 所属(和/英) (略称: )
(略称: )
第18著者 氏名(和/英/ヨミ) / /
第18著者 所属(和/英) (略称: )
(略称: )
第19著者 氏名(和/英/ヨミ) / /
第19著者 所属(和/英) (略称: )
(略称: )
第20著者 氏名(和/英/ヨミ) / /
第20著者 所属(和/英) (略称: )
(略称: )
第21著者 氏名(和/英/ヨミ) / /
第21著者 所属(和/英) (略称: )
(略称: )
第22著者 氏名(和/英/ヨミ) / /
第22著者 所属(和/英) (略称: )
(略称: )
第23著者 氏名(和/英/ヨミ) / /
第23著者 所属(和/英) (略称: )
(略称: )
第24著者 氏名(和/英/ヨミ) / /
第24著者 所属(和/英) (略称: )
(略称: )
第25著者 氏名(和/英/ヨミ) / /
第25著者 所属(和/英) (略称: )
(略称: )
第26著者 氏名(和/英/ヨミ) / /
第26著者 所属(和/英) (略称: )
(略称: )
第27著者 氏名(和/英/ヨミ) / /
第27著者 所属(和/英) (略称: )
(略称: )
第28著者 氏名(和/英/ヨミ) / /
第28著者 所属(和/英) (略称: )
(略称: )
第29著者 氏名(和/英/ヨミ) / /
第29著者 所属(和/英) (略称: )
(略称: )
第30著者 氏名(和/英/ヨミ) / /
第30著者 所属(和/英) (略称: )
(略称: )
第31著者 氏名(和/英/ヨミ) / /
第31著者 所属(和/英) (略称: )
(略称: )
第32著者 氏名(和/英/ヨミ) / /
第32著者 所属(和/英) (略称: )
(略称: )
第33著者 氏名(和/英/ヨミ) / /
第33著者 所属(和/英) (略称: )
(略称: )
第34著者 氏名(和/英/ヨミ) / /
第34著者 所属(和/英) (略称: )
(略称: )
第35著者 氏名(和/英/ヨミ) / /
第35著者 所属(和/英) (略称: )
(略称: )
第36著者 氏名(和/英/ヨミ) / /
第36著者 所属(和/英) (略称: )
(略称: )
講演者 第1著者 
発表日時 2024-11-11 13:20:00 
発表時間 50分 
申込先研究会 RISING 
資料番号  
巻番号(vol) vol. 
号番号(no)  
ページ範囲  
ページ数  
発行日  


[研究会発表申込システムのトップページに戻る]

[電子情報通信学会ホームページ]


IEICE / 電子情報通信学会