| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2024-02-29 09:45 LLMを用いた連合学習における各学習手法の通信コストと性能評価 ○深見 匠・山﨑雄輔・張 一凡（NTT）  IN2023-66 |
|
| 抄録 | （和） | 近年, 様々なデバイスや組織において多種多様な大量のデータが生成されており, それらのデータを利 活用する動きが活発化している. 一般的にデータを AI で学習・予測するなどデータを利活用する際には, データ の一元化が不可欠である. しかし, データが機密情報であった場合には, データを一元化することができない. そ の解決策として, データを集めることなく各データ保持者の学習した AI モデルのみを共有することで高性能な AI を学習できる連合学習という技術が注目されている. 連合学習では AI モデル学習のために繰り返し通信が必 要であり学習するモデルが大きいほど通信コストが増えることは知られているが, 運用上実際にどのくらい通信 量がかかるのか明確でない. 今回はデータ利活用において需要が高く通信量が膨大になることが見込まれる Large language model を連合学習の各学習手法を用いて学習した際の通信コストと性能を報告する. |
| （英） | In recent years, a large amount of diverse data have been generated by various devices and organisations, and there has been a growing movement to utilise these data. In general, data collection is indispensable for data utilisation such as learning and prediction by AI. However, if the data is confidential information, the data should not be collected. One solution to this problem is federated learning, which can learn high-performance AI by sharing only the AI models learned by each data holder without collecting their data. It is well known that the larger the models to be learned, the higher the communication cost, but it is not clear how much communication is actually required in operation. In this paper, we report the communication cost and performance of learning the large language model, which requires a large amount of communication cost, using each learning method of federated learning. | |
| キーワード | （和） | 連合学習 / 自然言語 / LLM / 通信コスト / / / / |
| （英） | Federated Learning / Natural language processing / LLM / Communication cost / / / / | |
| 文献情報 | 信学技報, vol. 123, no. 398, IN2023-66, pp. 7-12, 2024年2月. | |
| 資料番号 | IN2023-66 | |
| 発行日 | 2024-02-22 (IN) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | IN2023-66 |
|
| 研究会情報 | |
| 研究会 | NS IN |
| 開催期間 | 2024-02-29 - 2024-03-01 |
| 開催地（和） | 沖縄コンベンションセンター |
| 開催地（英） | Okinawa Convention Center |
| テーマ（和） | 一般 |
| テーマ（英） | General |
| 講演論文情報の詳細 | |
| 申込み研究会 | IN |
| 会議コード | 2024-02-NS-IN |
| 本文の言語 | 日本語 |
| タイトル（和） | LLMを用いた連合学習における各学習手法の通信コストと性能評価 |
| サブタイトル（和） | |
| タイトル（英） | Communication cost and performance evaluation of each learning method in Federated learning with LLM |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 連合学習 / Federated Learning |
| キーワード(2)（和/英） | 自然言語 / Natural language processing |
| キーワード(3)（和/英） | LLM / LLM |
| キーワード(4)（和/英） | 通信コスト / Communication cost |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 深見 匠 / Takumi Fukami / フカミ タクミ |
| 第1著者 所属（和/英） | 日本電信電話株式会社 (略称： NTT) Nippon Telegraph and Telephone Corporation (略称： NTT) |
| 第2著者 氏名（和/英/ヨミ） | 山﨑 雄輔 / Yusuke Yamasaki / ヤマサキ ユウスケ |
| 第2著者 所属（和/英） | 日本電信電話株式会社 (略称： NTT) Nippon Telegraph and Telephone Corporation (略称： NTT) |
| 第3著者 氏名（和/英/ヨミ） | 張 一凡 / Iifan Tyou / チョウ イイファン |
| 第3著者 所属（和/英） | 日本電信電話株式会社 (略称： NTT) Nippon Telegraph and Telephone Corporation (略称： NTT) |
| 講演者 | 第1著者 |
| 発表日時 | 2024-02-29 09:45:00 |
| 発表時間 | 25分 |
| 申込先研究会 | IN |
| 資料番号 | IN2023-66 |
| 巻番号（vol） | vol.123 |
| 号番号（no） | no.398 |
| ページ範囲 | pp.7-12 |
| ページ数 | 6 |
| 発行日 | 2024-02-22 (IN) |
[研究会発表申込システムのトップページに戻る]