| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2024-07-29 16:30 ［招待講演］大規模AIモデル訓練ワークロードにおける集団通信の高速化 ○立岩斉明・森田和孝（NTT）  IN2024-19 |
|
| 抄録 | （和） | 大規模AIモデルの訓練において, 複数GPUを用いた分散学習はメモリとI/Oの効率的な分散の観点から不可欠である. しかし, その恩恵のトレードオフとして発生するGPU間の集団通信は, GPUの飛躍的な性能向上に伴い, ネットワークに大きな負荷をかけている. 本講演では, 現在主流の4種類の分散並列化手法と集団通信との関連性, および集団通信の高速化のためのIn-network Aggregation技術やネットワークトポロジとアルゴリズムの最適化について紹介する. |
| （英） | In training large-scale AI models, using multiple GPUs for distributed learning is essential from the perspective of efficient memory and I/O distribution. However, the inter-GPU collective communication that arises as a trade-off to these benefits places a significant burden on the network due to the exponential improvement in GPU performance. This presentation discusses the relationship between the four prevailing types of distributed parallelism and collective communication and introduces techniques for accelerating collective communication through in-network aggregation and optimization of network topology and algorithms. | |
| キーワード | （和） | 分散深層学習 / 集団通信 / ネットワーク内集約 / ネットワークトポロジ / / / / |
| （英） | Distributed deep learning / Collective communications / In-network aggregation / Network topology / / / / | |
| 文献情報 | 信学技報, vol. 124, no. 139, IN2024-19, pp. 54-63, 2024年7月. | |
| 資料番号 | IN2024-19 | |
| 発行日 | 2024-07-22 (IN) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | IN2024-19 |
|
| 研究会情報 | |
| 研究会 | IN CCS |
| 開催期間 | 2024-07-29 - 2024-07-30 |
| 開催地（和） | モエレ沼公園 ガラスのピラミッド（北海道札幌市） |
| 開催地（英） | Moerenuma Park Glass Pyramid |
| テーマ（和） | ネットワークの科学、将来ネットワーク 、クラウド/SDN/仮想化、コンテンツ配信・流通、及び一般 |
| テーマ（英） | Network Science, Future Network, Cloud/SDN/Virtualization, Contents Delivery/Contents Exchange, and others |
| 講演論文情報の詳細 | |
| 申込み研究会 | IN |
| 会議コード | 2024-07-IN-CCS |
| 本文の言語 | 日本語 |
| タイトル（和） | 大規模AIモデル訓練ワークロードにおける集団通信の高速化 |
| サブタイトル（和） | |
| タイトル（英） | Accelerating Collective Communication in Large-Scale AI Model Training Workloads |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 分散深層学習 / Distributed deep learning |
| キーワード(2)（和/英） | 集団通信 / Collective communications |
| キーワード(3)（和/英） | ネットワーク内集約 / In-network aggregation |
| キーワード(4)（和/英） | ネットワークトポロジ / Network topology |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 立岩 斉明 / Nariaki Tateiwa / タテイワ ナリアキ |
| 第1著者 所属（和/英） | 日本電信電話株式会社 (略称： NTT) Nippon Telegraph and Telephone Corporation (略称： NTT) |
| 第2著者 氏名（和/英/ヨミ） | 森田 和孝 / Kazutaka Morita / モリタ カズタカ |
| 第2著者 所属（和/英） | 日本電信電話株式会社 (略称： NTT) Nippon Telegraph and Telephone Corporation (略称： NTT) |
| 講演者 | 第1著者 |
| 発表日時 | 2024-07-29 16:30:00 |
| 発表時間 | 50分 |
| 申込先研究会 | IN |
| 資料番号 | IN2024-19 |
| 巻番号（vol） | vol.124 |
| 号番号（no） | no.139 |
| ページ範囲 | pp.54-63 |
| ページ数 | 10 |
| 発行日 | 2024-07-22 (IN) |
[研究会発表申込システムのトップページに戻る]