| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2026-03-04 16:55 GPU基盤におけるRDMA通信性能評価の一検討 ○毛利元一・植田一暁・佐々木 力（KDDI総合研究所）  NS2025-279 |
|
| 抄録 | （和） | 大規模言語モデル（LLM）に代表される巨大モデルの分散学習において, GPU間のデータ同期遅延はシステム全体の学習効率を左右する極めて重要な要因である. GPU間のデータ同期には, 広帯域・低遅延な通信技術であるRDMA（Remote Direct Memory Access）を用いた集団通信が広く利用されている. 集団通信では, All-Reduce等の演算に伴い, 同期的かつバースト的な多対多通信が発生し, 特有のトラフィック特性を示す. そのため, 学習用GPU基盤の性能検証には, RDMA単体試験のみならず, 実際のワークロードを模した集団通信の評価が不可欠である. さらに, 最新のGPUサーバにおいては, ネットワーク帯域を凌駕する内部インタコネクト階層が存在するため, データ通信性能の評価にはネットワークとサーバ内部の両面からのボトルネック解析が必須となる. 本稿では, GPU基盤における包括的なRDMA通信性能評価手法を整理し, 基盤設計の最適化に向けた定量的評価アプローチを提案する. |
| （英） | In the distributed training of Large Language Models (LLMs), the latency of data synchronization between GPUs is a critical factor that significantly impacts overall training efficiency. For inter-GPU data synchronization, collective communication using Remote Direct Memory Access (RDMA), a high-bandwidth and low-latency communication technology, is widely employed. In collective communication, operations such as All-Reduce trigger synchronous and bursty many-to-many communications, exhibiting unique traffic characteristics. Therefore, performance benchmarking of GPU infrastructure for training requires not only standalone RDMA testing but also the evaluation of collective communication that simulates actual workloads. Furthermore, modern GPU servers feature complex internal interconnects. Consequently, bottleneck analysis from both the inter-server network and intra-server interconnect is essential for evaluating overall data communication performance. This paper organizes comprehensive performance evaluation methodologies for RDMA in GPU infrastructure and proposes a quantitative evaluation approach aimed at optimizing infrastructure design. | |
| キーワード | （和） | LLM / GPU / 分散学習 / RDMA / 集団通信 / / / |
| （英） | LLM / GPU / Distributed Training / RDMA / Collective Communication / / / | |
| 文献情報 | 信学技報, vol. 125, no. 385, NS2025-279, pp. 345-350, 2026年3月. | |
| 資料番号 | NS2025-279 | |
| 発行日 | 2026-02-25 (NS) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | NS2025-279 |
|
| 研究会情報 | |
| 研究会 | IN NS |
| 開催期間 | 2026-03-04 - 2026-03-06 |
| 開催地（和） | 沖縄県市町村自治会館 |
| 開催地（英） | Okinawa-Ken Shichoson Jichi Kaikan |
| テーマ（和） | 一般 |
| テーマ（英） | General |
| 講演論文情報の詳細 | |
| 申込み研究会 | NS |
| 会議コード | 2026-03-IN-NS |
| 本文の言語 | 日本語 |
| タイトル（和） | GPU基盤におけるRDMA通信性能評価の一検討 |
| サブタイトル（和） | |
| タイトル（英） | A Study on RDMA Benchmarking for GPU infrastructure |
| サブタイトル（英） | |
| キーワード(1)（和/英） | LLM / LLM |
| キーワード(2)（和/英） | GPU / GPU |
| キーワード(3)（和/英） | 分散学習 / Distributed Training |
| キーワード(4)（和/英） | RDMA / RDMA |
| キーワード(5)（和/英） | 集団通信 / Collective Communication |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 毛利 元一 / Genichi Mouri / モウリ ゲンイチ |
| 第1著者 所属（和/英） | 株式会社KDDI総合研究所 (略称： KDDI総合研究所) KDDI Research, Inc. (略称： KDDI Research) |
| 第2著者 氏名（和/英/ヨミ） | 植田 一暁 / Kazuaki Ueda / ウエダ カズアキ |
| 第2著者 所属（和/英） | 株式会社KDDI総合研究所 (略称： KDDI総合研究所) KDDI Research, Inc. (略称： KDDI Research) |
| 第3著者 氏名（和/英/ヨミ） | 佐々木 力 / Chikara Sasaki / ササキ チカラ |
| 第3著者 所属（和/英） | 株式会社KDDI総合研究所 (略称： KDDI総合研究所) KDDI Research, Inc. (略称： KDDI Research) |
| 講演者 | 第1著者 |
| 発表日時 | 2026-03-04 16:55:00 |
| 発表時間 | 25分 |
| 申込先研究会 | NS |
| 資料番号 | NS2025-279 |
| 巻番号（vol） | vol.125 |
| 号番号（no） | no.385 |
| ページ範囲 | pp.345-350 |
| ページ数 | 6 |
| 発行日 | 2026-02-25 (NS) |
[研究会発表申込システムのトップページに戻る]