| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2026-04-09 12:50 SLOに応じたAIロードバランサー ○和田健史郎・馬場宏基・奥田兼三・君島直樹・林 健太朗・武田知典（NTT）  NS2026-5 |
|
| 抄録 | （和） | 大規模言語モデル（LLM）の実運用では,推論レイテンシが重要な性能指標である. しかし実際のリクエストは入力長や同時実行数に強い不均一性を持ち,単一設定や単純なラウンドロビン分配では最適化が困難である. vLLM は Continuous Batching や Chunked Prefill などを備え,設定によりレイテンシ指向・スループット指向・長文指向の複数プロファイルを構成できる. しかし既存運用ではこれらが静的に適用され,性能ポテンシャルが十分に活用されていない. 本論文では,入力長（短・中・長）,Prefix 再利用,同時実行数に基づき実行プロファイルを動的に切り替えるリクエスト特性対応AIルーティング手法を提案する. 各特性に対して最適プロファイルを選択し,その有効性を定量評価した. 実験の結果,提案手法は Round-Robin と比較して平均および p50 レイテンシを約14%,p95 を約7% 改善した. これにより,リクエスト特性に基づくプロファイル選択が,実運用において有効かつ実装容易な最適化手段であることを示した. |
| （英） | In the operational deployment of large language models (LLMs), inference latency is a critical performance metric. However, actual requests exhibit strong heterogeneity in input length and concurrent execution counts, making optimisation difficult with a single configuration or simple round-robin distribution. vLLM incorporates features such as Continuous Batching and Chunked Prefill, enabling the configuration of multiple profiles—latency-oriented, throughput-oriented, or long-text-oriented—through settings. However, in existing deployments, these are applied statically, failing to fully utilise the performance potential. This paper proposes an AI-based routing method that dynamically switches execution profiles based on request characteristics: input length (short, medium, long), prefix reuse, and concurrent execution count. It selects the optimal profile for each characteristic and quantitatively evaluates its effectiveness. Experimental results show the proposed method improves average and p50 latency by approximately 14%, and p95 latency by approximately 7%, compared to Round-Robin. This demonstrates that profile selection based on request characteristics is an effective and easily implementable optimisation technique in real-world operations. |
|
| キーワード | （和） | AI / LLM / プロキシ / / / / / |
| （英） | AI / LLM / Proxy / / / / / | |
| 文献情報 | 信学技報, vol. 126, no. 2, NS2026-5, pp. 23-28, 2026年4月. | |
| 資料番号 | NS2026-5 | |
| 発行日 | 2026-04-02 (NS) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | NS2026-5 |
|
| 研究会情報 | |
| 研究会 | NS |
| 開催期間 | 2026-04-09 - 2026-04-10 |
| 開催地（和） | 屋久島環境文化村センター + オンライン開催 |
| 開催地（英） | Yakushima Island Environmental and Cultural Village Center + Online |
| テーマ（和） | 通信トラヒック理論，トラヒック・品質評価，ネットワーク性能評価，QoS/QoE，信頼性・ロバスト性，トラヒック・品質管理，AI・機械学習，ネットワーク・システム運用管理, 大容量・低遅延・多数接続，一般 |
| テーマ（英） | Communication traffic theory, Traffic and quality evaluation, Network performance evaluation, QoS/QoE, Reliability and robustness, Traffic and quality management, AI and machine learning, Network and system operation management, High capacity, low latency, many connections, General |
| 講演論文情報の詳細 | |
| 申込み研究会 | NS |
| 会議コード | 2026-04-NS |
| 本文の言語 | 日本語 |
| タイトル（和） | SLOに応じたAIロードバランサー |
| サブタイトル（和） | |
| タイトル（英） | AI load balancer according to SLO |
| サブタイトル（英） | |
| キーワード(1)（和/英） | AI / AI |
| キーワード(2)（和/英） | LLM / LLM |
| キーワード(3)（和/英） | プロキシ / Proxy |
| キーワード(4)（和/英） | / |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 和田 健史郎 / Kenshiro Wada / ワダ ケンシロウ |
| 第1著者 所属（和/英） | NTT (略称： NTT) NTT (略称： NTT) |
| 第2著者 氏名（和/英/ヨミ） | 馬場 宏基 / Hiroki Baba / ババ ヒロキ |
| 第2著者 所属（和/英） | NTT (略称： NTT) NTT (略称： NTT) |
| 第3著者 氏名（和/英/ヨミ） | 奥田 兼三 / Kenzo Okuda / オクダ ケンゾウ |
| 第3著者 所属（和/英） | NTT (略称： NTT) NTT (略称： NTT) |
| 第4著者 氏名（和/英/ヨミ） | 君島 直樹 / Naoki Kimishima / キミシマ ナオキ |
| 第4著者 所属（和/英） | NTT (略称： NTT) NTT (略称： NTT) |
| 第5著者 氏名（和/英/ヨミ） | 林 健太朗 / Kentaro Hayashi / ハヤシ ケンタロウ |
| 第5著者 所属（和/英） | NTT (略称： NTT) NTT (略称： NTT) |
| 第6著者 氏名（和/英/ヨミ） | 武田 知典 / Tomonori Takeda / タケダ トモノリ |
| 第6著者 所属（和/英） | NTT (略称： NTT) NTT (略称： NTT) |
| 講演者 | 第1著者 |
| 発表日時 | 2026-04-09 12:50:00 |
| 発表時間 | 25分 |
| 申込先研究会 | NS |
| 資料番号 | NS2026-5 |
| 巻番号（vol） | vol.126 |
| 号番号（no） | no.2 |
| ページ範囲 | pp.23-28 |
| ページ数 | 6 |
| 発行日 | 2026-04-02 (NS) |
[研究会発表申込システムのトップページに戻る]