| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2026-04-09 13:15 LLM推論ストリーミングのための重要度認識型QoS制御方式 ○馬場宏基・和田健史郎・林 健太朗・奥田兼三・君島直樹・武田知典（NTT）  NS2026-6 |
|
| 抄録 | （和） | モバイルネットワークを介したロボットや自動運転向けのリアルタイムな AI 推論には，無線区間の損失や輻輳下でも低遅延・高信頼な推論ストリーミングが必要である．しかし，推論結果をトークン単位にストリーミングする現在のフロントエンド実装は，HoL ブロッキングやテール遅延に弱く，応答性を損ないやすいだけでなく，リトライが発生し，トークン生成に要するリソースや電力の増加にもつながる．本論文では，LLM 推論ストリーミングに対し，プロンプト重要度に基づく転送制御を実現する AI–ネットワーク協調型エッジプロキシを提案する．提案方式は，プロンプトや応答内容をもとにした推論重要度から，HTTP/3 ストリーム優先度を設定し，ネットワーク層QoS 処理へ対応付けることで，AI の重要度を通信の優先度に対応付けてトラフィック制御を行う．プロトタイプ実装を用いた評価の結果，提案方式の HTTP/3 をベースとした実装が，従来方式であるHTTP/2 より遅延やロスに対してロバストであり，重要度に基づく優先制御によりエンドツーエンドのトークン処理速度を最大約 42% 向上した．さらに，HTTP/3 とネットワーク層 QoS マーキングの併用により，損失下でも高重要度プロンプトの早期トークン遅延を低減することを示した． |
| （英） | Real-time AI inference for robots and autonomous driving over mobile networks requires low-latency, reliable streaming even under wireless loss and congestion. However, token-by-token LLM streaming is vulnerable to head-of-line blocking and tail latency, which degrades responsiveness and can trigger retries, increasing compute and energy costs. We propose an AI-network collaborative proxy that enables prompt-importance-aware transmission control by mapping inference importance, derived from prompt and response content, to HTTP/3 stream priorities and network-layer QoS. Prototype experiments show that the proposed HTTP/3-based design is more robust to delay and packet loss than a conventional HTTP/2-based approach, improves end-to-end token throughput by about 42% at maximum, and, when combined with QoS marking, reduces early-token latency for high-importance prompts under loss. | |
| キーワード | （和） | In-Network Computing / Network for AI / 6G / HTTP/3 / QUIC / QoS / / |
| （英） | In-Network Computing / Network for AI / 6G / HTTP/3 / QUIC / QoS / / | |
| 文献情報 | 信学技報, vol. 126, no. 2, NS2026-6, pp. 29-34, 2026年4月. | |
| 資料番号 | NS2026-6 | |
| 発行日 | 2026-04-02 (NS) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | NS2026-6 |
|
| 研究会情報 | |
| 研究会 | NS |
| 開催期間 | 2026-04-09 - 2026-04-10 |
| 開催地（和） | 屋久島環境文化村センター + オンライン開催 |
| 開催地（英） | Yakushima Island Environmental and Cultural Village Center + Online |
| テーマ（和） | 通信トラヒック理論，トラヒック・品質評価，ネットワーク性能評価，QoS/QoE，信頼性・ロバスト性，トラヒック・品質管理，AI・機械学習，ネットワーク・システム運用管理, 大容量・低遅延・多数接続，一般 |
| テーマ（英） | Communication traffic theory, Traffic and quality evaluation, Network performance evaluation, QoS/QoE, Reliability and robustness, Traffic and quality management, AI and machine learning, Network and system operation management, High capacity, low latency, many connections, General |
| 講演論文情報の詳細 | |
| 申込み研究会 | NS |
| 会議コード | 2026-04-NS |
| 本文の言語 | 日本語 |
| タイトル（和） | LLM推論ストリーミングのための重要度認識型QoS制御方式 |
| サブタイトル（和） | |
| タイトル（英） | Prompt-Importance-Aware QoS Control for LLM Inference Streaming over HTTP/3 |
| サブタイトル（英） | |
| キーワード(1)（和/英） | In-Network Computing / In-Network Computing |
| キーワード(2)（和/英） | Network for AI / Network for AI |
| キーワード(3)（和/英） | 6G / 6G |
| キーワード(4)（和/英） | HTTP/3 / HTTP/3 |
| キーワード(5)（和/英） | QUIC / QUIC |
| キーワード(6)（和/英） | QoS / QoS |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 馬場 宏基 / Hiroki Baba / ババ ヒロキ |
| 第1著者 所属（和/英） | NTT株式会社 (略称： NTT) NTT, Inc. (略称： NTT) |
| 第2著者 氏名（和/英/ヨミ） | 和田 健史郎 / Kenshiro Wada / ワダ ケンシロウ |
| 第2著者 所属（和/英） | NTT株式会社 (略称： NTT) NTT, Inc. (略称： NTT) |
| 第3著者 氏名（和/英/ヨミ） | 林 健太朗 / Kentaro Hayashi / ハヤシ ケンタロウ |
| 第3著者 所属（和/英） | NTT株式会社 (略称： NTT) NTT, Inc. (略称： NTT) |
| 第4著者 氏名（和/英/ヨミ） | 奥田 兼三 / Kenzo Okuda / オクダ ケンゾウ |
| 第4著者 所属（和/英） | NTT株式会社 (略称： NTT) NTT, Inc. (略称： NTT) |
| 第5著者 氏名（和/英/ヨミ） | 君島 直樹 / Naoki Kimishima / キミシマ ナオキ |
| 第5著者 所属（和/英） | NTT株式会社 (略称： NTT) NTT, Inc. (略称： NTT) |
| 第6著者 氏名（和/英/ヨミ） | 武田 知典 / Tomonori Takeda / タケダ トモノリ |
| 第6著者 所属（和/英） | NTT株式会社 (略称： NTT) NTT, Inc. (略称： NTT) |
| 講演者 | 第1著者 |
| 発表日時 | 2026-04-09 13:15:00 |
| 発表時間 | 25分 |
| 申込先研究会 | NS |
| 資料番号 | NS2026-6 |
| 巻番号（vol） | vol.126 |
| 号番号（no） | no.2 |
| ページ範囲 | pp.29-34 |
| ページ数 | 6 |
| 発行日 | 2026-04-02 (NS) |
[研究会発表申込システムのトップページに戻る]