| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2026-01-22 13:00 超低遅延ネットワークアーキテクチャL4Sを用いた遠隔強化学習の環境構築 ○奥村 丈・三橋力麻・飯田勝吉・髙井昌彰（北大）  NS2025-198 |
|
| 抄録 | （和） | 近年、自動運転車の制御や自律ドローンの操作など、機械制御を遠隔で学習・実行するシステムの研究開発が活発化している。機械制御に遠隔強化学習を適用したシステムでは、実際の機器とサーバの間でデータを頻繁にやり取りするため、ネットワーク品質が制御性能や安全性に大きく影響する。最近では、ネットワーク遅延を抑制する手法としてRFC9330で標準化されたL4S（Low Latency, Low Loss, and Scalable Throughput）が注目を集めているが、現時点で遠隔強化学習にL4Sを適用した報告はほとんど見られていない。 そこで本研究では、遠隔強化学習の基礎的評価を目的として、L4Sを適用した高品質なネットワーク上に遠隔強化学習の環境構築を行う。具体的には、ネットワークシミュレータであるns-3と、ns-3上で遠隔強化学習を実現するDEFIANCEを用いて、機械制御の基本の一つである倒立振り子の遠隔制御を実現する。カートノードとエージェントノードの間にボトルネックリンクを配置し、L4Sをネットワークに適用することで、輻輳発生時における強化学習への影響を調査可能な環境を構築した。 |
| （英） | In recent years, research and development of systems that remotely learn and execute machine control, such as autonomous vehicle control and drone operation, has become increasingly active. In systems that apply remote reinforcement learning to machine control, data is frequently exchanged between actual devices and servers, and therefore network quality significantly affects control performance and safety. Recently, L4S (Low Latency, Low Loss, and Scalable Throughput), standardized as RFC9330, has attracted attention as a method for suppressing network latency. However, there are currently few reports on applying L4S to remote reinforcement learning. In this study, we construct a remote reinforcement learning environment on a high-quality network with L4S for fundamental evaluation of remote reinforcement learning. Specifically, we realize remote control of an inverted pendulum, which is one of the fundamental problems in control theory, using the network simulator ns-3 and DEFIANCE, a framework that enables remote reinforcement learning on ns-3. By placing a bottleneck link between the cart node and the agent node and applying L4S to the network, we constructed an environment that enables investigation of the impact on reinforcement learning when congestion occurs. |
|
| キーワード | （和） | 遠隔強化学習 / 倒立振子 / L4S / ns-3 / DEFIANCE / / / |
| （英） | Remote Reinforcement Learning / Inverted Pendulum / L4S / ns-3 / DEFIANCE / / / | |
| 文献情報 | 信学技報, vol. 125, no. 320, NS2025-198, pp. 37-41, 2026年1月. | |
| 資料番号 | NS2025-198 | |
| 発行日 | 2026-01-15 (NS) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | NS2025-198 |
|
| 研究会情報 | |
| 研究会 | NS NWS |
| 開催期間 | 2026-01-22 - 2026-01-23 |
| 開催地（和） | 高知市文化プラザかるぽーと 中央公民館 + オンライン開催 |
| 開催地（英） | Kochi City Culture-Plaza CUL-PORT + Online |
| テーマ（和） | NWソフトウエア(ソフトウエアアーキテクチャ，ミドルウエア)，NWアプリケーション，SOA/SDP，NGN/IMS/API，分散制御・ダイナミックルーチング，グリッド，NFV，IoT，NW及びシステム信頼性，NW及びシステム評価，一般 |
| テーマ（英） | Network software (Software architecture, Middleware), Network application, SOA/SDP, NGN/IMS/API, Distributed control/Dynamic routing, Grid, NFV, IoT, Network/System reliability, Network/System evaluation, etc. |
| 講演論文情報の詳細 | |
| 申込み研究会 | NS |
| 会議コード | 2026-01-NS-NWS |
| 本文の言語 | 日本語 |
| タイトル（和） | 超低遅延ネットワークアーキテクチャL4Sを用いた遠隔強化学習の環境構築 |
| サブタイトル（和） | |
| タイトル（英） | Environment Construction of Remote Reinforcement Learning Using L4S Ultra-low Latency Network Architecture |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 遠隔強化学習 / Remote Reinforcement Learning |
| キーワード(2)（和/英） | 倒立振子 / Inverted Pendulum |
| キーワード(3)（和/英） | L4S / L4S |
| キーワード(4)（和/英） | ns-3 / ns-3 |
| キーワード(5)（和/英） | DEFIANCE / DEFIANCE |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 奥村 丈 / Jo Okumura / オクムラ ジョウ |
| 第1著者 所属（和/英） | 北海道大学 (略称： 北大) Hokkaido University (略称： Hokkaido Univ.) |
| 第2著者 氏名（和/英/ヨミ） | 三橋 力麻 / Rikima Mitsuhashi / ミツハシ リキマ |
| 第2著者 所属（和/英） | 北海道大学 (略称： 北大) Hokkaido University (略称： Hokkaido Univ.) |
| 第3著者 氏名（和/英/ヨミ） | 飯田 勝吉 / Katsuyoshi Iida / イイダ カツヨシ |
| 第3著者 所属（和/英） | 北海道大学 (略称： 北大) Hokkaido University (略称： Hokkaido Univ.) |
| 第4著者 氏名（和/英/ヨミ） | 髙井 昌彰 / Yoshiaki Takai / タカイ ヨシアキ |
| 第4著者 所属（和/英） | 北海道大学 (略称： 北大) Hokkaido University (略称： Hokkaido Univ.) |
| 講演者 | 第1著者 |
| 発表日時 | 2026-01-22 13:00:00 |
| 発表時間 | 25分 |
| 申込先研究会 | NS |
| 資料番号 | NS2025-198 |
| 巻番号（vol） | vol.125 |
| 号番号（no） | no.320 |
| ページ範囲 | pp.37-41 |
| ページ数 | 5 |
| 発行日 | 2026-01-15 (NS) |
[研究会発表申込システムのトップページに戻る]