| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2023-12-14 16:50 深層強化学習を用いたICTシステム自動設計のためのDueling Networks構造の適用と評価 ○シユウ テンシン（上智大）・八鍬 豊（NEC）・岡村夏希・方違紘之（上智大）・黒田貴之（NEC）・矢入郁子（上智大）  NS2023-135 |
|
| 抄録 | （和） | 本稿では，ICTシステムの設計における強化学習の手法を紹介する．強化学習を用いたICTシステム自動設計技術は，ICTシステム設計において状態空間が膨大であり報酬が疎という特徴による長い学習時間という課題に直面している．そこで，Weaverと呼ばれるICTシステムの自動設計技術に，Dueling Networkという深層強化学習の手法を適用し評価を行った．Dueling Networkを適用することで，価値関数の近似で使うグラフニューラルネットワーク構造を改良し，グローバル価値とアドバンテージの2つのサブストリームに分解する．そうすることによって，グラフのグローバル値から状態の価値を独立で学習することが可能となり，グラフニューラルネットワークからより正確な行動価値が得られ，強化学習のアルゴリズム自体に変更を加えず，より高い学習効率が実現可能になる． |
| （英） | This paper presents a reinforcement learning based approach for the design of ICT systems. The automated ICT system design technology faces a fundamental challenge characterized by prolonged learning times, primarily attributable to the tendency to overestimate particular configurations due to the scarcity of rewards, despite the vast exploration space encompassing numerous possible combinations of ICT system components. The proposed method aims to improve the graph neural network structure for Q-value estimation by decomposing the network into two sub-streams to separately estimate global-state value and the state-dependent action advantage instead. By doing that, the dueling architecture can learn which states are whether valuable or not independently based on the global-state value, without having to learn the effect of each action for each state, giving more accurate approximation for Q-value. With better state value approximation, the network can achieve higher learning efficiency significantly but without imposing any change to the underlying reinforcement learning algorithm. | |
| キーワード | （和） | システム設計 / 自動設計 / 機械学習 / 強化学習 / / / / |
| （英） | System Design / Design Automation / Machine Learning / Reinforcement Learning / / / / | |
| 文献情報 | 信学技報, vol. 123, no. 307, NS2023-135, pp. 54-59, 2023年12月. | |
| 資料番号 | NS2023-135 | |
| 発行日 | 2023-12-07 (NS) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | NS2023-135 |
|
| 研究会情報 | |
| 研究会 | NS RCS |
| 開催期間 | 2023-12-14 - 2023-12-15 |
| 開催地（和） | 九州工業大学 戸畑キャンパス＋オンライン開催 |
| 開催地（英） | Kyushu Institute of Technology Tobata campus, and Online |
| テーマ（和） | マルチホップ／リレー／協調，耐災害無線ネットワーク，センサ・メッシュネットワーク，アドホックネットワーク，D2D・M2M，無線ネットワークコーディング，ハンドオーバ/AP切替/接続セル制御/基地局間負荷分散/モバイルNW動的再構成，QoS・QoE保証，無線VoIP，IoT，エッジコンピューティング，一般 |
| テーマ（英） | Multi-hop/Relay/Cooperation, Disaster-resistant wireless network, Sensor/Mesh network, Ad-hoc network, D2D/M2M, Wireless network coding, Handover/AP switching/Connected cell control/Load balancing among base stations/Mobile network dynamic reconfiguration, QoS/QoE assurance, Wireless VoIP, IoT, Edge computing, etc. |
| 講演論文情報の詳細 | |
| 申込み研究会 | NS |
| 会議コード | 2023-12-NS-RCS |
| 本文の言語 | 日本語 |
| タイトル（和） | 深層強化学習を用いたICTシステム自動設計のためのDueling Networks構造の適用と評価 |
| サブタイトル（和） | |
| タイトル（英） | Dueling Networks Architecture in the Deep Reinforcement Learning for the Automated ICT System Design |
| サブタイトル（英） | |
| キーワード(1)（和/英） | システム設計 / System Design |
| キーワード(2)（和/英） | 自動設計 / Design Automation |
| キーワード(3)（和/英） | 機械学習 / Machine Learning |
| キーワード(4)（和/英） | 強化学習 / Reinforcement Learning |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | シユウ テンシン / Tianchen Zhou / シユウ テンシン |
| 第1著者 所属（和/英） | 上智大学 (略称： 上智大) Sophia University (略称： Sophia Univ.) |
| 第2著者 氏名（和/英/ヨミ） | 八鍬 豊 / Yutaka Yakuwa / ヤクワ ユタカ |
| 第2著者 所属（和/英） | 日本電気株式会社 (略称： NEC) NEC Corporation (略称： NEC) |
| 第3著者 氏名（和/英/ヨミ） | 岡村 夏希 / Natsuki Okamura / オカムラ ナツキ |
| 第3著者 所属（和/英） | 上智大学 (略称： 上智大) Sophia University (略称： Sophia Univ.) |
| 第4著者 氏名（和/英/ヨミ） | 方違 紘之 / Hiroyuki Hochigai / ホウチガイ ヒロユキ |
| 第4著者 所属（和/英） | 上智大学 (略称： 上智大) Sophia University (略称： Sophia Univ.) |
| 第5著者 氏名（和/英/ヨミ） | 黒田 貴之 / Takayuki Kuroda / クロダ タカユキ |
| 第5著者 所属（和/英） | 日本電気株式会社 (略称： NEC) NEC Corporation (略称： NEC) |
| 第6著者 氏名（和/英/ヨミ） | 矢入 郁子 / Ikuko E. Yairi / ヤイリ イクコ |
| 第6著者 所属（和/英） | 上智大学 (略称： 上智大) Sophia University (略称： Sophia Univ.) |
| 講演者 | 第1著者 |
| 発表日時 | 2023-12-14 16:50:00 |
| 発表時間 | 25分 |
| 申込先研究会 | NS |
| 資料番号 | NS2023-135 |
| 巻番号（vol） | vol.123 |
| 号番号（no） | no.307 |
| ページ範囲 | pp.54-59 |
| ページ数 | 6 |
| 発行日 | 2023-12-07 (NS) |
[研究会発表申込システムのトップページに戻る]