| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2024-05-09 14:15 ［奨励講演］深層強化学習を用いたICTシステム自動設計のためのGNNのDueling Network構造の改良と評価 ○シュウ テンシン（上智大）・八鍬 豊（NEC）・岡村夏希・方違紘之（上智大）・黒田貴之（NEC）・矢入郁子（上智大）  NS2024-16 |
|
| 抄録 | （和） | 筆者らはこれまで，ICTシステム自動設計において，探索する状態空間が膨大で報酬が疎であるという性質により学習効率が上がりにくいという課題に対し，その解決のための有効な深層強化学習改良手法の適用に取り組んできた．本稿は，価値関数の近似で使うグラフニューラルネットワーク構造をグローバル価値とアドバンテージに分解・再構築するDueling Network構造を提案した前回の発表につづき，その改良と評価の結果を報告するものである．具体的な改良点は，GNN にノイズの層を加えた手法であるNoisy NetworkとDueling Networkとを組み合わせた構造を適用したことである．組み合わせに用いた2つの手法は，DQNの最も代表的な6つの改良手法をまとめたRainbowの中でも，ニューラルネットワーク構造の改良に焦点を当てた手法であるという特徴がある．本稿は，これら２つの手法をICTシステム自動設計のためのGNN構造にまとめて適用し，効果の評価を行うとともに，ICTシステム自動設計のためのGNN構造のみにフォーカスした改良の限界についても考察する． |
| （英） | We have been addressing the challenge of low learning efficiency in automated ICT system design with reinforcement learning due to the vast search space and sparse rewards, by applying effective deep reinforcement learning improvement methods. Following our previous proposal of the Dueling Network architecture, which decomposes and reconstructs the graph neural network structure used for action value function approximation into global value and advantage value, this paper reports the results of further improvement and evaluation. Specifically, the improvement involves combining the Noisy Network method, which adds an extra noise layer to the GNN, with the Dueling Network structure. These two methods used in combination are notable for focusing on the improvement of neural network structures among the most representative improvement methods of DQN called Rainbow. This paper applies these two methods to the GNN structure for automatic ICT system design, evaluates their effectiveness, and discusses the limitations of improvements focused solely on the GNN structure for automatic ICT system design. | |
| キーワード | （和） | システム設計 / 自動設計 / 機械学習 / 強化学習 / / / / |
| （英） | System Design / Design Automation / Machine Learning / Reinforcement Learning / / / / | |
| 文献情報 | 信学技報, vol. 124, no. 14, NS2024-16, pp. 17-22, 2024年5月. | |
| 資料番号 | NS2024-16 | |
| 発行日 | 2024-05-02 (NS) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | NS2024-16 |
|
| 研究会情報 | |
| 研究会 | NS |
| 開催期間 | 2024-05-09 - 2024-05-10 |
| 開催地（和） | シンフォニアテクノロジー響ホール伊勢（伊勢市観光文化会館） |
| 開催地（英） | Sinfonia Technology Hibiki Hall Ise |
| テーマ（和） | 高度プロトコル・ネットワーキング技術(IP及び高位レイヤルーチング・フィルタリング，マルチキャスト，品質・経路制御)，IPNWの利用技術(P2P，P4P，オーバレイ，SIP，NGN)，ネットワークシステム関連技術(システム構成法，インタフェース，アーキテクチャ，ハードウェア・ソフトウェア・ミドルウェア)，セキュリティ，ブロックチェーン，一般 |
| テーマ（英） | High level protocol, Networking technologies (IP and high-layer routing/filtering, Multicast, Quality/Routing control), IP network application technologies (P2P, P4P, Overlay, SIP, NGN), Network system related technologies (System configuration, Interface, Architecture, Hardware/Software/Middleware), Security, Blockchain etc. |
| 講演論文情報の詳細 | |
| 申込み研究会 | NS |
| 会議コード | 2024-05-NS |
| 本文の言語 | 日本語 |
| タイトル（和） | 深層強化学習を用いたICTシステム自動設計のためのGNNのDueling Network構造の改良と評価 |
| サブタイトル（和） | |
| タイトル（英） | Improvement on the Dueling Networks Architecture for GNN in the Deep Reinforcement Learning for the Automated ICT System Design |
| サブタイトル（英） | |
| キーワード(1)（和/英） | システム設計 / System Design |
| キーワード(2)（和/英） | 自動設計 / Design Automation |
| キーワード(3)（和/英） | 機械学習 / Machine Learning |
| キーワード(4)（和/英） | 強化学習 / Reinforcement Learning |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | シュウ テンシン / Tianchen Zhou / シュウ テンシン |
| 第1著者 所属（和/英） | 上智大学 (略称： 上智大) Sophia University (略称： Sophia Univ.) |
| 第2著者 氏名（和/英/ヨミ） | 八鍬 豊 / Yutaka Yakuwa / |
| 第2著者 所属（和/英） | 日本電気株式会社 (略称： NEC) NEC (略称： NEC) |
| 第3著者 氏名（和/英/ヨミ） | 岡村 夏希 / Natsuki Okamura / |
| 第3著者 所属（和/英） | 上智大学 (略称： 上智大) Sophia University (略称： Sophia Univ.) |
| 第4著者 氏名（和/英/ヨミ） | 方違 紘之 / Hiroyuki Hochigai / |
| 第4著者 所属（和/英） | 上智大学 (略称： 上智大) Sophia University (略称： Sophia Univ.) |
| 第5著者 氏名（和/英/ヨミ） | 黒田 貴之 / Takayuki Kuroda / |
| 第5著者 所属（和/英） | 日本電気株式会社 (略称： NEC) NEC (略称： NEC) |
| 第6著者 氏名（和/英/ヨミ） | 矢入 郁子 / Ikuko E. Yairi / |
| 第6著者 所属（和/英） | 上智大学 (略称： 上智大) Sophia University (略称： Sophia Univ.) |
| 講演者 | 第1著者 |
| 発表日時 | 2024-05-09 14:15:00 |
| 発表時間 | 25分 |
| 申込先研究会 | NS |
| 資料番号 | NS2024-16 |
| 巻番号（vol） | vol.124 |
| 号番号（no） | no.14 |
| ページ範囲 | pp.17-22 |
| ページ数 | 6 |
| 発行日 | 2024-05-02 (NS) |
[研究会発表申込システムのトップページに戻る]