| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2022-06-09 13:50 PPOにおける対称な制約条件の適用による学習性能の改善 ○岩谷尚輝・中野秀洋（東京都市大）  NLP2022-3 CCS2022-3 |
|
| 抄録 | （和） | 深層強化学習は経験から最適行動を学習するアルゴリズムである。その一種であるProximal Policy Optimization KL Penalty (PPO-KL Penalty)は学習時間の短縮のために、KL制約を用いて大きな更新を抑制し、誤った学習を防ぐ特徴がある。しかし、KL制約は非対称であるため、学習が不安定になる現象が起きる。本研究では対称性のある制約を用いることで学習の安定性向上を図り、学習効率の改善を目指す。 |
| （英） | Deep Reinforcement Learning (DRL) is an algorithm of learning the optimal action from the experiences. PPO KL Penalty, a kind of DRL, features suppressing the large update values by KL constraint and preventing wrong recognition, and can save the learning time. However, PPO KL Penalty is unstable because KL divergence has asymmetrical characteristics. This research aims to apply symmetrical constraint to increase learning stability and efficiency. | |
| キーワード | （和） | 深層強化学習 / 方策勾配法 / PPO / / / / / |
| （英） | Deep Reinforcement Learning / Policy gradient method / PPO / / / / / | |
| 文献情報 | 信学技報, vol. 122, no. 66, CCS2022-3, pp. 13-16, 2022年6月. | |
| 資料番号 | CCS2022-3 | |
| 発行日 | 2022-06-02 (NLP, CCS) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | NLP2022-3 CCS2022-3 |
|
| 研究会情報 | |
| 研究会 | CCS NLP |
| 開催期間 | 2022-06-09 - 2022-06-10 |
| 開催地（和） | 大阪大学 豊中キャンパス シグマホール |
| 開催地（英） | |
| テーマ（和） | 一般 |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | CCS |
| 会議コード | 2022-06-CCS-NLP |
| 本文の言語 | 日本語 |
| タイトル（和） | PPOにおける対称な制約条件の適用による学習性能の改善 |
| サブタイトル（和） | |
| タイトル（英） | Improvement of Learning Performance by Using a Symmetric Constraint Condition in PPO |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 深層強化学習 / Deep Reinforcement Learning |
| キーワード(2)（和/英） | 方策勾配法 / Policy gradient method |
| キーワード(3)（和/英） | PPO / PPO |
| キーワード(4)（和/英） | / |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 岩谷 尚輝 / Naoki Iwaya / イワヤ ナオキ |
| 第1著者 所属（和/英） | 東京都市大学 (略称： 東京都市大) Tokyo City University (略称： Tokyo City Univ.) |
| 第2著者 氏名（和/英/ヨミ） | 中野 秀洋 / Hidehiro Nakano / ナカノ ヒデヒロ |
| 第2著者 所属（和/英） | 東京都市大学 (略称： 東京都市大) Tokyo City University (略称： Tokyo City Univ.) |
| 講演者 | 第1著者 |
| 発表日時 | 2022-06-09 13:50:00 |
| 発表時間 | 25分 |
| 申込先研究会 | CCS |
| 資料番号 | NLP2022-3, CCS2022-3 |
| 巻番号（vol） | vol.122 |
| 号番号（no） | no.65(NLP), no.66(CCS) |
| ページ範囲 | pp.13-16 |
| ページ数 | 4 |
| 発行日 | 2022-06-02 (NLP, CCS) |
[研究会発表申込システムのトップページに戻る]