| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2026-01-08 15:10 Certified Actor Critic法における勾配の簡易計算法 ○佐藤達志・潮 俊光（南山大）  MSS2025-43 |
|
| 抄録 | （和） | システムの振る舞いが状態空間上で指定された安全領域の中に留まり続けるという制御仕様を安全仕様という．安全仕様を満たしつつシステムを安定化する制御法を学習する方法にcertified actor critic(CAC)がある．この方法では，最初に安全仕様を満たすように強化学習を行い，その後，安全仕様と安定化に対して個別にcriticネットワークを使って評価し，その評価をもとにactorの更新を行う．このとき，各criticネットワークに対応する勾配からactorの更新に用いる勾配を最適化問題に帰着して決定している．本報告では，この勾配の簡易計算法を３つ提案し，シミュレーションによりその学習能力を検討する． |
| （英） | A control specification that requires the system's behavior to remain within a designated safe region in the state space is referred to as a safety specification. One method for learning a control policy that stabilizes the system while satisfying the safety specification is the Certified Actor-Critic (CAC) approach. In this method, reinforcement learning is first conducted to satisfy the safety specification. Then, separate critic networks are used to evaluate the satisfaction of the safety specification and the stabilization performance, respectively. Based on these evaluations, the actor is updated. At this stage, the gradient used to update the actor is determined by formulating an optimization problem that combines the gradients from each critic network. In this report, we propose three simplified methods for calculating this gradient and investigate their learning performance by simulation. | |
| キーワード | （和） | 深層強化学習 / SAC / 安全 / 制御バリア関数 / / / / |
| （英） | deep reinforcement learning / SAC / safety / control barrier function / / / / | |
| 文献情報 | 信学技報, vol. 125, no. 310, MSS2025-43, pp. 55-59, 2026年1月. | |
| 資料番号 | MSS2025-43 | |
| 発行日 | 2026-01-01 (MSS) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | MSS2025-43 |
|
| 研究会情報 | |
| 研究会 | MSS |
| 開催期間 | 2026-01-08 - 2026-01-08 |
| 開催地（和） | オンライン開催 |
| 開催地（英） | Online |
| テーマ（和） | システム数理と応用，一般，およびWIP |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | MSS |
| 会議コード | 2026-01-MSS |
| 本文の言語 | 日本語 |
| タイトル（和） | Certified Actor Critic法における勾配の簡易計算法 |
| サブタイトル（和） | |
| タイトル（英） | A Simple Calculation of Gradients for Certified Actor Critic |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 深層強化学習 / deep reinforcement learning |
| キーワード(2)（和/英） | SAC / SAC |
| キーワード(3)（和/英） | 安全 / safety |
| キーワード(4)（和/英） | 制御バリア関数 / control barrier function |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 佐藤 達志 / Tatsuji Sato / サトウ タツジ |
| 第1著者 所属（和/英） | 南山大学 (略称： 南山大) Nanzan University (略称： Nanzan Univ.) |
| 第2著者 氏名（和/英/ヨミ） | 潮 俊光 / Toshimitsu Ushio / ウシオ トシミツ |
| 第2著者 所属（和/英） | 南山大学 (略称： 南山大) Nanzan University (略称： Nanzan Univ.) |
| 講演者 | 第1著者 |
| 発表日時 | 2026-01-08 15:10:00 |
| 発表時間 | 25分 |
| 申込先研究会 | MSS |
| 資料番号 | MSS2025-43 |
| 巻番号（vol） | vol.125 |
| 号番号（no） | no.310 |
| ページ範囲 | pp.55-59 |
| ページ数 | 5 |
| 発行日 | 2026-01-01 (MSS) |
[研究会発表申込システムのトップページに戻る]