| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2026-07-02 15:00 目的指向状態縮約による簡潔で効果的な戦略学習 ○高橋春輝（工学院大）・深井朋樹（沖縄科技大）・酒井 裕（玉川大）・竹川高志（工学院大）  NC2026-4 IBISML2026-4 |
|
| 抄録 | （和） | 強化学習のモデルベースエージェントは一般に部分観測マルコフ決定過程 (Partially Observable Markov Decision Process; POMDP) を仮定し，学習した遷移則と観測の相関法則に基づき履歴から隠れ状態を推定することで報酬を予測する．しかし，状態の定義が未知の環境では，エージェントは自身の目的に即した状態空間を自己組織化する必要がある． 従来のベイズ推論に基づく学習は「観測予測の正確さ」を状態の評価基準とするため，冗長情報を含む環境 (Redundantly Observable MDP; ROMDP) では不要な詳細を表現する状態が爆発的に増加し，遷移則の学習に必要な「手がかり密度（Clue Density）」が分散して効率が低下する課題があった． 筆者らは，報酬予測に不可欠な最小状態空間「コア」を近似抽出する目的指向型環境推定（Goal-Oriented Environment Inference; GOEI）を提案してきた．本発表では，エピソディックな環境特性を利用して変分推論の誤差蓄積を緩和し，GOEIを大規模かつ汎用的なタスクへ適用可能にする手法を紹介する．具体的には対戦カードゲームGoofspielを題材に，複雑なナッシュ均衡戦略を極めて少数の状態で効果的に近似できることを示し，その実用性と発展性を論じる． |
| （英） | Model-based reinforcement learning agents typically assume a Partially Observable Markov Decision Process (POMDP), predicting rewards based on hidden states inferred through learned transition and observation models. In environments with unknown state definitions, agents must self-organize representations suitable for their specific goals. Conventional observation-prediction approaches suffer from state explosion in Redundantly Observable MDP (ROMDP) environments, which disperses the "clue density" required to learn environmental dynamics efficiently. To address this, we have developed Goal-Oriented Environment Inference (GOEI), which identifies the "core", the minimal state space necessary for reward prediction. This presentation introduces a generalized GOEI framework that scales to large-scale tasks by leveraging episodic properties to mitigate the accumulation of variational inference errors. Using the game of Goofspiel as a benchmark, we demonstrate that complex Nash equilibrium strategies can be effectively approximated with remarkably few states, showcasing the scalability and potential of this goal-oriented representation learning approach. | |
| キーワード | （和） | 目的指向環境推定 / 状態抽象化 / 冗長観測MDP / 不完全情報ゲーム / エピソディック強化学習 / / / |
| （英） | Goal-Oriented Environment Inference / State abstraction / Redundantly Observable MDP / Imperfect-information games / Episodic reinforcement learning / / / | |
| 文献情報 | 信学技報, vol. 126, no. 90, NC2026-4, pp. 17-17, 2026年7月. | |
| 資料番号 | NC2026-4 | |
| 発行日 | 2026-06-25 (NC, IBISML) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | NC2026-4 IBISML2026-4 |
|
| 研究会情報 | |
| 研究会 | NC IBISML IPSJ-BIO IPSJ-MPS |
| 開催期間 | 2026-07-01 - 2026-07-03 |
| 開催地（和） | 沖縄科学技術大学院大学 |
| 開催地（英） | OIST |
| テーマ（和） | 機械学習、一般 |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | NC |
| 会議コード | 2026-07-NC-IBISML-BIO-MPS |
| 本文の言語 | 日本語 |
| タイトル（和） | 目的指向状態縮約による簡潔で効果的な戦略学習 |
| サブタイトル（和） | |
| タイトル（英） | Concise and Effective Strategy Learning via Goal-Oriented State Reduction |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 目的指向環境推定 / Goal-Oriented Environment Inference |
| キーワード(2)（和/英） | 状態抽象化 / State abstraction |
| キーワード(3)（和/英） | 冗長観測MDP / Redundantly Observable MDP |
| キーワード(4)（和/英） | 不完全情報ゲーム / Imperfect-information games |
| キーワード(5)（和/英） | エピソディック強化学習 / Episodic reinforcement learning |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 高橋 春輝 / Kazuki Takahashi / タカハシ カズキ |
| 第1著者 所属（和/英） | 工学院大学 (略称： 工学院大) Kogakuin University of Technology and Engineering (略称： Kogakuin Univ.) |
| 第2著者 氏名（和/英/ヨミ） | 深井 朋樹 / Tomoki Fukai / フカイ トモキ |
| 第2著者 所属（和/英） | 沖縄科学技術大学院大学 (略称： 沖縄科技大) Okinawa Institute of Science and Technology (略称： OIST) |
| 第3著者 氏名（和/英/ヨミ） | 酒井 裕 / Yutaka Sakai / |
| 第3著者 所属（和/英） | 玉川大学 (略称： 玉川大) Tamagawa University (略称： Tamagawa Univ.) |
| 第4著者 氏名（和/英/ヨミ） | 竹川 高志 / Takashi Takekawa / |
| 第4著者 所属（和/英） | 工学院大学 (略称： 工学院大) Kogakuin University of Technology and Engineering (略称： Kogakuin Univ.) |
| 講演者 | 第1著者 |
| 発表日時 | 2026-07-02 15:00:00 |
| 発表時間 | 25分 |
| 申込先研究会 | NC |
| 資料番号 | NC2026-4, IBISML2026-4 |
| 巻番号（vol） | vol.126 |
| 号番号（no） | no.90(NC), no.91(IBISML) |
| ページ範囲 | p.17 |
| ページ数 | 1 |
| 発行日 | 2026-06-25 (NC, IBISML) |
[研究会発表申込システムのトップページに戻る]