| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2009-03-12 16:05 不確実な報酬予測におけるドーパミン活動の計算論的モデル ○朝比奈亜貴代（奈良先端大/京大）・平山淳一郎（京大）・石井 信（京大/奈良先端大）  NC2008-148 |
|
| 抄録 | （和） | 動物にとって，不確かな環境で生存するためには，未来に与えられる報酬をできるだけ正確に予測することが重要である．霊長類の中脳にあるドーパミン作動性(DA)細胞は，報酬予測に関与し，学習や運動制御にも関わることから多くの生理学的，計算論的研究がなされている．計算論的には，DA細胞の活動は，強化学習におけるTD誤差を表現するという仮説が提案されている．しかし近年，確率的報酬課題におけるDA細胞の活動頻度が，実際の報酬を得る時刻に向けてなだらかに増加することが報告されており，これは単純なTDモデルでは一見説明できないことから，議論を呼んでいる． 本研究では，確率的報酬課題に内在する不確かさに着目し，DA細胞の予測的な活動度上昇を説明できる計算論的モデルを提案する． 計算機実験により，確率的定式化によって定義された期待誤差が，報酬待ち時刻のDA細胞の活動をより良く説明できることと，さらに単試行の結果をも再現できることを示す． |
| （英） | In order for animals to behave effectively in their surrounding uncertain environments, it is essentially important to predict future outcomes as accurately as possible. Dopaminergic (DA) neurons in the primate midbrain have been known to be involved in the brain's reward system and in many brain functions including learning and motor control, and therefore many physiological and computational studies have investigated the role of DA neurons. From a computational perspective, phasic activities of DA neurons have been considered as representing temporal difference (TD) errors, a learning signal in reinforcement learning. Recently, however, several studies have reported that, in stochastic reward tasks, the DA activities gradually increase before receiving actual rewards, which cannot be well explained by the simple TD model. In this study, we propose an alternative model based on a probabilistic formulation of the stochastic reward task to explain the predictive increase of DA activities. In simulation experiments, expectation errors defined by the probabilistic modeling, well described the gradually increasing DA activities during a wait period even in a single trial. |
|
| キーワード | （和） | ドーパミン細胞 / 確率的報酬課題 / 強化学習 / TD誤差 / 不確実性 / / / |
| （英） | dopamine neurons / stochastic reward task / reinforcement learning / temporal difference errors / uncertainty / / / | |
| 文献情報 | 信学技報, vol. 108, no. 480, NC2008-148, pp. 267-271, 2009年3月. | |
| 資料番号 | NC2008-148 | |
| 発行日 | 2009-03-04 (NC) | |
| ISSN | Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | NC2008-148 |
|
| 研究会情報 | |
| 研究会 | NC MBE |
| 開催期間 | 2009-03-11 - 2009-03-13 |
| 開催地（和） | 玉川大学 |
| 開催地（英） | Tamagawa Univ. |
| テーマ（和） | 一般 |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | NC |
| 会議コード | 2009-03-NC-MBE |
| 本文の言語 | 日本語 |
| タイトル（和） | 不確実な報酬予測におけるドーパミン活動の計算論的モデル |
| サブタイトル（和） | |
| タイトル（英） | A computational model for dopamine activities in uncertain reward prediction |
| サブタイトル（英） | |
| キーワード(1)（和/英） | ドーパミン細胞 / dopamine neurons |
| キーワード(2)（和/英） | 確率的報酬課題 / stochastic reward task |
| キーワード(3)（和/英） | 強化学習 / reinforcement learning |
| キーワード(4)（和/英） | TD誤差 / temporal difference errors |
| キーワード(5)（和/英） | 不確実性 / uncertainty |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 朝比奈 亜貴代 / Akiyo Asahina / アサヒナ アキヨ |
| 第1著者 所属（和/英） | 奈良先端科学技術大学院大学/京都大学 (略称： 奈良先端大/京大) Nara Institute of Science and Technology/Kyoto University (略称： Nara Inst. of Sci and Tech/Kyoto Univ.) |
| 第2著者 氏名（和/英/ヨミ） | 平山 淳一郎 / Jun-ichiro Hirayama / ヒラヤマ ジュンイチロウ |
| 第2著者 所属（和/英） | 京都大学 (略称： 京大) Kyoto University (略称： Kyoto Univ.) |
| 第3著者 氏名（和/英/ヨミ） | 石井 信 / Shin Ishii / イシイ シン |
| 第3著者 所属（和/英） | 京都大学/奈良先端科学技術大学院大学 (略称： 京大/奈良先端大) Kyoto University/Nara Institute of Science and Technology (略称： Kyoto Univ./Nara Inst. of Sci and Tech) |
| 講演者 | 第1著者 |
| 発表日時 | 2009-03-12 16:05:00 |
| 発表時間 | 25分 |
| 申込先研究会 | NC |
| 資料番号 | NC2008-148 |
| 巻番号（vol） | vol.108 |
| 号番号（no） | no.480 |
| ページ範囲 | pp.267-271 |
| ページ数 | 5 |
| 発行日 | 2009-03-04 (NC) |
[研究会発表申込システムのトップページに戻る]