| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2022-01-21 11:20 深層学習を用いた脳内における視覚・意味情報の階層的処理の解明へ向けた取り組み ○川﨑春佳（お茶の水女子大）・西田知史（NICT）・小林一郎（お茶の水女子大）  NC2021-32 |
|
| 抄録 | （和） | 本研究では，脳内において視覚情報が意味情報へと変換される階層的処理の解明を目的に，視覚情報を扱う 畳み込みニューラルネットワーク(CNN)と言語情報を扱う言語 NN を用いて，NN の各中間層より抽出した映像の 特徴量から同映像に対する脳活動を予測する符号化モデリングを実施した.そして，符号化モデルによる予測を NN のモダリティと階層性から分析して，大脳皮質上の視覚・意味情報の局在と表現内容の階層的特性を調査した.その 結果，CNN でモデル化される脳内情報は，CNN が高層になるにつれ言語 NN でモデル化される脳内情報の局在に近 づく一方，それら脳内情報の表現内容はモダリティ間で大きく乖離した.したがって，視覚情報は複雑になるにつれ 意味情報と似た脳局在を示すが，情報表現内容には同一脳領域であっても大きな隔たりがあり，CNN と言語 NN によ るモデル化だけではその隔たりを十分に埋められないことが示唆された. |
| （英） | As an objective to explore the neural hierarchical processing underlying the transition from visual to semantic information, this study conducted encoding modeling using convolutional neural network (CNN) and language NN, which handle visual and verbal information, respectively. The encoding model predicted brain activity, evoked by movies, from the features of the movies extracted from each NN layer. By analyzing encoding models’ prediction in terms of the modality and hierarchy of the NNs, we investigated the cortical localization and representational content of visual and semantic neural information from the aspect of hierarchical processing. We found that the encoding models for the CNN higher layers and those for the language NN explained neural information in similar cortical regions but captured highly different representational content. Our finding suggests that although visual and semantic information shows more similar cortical localization as the visual information gets more complicated, the representational content of these information has a substantial gap, even in the same cortical region, which cannot be sufficiently bridged by the modeling with CNNs and language NNs alone. | |
| キーワード | （和） | 脳活動 / 階層的処理 / CNN / BERT / fMRI / Representational similarity analysis / / |
| （英） | Brain activity / Hierachial processing / CNN / BERT / fMRI / Representational similarity analysis / / | |
| 文献情報 | 信学技報, vol. 121, no. 338, NC2021-32, pp. 7-12, 2022年1月. | |
| 資料番号 | NC2021-32 | |
| 発行日 | 2022-01-14 (NC) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | NC2021-32 |
|
| 研究会情報 | |
| 研究会 | NLP MICT MBE NC |
| 開催期間 | 2022-01-21 - 2022-01-23 |
| 開催地（和） | オンライン開催 |
| 開催地（英） | Online |
| テーマ（和） | NC, ME，MICT，NLP, 一般 |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | NC |
| 会議コード | 2022-01-NLP-MICT-MBE-NC |
| 本文の言語 | 日本語 |
| タイトル（和） | 深層学習を用いた脳内における視覚・意味情報の階層的処理の解明へ向けた取り組み |
| サブタイトル（和） | |
| タイトル（英） | A Study on Elucidating Hierarchical Neural Processing of Visual and Semantic Information using Deep Learning |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 脳活動 / Brain activity |
| キーワード(2)（和/英） | 階層的処理 / Hierachial processing |
| キーワード(3)（和/英） | CNN / CNN |
| キーワード(4)（和/英） | BERT / BERT |
| キーワード(5)（和/英） | fMRI / fMRI |
| キーワード(6)（和/英） | Representational similarity analysis / Representational similarity analysis |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 川﨑 春佳 / Haruka Kawasaki / カワサキ ハルカ |
| 第1著者 所属（和/英） | お茶の水女子大学 (略称： お茶の水女子大) Ochanomizu University (略称： Ochadai) |
| 第2著者 氏名（和/英/ヨミ） | 西田 知史 / Satoshi Nishida / ニシダ サトシ |
| 第2著者 所属（和/英） | 情報通信研究機構 (略称： NICT) National Institute of Information and Communications Technology (略称： NICT) |
| 第3著者 氏名（和/英/ヨミ） | 小林 一郎 / Ichiro Kobayashi / コバヤシ イチロウ |
| 第3著者 所属（和/英） | お茶の水女子大学 (略称： お茶の水女子大) Ochanomizu University (略称： Ochadai) |
| 講演者 | 第1著者 |
| 発表日時 | 2022-01-21 11:20:00 |
| 発表時間 | 25分 |
| 申込先研究会 | NC |
| 資料番号 | NC2021-32 |
| 巻番号（vol） | vol.121 |
| 号番号（no） | no.338 |
| ページ範囲 | pp.7-12 |
| ページ数 | 6 |
| 発行日 | 2022-01-14 (NC) |
[研究会発表申込システムのトップページに戻る]