| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2016-11-17 14:00 ［ポスター講演］Multimodal Deep Neural Networks分析の試み ～ モダリティ統合機構の解明に向けて ～ ○本武陽一・池上高志（東大）  IBISML2016-97 |
|
| 抄録 | （和） | 近年の情報技術の急速な発展に応じて，画像やテキスト，音声といった性質の異なるモダリティの情報を統合して文章生成などを行う機械学習機が実用化されつつある．一方で，我々のモダリティ統合メカニズムそのものに対する知見はまだ十分にあるとは言い難い．本研究の目的は，近年急速にその学習アルゴリズムが発展してきたMultimodal Deep Neural Networksの内部状態の分析を通してこれを探ることである．具体的には，データセットが多様体仮説に基づく構造を持つという仮定のもと，Deep Neural Networksの写像関数から多様体の接空間を算出し，DNN内部でその幾何構造がどのように変換されているかを算出した．この分析の結果，対象としたMultimodal Deep Neural Networksがデータセットの分布の持つ多様体構造を大域的座標系へ写像する機能を持つこと，及び，それがモダリティの統合後に行われていることが示唆された． |
| （英） | With the rapid development of information technology in recent years, several machine learning algorithms that integrate some information which have different modalities such as images, texts, and sounds for generating sentences and any other have been put to practical use. On the other hand, little is known about the mechanisms by which our modalities are integrated. The purpose of this study is to explore the mechanisms through the analysis of the internal state of Multimodal Deep Neural Networks(DNNs) whose learning algorithms are rapidly developed in recent years. First, we assumed that datasets have structures based on the manifold hypothesis, and then computed the manifolds' tangent spaces from the mapping function of DNNs. Finally, we calculated how the geometric structures were converted inside the DNNs. The result of the analysis suggested that Multimodal DNNs have functions to map manifold structures of the distribution of datasets to a global coordinate system, and that is processed after the integration of the modalities. |
|
| キーワード | （和） | Multimodal Deep Learning / 多様体仮説 / / / / / / |
| （英） | Multimodal Deep Learning / Manifold Hypothesis / / / / / / | |
| 文献情報 | 信学技報, vol. 116, no. 300, IBISML2016-97, pp. 369-373, 2016年11月. | |
| 資料番号 | IBISML2016-97 | |
| 発行日 | 2016-11-09 (IBISML) | |
| ISSN | Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | IBISML2016-97 |
|
| 研究会情報 | |
| 研究会 | IBISML |
| 開催期間 | 2016-11-16 - 2016-11-18 |
| 開催地（和） | 京都大学 |
| 開催地（英） | Kyoto Univ. |
| テーマ（和） | 情報論的学習理論ワークショップ(IBIS2016) |
| テーマ（英） | Information-Based Induction Science Workshop (IBIS2016) |
| 講演論文情報の詳細 | |
| 申込み研究会 | IBISML |
| 会議コード | 2016-11-IBISML |
| 本文の言語 | 日本語 |
| タイトル（和） | Multimodal Deep Neural Networks分析の試み |
| サブタイトル（和） | モダリティ統合機構の解明に向けて |
| タイトル（英） | Analysis of Multimodal Deep Neural Networks |
| サブタイトル（英） | Towards the elucidation of the modality integration mechanism |
| キーワード(1)（和/英） | Multimodal Deep Learning / Multimodal Deep Learning |
| キーワード(2)（和/英） | 多様体仮説 / Manifold Hypothesis |
| キーワード(3)（和/英） | / |
| キーワード(4)（和/英） | / |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 本武 陽一 / Yoh-ichi Mototake / モトタケ ヨウイチ |
| 第1著者 所属（和/英） | 東京大学 (略称： 東大) University of Tokyo (略称： unit of Tokyo) |
| 第2著者 氏名（和/英/ヨミ） | 池上 高志 / Takashi Ikegami / |
| 第2著者 所属（和/英） | 東京大学 (略称： 東大) University of Tokyo (略称： unit of Tokyo) |
| 講演者 | 第1著者 |
| 発表日時 | 2016-11-17 14:00:00 |
| 発表時間 | 180分 |
| 申込先研究会 | IBISML |
| 資料番号 | IBISML2016-97 |
| 巻番号（vol） | vol.116 |
| 号番号（no） | no.300 |
| ページ範囲 | pp.369-373 |
| ページ数 | 5 |
| 発行日 | 2016-11-09 (IBISML) |
[研究会発表申込システムのトップページに戻る]