| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2024-06-07 10:20 生成画像による異なる自然言語処理アーキテクチャの潜在変数空間の検討 ○泉 諒音・神野健哉（東京都市大）  NLP2024-31 CCS2024-18 |
|
| 抄録 | （和） | 近年，自然言語処理（NLP）モデルを中心としたAI技術が急速な進化を遂げている．しかし，これらの技術がどのようにしてその結果を導出しているのかについては，多くがブラックボックス化されており，その動作原理が不透明なままである．この問題に対処するため，我々はモデルによって生成される潜在変数空間についての調査を行ってきた． これまで我々は，Sentence-BERTが生成する潜在変数空間を画像生成モデルを用いて調査を行ってきた．その結果，文章の潜在変数に連続性を持たせて可視化することにより，潜在変数空間の新たな関係性が見えてきた．本稿では，日本語や英語で学習されたGPT-2を用いて，同一のデコーダーを使用した画像生成モデルを構築を行った．このモデルを通じて，自然言語処理モデルのデータセットの違いやアーキテクチャの違いによる潜在変数空間の違いについて検討を行った． 結果として，多くのケースでモデルは類似した結果をうまく出力できた．しかし，複数の要素を含む文章を入力した際は，モデルによって出力結果に顕著な差が見られた．これは，各自然言語処理モデルが特化しているタスクや目指す目標が異なるためであると考えられる．本研究を通じて，自然言語処理モデルの潜在変数空間を解明し，説明可能なAIの実現を目指している． |
| （英） | In recent years, AI technologies, particularly natural language processing (NLP) models, have evolved rapidly. However, much of how these technologies derive their results has been black-boxed, and their operating principles remain opaque. To address this issue, we have been investigating the latent variable space generated by the model. So far, we have investigated the latent variable space generated by Sentence-BERT using an image generation model. As a result, by visualizing the latent variables of sentences with continuity, new relationships in the latent variable space have become apparent. In this paper, we constructed an image generation model using the same decoder with GPT-2 trained in Japanese and English. Through this model, we examined differences in latent variable space due to differences in datasets and architectures of natural language processing models. As a result, the model successfully output similar results in many cases. However, when inputting sentences containing multiple elements, there were marked differences in output results among the models. This may be due to the fact that each natural language processing model specializes in a different task or aims at a different goal. Through this research, we aim to elucidate the latent variable space of natural language processing models and realize explainable AI. |
|
| キーワード | （和） | Sentence-BERT / GPT2 / 潜在変数空間 / 自然言語処理 / 画像生成 / / / |
| （英） | Sentence-BERT / GPT2 / latent variable space / natural language processing / Image Generation / / / | |
| 文献情報 | 信学技報, vol. 124, no. 62, NLP2024-31, pp. 74-77, 2024年6月. | |
| 資料番号 | NLP2024-31 | |
| 発行日 | 2024-05-30 (NLP, CCS) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | NLP2024-31 CCS2024-18 |
|
| 研究会情報 | |
| 研究会 | NLP CCS |
| 開催期間 | 2024-06-06 - 2024-06-07 |
| 開催地（和） | 西日本総合展示場AIM |
| 開催地（英） | West Japan General Exhibition Center AIM |
| テーマ（和） | NLP，CCS，一般 |
| テーマ（英） | Nonlinear Problems, Complex Communication Sciences, etc. |
| 講演論文情報の詳細 | |
| 申込み研究会 | NLP |
| 会議コード | 2024-06-NLP-CCS |
| 本文の言語 | 日本語 |
| タイトル（和） | 生成画像による異なる自然言語処理アーキテクチャの潜在変数空間の検討 |
| サブタイトル（和） | |
| タイトル（英） | Investigating the latent variable space of different natural language processing architectures with generative images |
| サブタイトル（英） | |
| キーワード(1)（和/英） | Sentence-BERT / Sentence-BERT |
| キーワード(2)（和/英） | GPT2 / GPT2 |
| キーワード(3)（和/英） | 潜在変数空間 / latent variable space |
| キーワード(4)（和/英） | 自然言語処理 / natural language processing |
| キーワード(5)（和/英） | 画像生成 / Image Generation |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 泉 諒音 / Masato Izumi / イズミ マサト |
| 第1著者 所属（和/英） | 東京都市大学大学院 (略称： 東京都市大) Tokyo City University Graduate School (略称： Tokyo City Univ) |
| 第2著者 氏名（和/英/ヨミ） | 神野 健哉 / Kenya Jin'no / |
| 第2著者 所属（和/英） | 東京都市大学 (略称： 東京都市大) Tokyo City University (略称： Tokyo City Univ) |
| 講演者 | 第1著者 |
| 発表日時 | 2024-06-07 10:20:00 |
| 発表時間 | 25分 |
| 申込先研究会 | NLP |
| 資料番号 | NLP2024-31, CCS2024-18 |
| 巻番号（vol） | vol.124 |
| 号番号（no） | no.62(NLP), no.63(CCS) |
| ページ範囲 | pp.74-77 |
| ページ数 | 4 |
| 発行日 | 2024-05-30 (NLP, CCS) |
[研究会発表申込システムのトップページに戻る]