| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2024-09-12 09:25 体系的推論における言語モデルの内部挙動の分析 ○井上綾介・宮森 恒（京都産大）  DE2024-6 |
|
| 抄録 | （和） | 近年, 言語モデルは人間のような流暢な言語生成能力を示している一方で, 論理的な推論に関しては依然として未知の問題に汎化することが困難である. そこで本研究では, 言語の体系性に着想を得て, 言語モデルの汎化を目指す上で重要な要素を探るために命題論理に基づくデータセットを構築し, それを用いて言語モデルの内部挙動を分析する. 具体的には, 異なる形状の命題に対して汎化できるモデルとそうでないモデルの各ニューロンの活性化度合いを比較し, 言語モデルの命題論理における体系性を担っていると考えられる箇所を特定する. 実験では，パラメータ数の異なるデコーダモデルに対して分析し, その内部挙動を明らかにする． 本研究により, 言語モデルの分布外汎化を実現するための知見が得られることが期待される. |
| （英） | Large Language Models have achieved remarkable advancements in natural language processing tasks such as language generation and translation recently. On the other hand, their ability to solve unseen logical inference problems is still limited, and it is unclear which parts of the models have the capability to store acquired knowledge and skills to generalize. In this paper, we draw inspiration from the systematicity of language to explore crucial elements for generalizing language models. To this end, we utilize a propositional logic dataset to analyze the internal behavior of language models. Specifically, we compare the activation of neurons in models that can generalize to different forms of propositions with those that cannot, identifying areas believed to be responsible for the systematicity of propositional logic within the language model. | |
| キーワード | （和） | 言語モデル / 汎化能力 / 体系性 / 命題論理 / 推論 / / / |
| （英） | Language model / Generalization / Systematicity / Propositional logic / Inference / / / | |
| 文献情報 | 信学技報, vol. 124, no. 185, DE2024-6, pp. 13-18, 2024年9月. | |
| 資料番号 | DE2024-6 | |
| 発行日 | 2024-09-04 (DE) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | DE2024-6 |
|
| 研究会情報 | |
| 研究会 | DE IPSJ-DBS IPSJ-IFAT |
| 開催期間 | 2024-09-11 - 2024-09-12 |
| 開催地（和） | 淡路夢舞台 |
| 開催地（英） | Awaji Yumebutai |
| テーマ（和） | ビッグデータを対象とした管理・情報検索・知識獲得および一般 |
| テーマ（英） | Bigdata management, information retrieval, knowledge discovery, etc. |
| 講演論文情報の詳細 | |
| 申込み研究会 | DE |
| 会議コード | 2024-09-DE-DBS-IFAT |
| 本文の言語 | 日本語 |
| タイトル（和） | 体系的推論における言語モデルの内部挙動の分析 |
| サブタイトル（和） | |
| タイトル（英） | Analysis of the internal behavior of language models in systematic reasoning |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 言語モデル / Language model |
| キーワード(2)（和/英） | 汎化能力 / Generalization |
| キーワード(3)（和/英） | 体系性 / Systematicity |
| キーワード(4)（和/英） | 命題論理 / Propositional logic |
| キーワード(5)（和/英） | 推論 / Inference |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 井上 綾介 / Ryosuke Inoue / イノウエ リョウスケ |
| 第1著者 所属（和/英） | 京都産業大学 (略称： 京都産大) Kyoto Sangyo University (略称： Kyoto Sangyo Univ.) |
| 第2著者 氏名（和/英/ヨミ） | 宮森 恒 / Hisashi Miyamori / |
| 第2著者 所属（和/英） | 京都産業大学 (略称： 京都産大) Kyoto Sangyo University (略称： Kyoto Sangyo Univ.) |
| 講演者 | 第1著者 |
| 発表日時 | 2024-09-12 09:25:00 |
| 発表時間 | 25分 |
| 申込先研究会 | DE |
| 資料番号 | DE2024-6 |
| 巻番号（vol） | vol.124 |
| 号番号（no） | no.185 |
| ページ範囲 | pp.13-18 |
| ページ数 | 6 |
| 発行日 | 2024-09-04 (DE) |
[研究会発表申込システムのトップページに戻る]