| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2026-09-16 11:00 印象評定予測によるLLMの日本語比喩理解能力評価 ○加藤真輝・古宮嘉那子（東京農工大）・加藤 祥（北大）・宇野良子（東京農工大）・浅原正幸（国立国語研）  NLC2026-10 |
|
| 抄録 | （和） | 比喩表現は日常会話や文学など幅広い場面で用いられる重要な表現である．本研究では，結合比喩と指標比喩を対象に，大規模言語モデル（LLM）由来の埋め込み表現と回帰器を組み合わせ，一般話者による印象評定を予測するモデルを学習して性能を比較する．本稿でいう理解能力は，予測値と人手評定との相関が示す限定的な対応を指す．5分割交差検証と対応のある置換検定の結果，結合比喩では，2つのデータのいずれにおいても，自然さ・わかりやすさについて，ModernBERT-jaを用いる予測モデルの相関が，text-embedding-3-largeを用いる予測モデルの相関より有意に高かった．また，相関係数の記述的比較では，複数の実験設定で自然さ・わかりやすさが古さ・新しさ・比喩性を上回った．これらの分析は，印象評定予測の性能が，評定項目，予測モデル，データ出典などによって異なり，比喩の多様な側面に関する理解難易度の差を示唆する． |
| （英） | Figurative expressions are important in everyday communication and literature. We train and compare models combining LLM-derived embeddings with regressors to predict general speakers' impression ratings of Japanese word-level metaphors and similes. Here, comprehension denotes only the correlation between predictions and human ratings. Five-fold cross-validation with paired permutation tests showed that, for naturalness and understandability, prediction models using ModernBERT-ja achieved significantly higher correlations than those using text-embedding-3-large on both word-level metaphor datasets. Descriptively, these correlations exceeded those for obsoleteness, innovativeness, and figurativeness in multiple experimental settings. These analyses indicate that prediction performance varies by rating dimension, model, and data source, suggesting differences in the difficulty of understanding diverse aspects of figurative language. | |
| キーワード | （和） | 大規模言語モデル / 日本語比喩 / 結合比喩 / 指標比喩 / 印象評定予測 / / / |
| （英） | Large Language Model / Japanese figurative language / word-level metaphor / simile / impression rating prediction / / / | |
| 文献情報 | 信学技報, vol. 126, no. 176, NLC2026-10, pp. 53-58, 2026年9月. | |
| 資料番号 | NLC2026-10 | |
| 発行日 | 2026-09-07 (NLC) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | NLC2026-10 |
|
| 研究会情報 | |
| 研究会 | NLC IPSJ-NL |
| 開催期間 | 2026-09-14 - 2026-09-16 |
| 開催地（和） | 北海道新聞帯広支社会議室 |
| 開催地（英） | Hokkaido-Shinbun Obihiro Branch Office Conference Room |
| テーマ（和） | 第23回テキストマイニング・シンポジウム |
| テーマ（英） | The 23rd Text Mining Symposium |
| 講演論文情報の詳細 | |
| 申込み研究会 | NLC |
| 会議コード | 2026-09-NLC-NL |
| 本文の言語 | 日本語 |
| タイトル（和） | 印象評定予測によるLLMの日本語比喩理解能力評価 |
| サブタイトル（和） | |
| タイトル（英） | Assessing LLMs' Metaphor Comprehension through Impression Rating Prediction |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 大規模言語モデル / Large Language Model |
| キーワード(2)（和/英） | 日本語比喩 / Japanese figurative language |
| キーワード(3)（和/英） | 結合比喩 / word-level metaphor |
| キーワード(4)（和/英） | 指標比喩 / simile |
| キーワード(5)（和/英） | 印象評定予測 / impression rating prediction |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 加藤 真輝 / Kato Masaki / カトウ マサキ |
| 第1著者 所属（和/英） | 東京農工大学 (略称： 東京農工大) Tokyo University of Agriculture and Technology (略称： TUAT) |
| 第2著者 氏名（和/英/ヨミ） | 古宮 嘉那子 / Kanako Komiya / コミヤ カナコ |
| 第2著者 所属（和/英） | 東京農工大学 (略称： 東京農工大) Tokyo University of Agriculture and Technology (略称： TUAT) |
| 第3著者 氏名（和/英/ヨミ） | 加藤 祥 / Kato Sachi / カトウ サチ |
| 第3著者 所属（和/英） | 北海道大学 (略称： 北大) Hokkaido University (略称： HU) |
| 第4著者 氏名（和/英/ヨミ） | 宇野 良子 / Uno Ryoko / ウノ リョウコ |
| 第4著者 所属（和/英） | 東京農工大学 (略称： 東京農工大) Tokyo University of Agriculture and Technology (略称： TUAT) |
| 第5著者 氏名（和/英/ヨミ） | 浅原 正幸 / Asahara Masayuki / |
| 第5著者 所属（和/英） | 国立国語研究所 (略称： 国立国語研) National Institute for Japanese Language and Linguistics (略称： NINJAL) |
| 講演者 | 第1著者 |
| 発表日時 | 2026-09-16 11:00:00 |
| 発表時間 | 30分 |
| 申込先研究会 | NLC |
| 資料番号 | NLC2026-10 |
| 巻番号（vol） | vol.126 |
| 号番号（no） | no.176 |
| ページ範囲 | pp.53-58 |
| ページ数 | 6 |
| 発行日 | 2026-09-07 (NLC) |
[研究会発表申込システムのトップページに戻る] (日本語ページの行間係数: 1)