| 講演抄録/キーワード |
| 講演名 |
2024-12-16 14:30
大規模言語モデルによる五感表現の適合性評価の比較 ○小池 充(関西学院大)・橋本 翔(西南学院大)・張 帆・都賀美有紀(関西学院大)・山﨑陽一(長崎県立大)・長田典子(関西学院大) HIP2024-55 |
| 抄録 |
(和) |
本研究では, 大規模言語モデル(LLM)によって感性評価を代替する目的で,五感に関する評価表現の適合性評価と評価語間の距離測定をLLMで行った. 視覚, 聴覚, 嗅覚の3つの感覚について主観評価の結果とLLMによる評価値を比較し, また触覚, 味覚を加えた五感すべての適合性評価のLLMによる評価値を感覚別で比較して, LLMによる適合性評価の特性を明らかにした. また, 聴覚において音色の評価表現の階層構造を再現する目的で, 4つの尺度(1)具体 - 抽象,(2)単純 - 複雑, (3)客観 - 主観, (4)想起が困難 – 想起が容易,による語間の距離測定をLLMで行い, 評価表現の階層構造を推定した.これらの結果から,一部の感覚ではLLM評価の代替可能性が示された. |
| (英) |
In this study, for the purpose of alternative evaluation of sensibility by a large-scale language model (LLM), we evaluated the conformity of evaluation expressions related to the five senses and measured the distance between evaluation words by the LLM. We compared the results of subjective evaluations of three senses (sight, hearing, and smell) with the values evaluated by LLM, and also compared the values evaluated by LLM for all five senses including touch and taste, to clarify the characteristics of conformity evaluation by LLM for each sense. In addition, in order to reproduce the hierarchical structure of auditory evaluation of tones, we measured the distance between words on four scales (1) concrete - abstract, (2) simple - complex, (3) objective - subjective, and (4) difficult to recall - easy to recall, using LLM to estimate the hierarchical structure of evaluation expressions. These results indicate the possibility of using LLM evaluation for some senses. |
| キーワード |
(和) |
大規模言語モデル / GPT4o / LLM as a judge / 主観評価 / / / / |
| (英) |
Large Language Models / GPT4o / LLM as a judge / Human evaluation / / / / |
| 文献情報 |
信学技報, vol. 124, no. 309, HIP2024-55, pp. 18-23, 2024年12月. |
| 資料番号 |
HIP2024-55 |
| 発行日 |
2024-12-09 (HIP) |
| ISSN |
Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
査読に ついて |
本技術報告は査読を経ていない技術報告であり,推敲を加えられていずれかの場に発表されることがあります. |
| PDFダウンロード |
HIP2024-55 |
|