| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2025-03-18 16:50 Discourse Quality Indexに基づく議論の自動評価 ～ アイデアベースの市民討議を題材としたLLMの適用 ～ ○森 一仁・丁 世堯（京大）・大沼 進・相馬ゆめ（北大）・伊藤孝行（京大）  Consen2024-16 |
|
| 抄録 | （和） | 議論の評価指標であるDiscourse Quality Index (DQI)に基づき発言を自動分類し，議論の質を自動評価することを目指す． 現実の市民討議の評価に用いられている拡張DQIは特定の議題に特化していたため，幅広い議題に対応可能な新たなラベルを作成し，データセットを構築する． 具体的には，広くアイデアを募る市民ワークショップのような議論であれば，議題の内容に関わらず評価可能なDQI (一般化DQI) を作成した． そしてGPT-4を用いて作成したラベルの自動分類を行った． 実験の結果，人間同士のカッパ係数が0.6を超え，指標の信頼性が確認された． また自動分類と人間評定者間のカッパ係数が0.6を超え，GPT-4が人間の評定者の代替として一定の有用性を持つことが示された． |
| （英） | This study aims to automatically classify statements and evaluate discussion quality based on the Discourse Quality Index (DQI). The extended DQI used for real-world citizen deliberations was specialized for specific topics. To enable broader application, we created new labels and built a dataset. Specifically, we developed a generalized DQI that can be applied to discussions, such as citizen workshops, regardless of the topic. We then used GPT-4 to automatically classify statements with these labels. The experiment showed that the inter-rater kappa coefficient among human evaluators exceeded 0.6, confirming the reliability of the index. Additionally, the kappa coefficient between automatic classification and human evaluators also exceeded 0.6, demonstrating that GPT-4 has some potential as a substitute for human evaluators. |
|
| キーワード | （和） | Discourse Quality Index (DQI) / 大規模言語モデル / GPT / / / / / |
| （英） | Discourse Quality Index (DQI) / Large Language Model / GPT / / / / / | |
| 文献情報 | 信学技報, vol. 124, no. 447, Consen2024-16, pp. 54-59, 2025年3月. | |
| 資料番号 | Consen2024-16 | |
| 発行日 | 2025-03-11 (Consen) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | Consen2024-16 |
|
| 研究会情報 | |
| 研究会 | Consen |
| 開催期間 | 2025-03-18 - 2025-03-18 |
| 開催地（和） | 北海道大学 人文・社会科学総合教育研究棟 W409 |
| 開催地（英） | Humanities and Social Sciences Bldg., Hokkaido University |
| テーマ（和） | 合意と共創-人工知能研究と人文社会科学研究の共創、協働、そして創発を目指して-，一般 |
| テーマ（英） | Consensus and Cocreation, etc |
| 講演論文情報の詳細 | |
| 申込み研究会 | Consen |
| 会議コード | 2025-03-Consen |
| 本文の言語 | 日本語 |
| タイトル（和） | Discourse Quality Indexに基づく議論の自動評価 |
| サブタイトル（和） | アイデアベースの市民討議を題材としたLLMの適用 |
| タイトル（英） | Automatic Evaluation of Discussion Quality Using the Discourse Quality Index |
| サブタイトル（英） | Application of LLM for Idea-Based Citizen Discussions |
| キーワード(1)（和/英） | Discourse Quality Index (DQI) / Discourse Quality Index (DQI) |
| キーワード(2)（和/英） | 大規模言語モデル / Large Language Model |
| キーワード(3)（和/英） | GPT / GPT |
| キーワード(4)（和/英） | / |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 森 一仁 / Kazuhito Mori / モリ カズヒト |
| 第1著者 所属（和/英） | 京都大学 (略称： 京大) Kyoto University (略称： Kyoto Univ.) |
| 第2著者 氏名（和/英/ヨミ） | 丁 世堯 / Shiyao Ding / |
| 第2著者 所属（和/英） | 京都大学 (略称： 京大) Kyoto University (略称： Kyoto Univ.) |
| 第3著者 氏名（和/英/ヨミ） | 大沼 進 / Susumu Ohnuma / |
| 第3著者 所属（和/英） | 北海道大学 (略称： 北大) Hokkaido University (略称： Hokkaido Univ.) |
| 第4著者 氏名（和/英/ヨミ） | 相馬 ゆめ / Yume Souma / ソウマ ユメ |
| 第4著者 所属（和/英） | 北海道大学 (略称： 北大) Hokkaido University (略称： Hokkaido Univ.) |
| 第5著者 氏名（和/英/ヨミ） | 伊藤 孝行 / Takayuki Ito / イトウ タカユキ |
| 第5著者 所属（和/英） | 京都大学 (略称： 京大) Kyoto University (略称： Kyoto Univ.) |
| 講演者 | 第1著者 |
| 発表日時 | 2025-03-18 16:50:00 |
| 発表時間 | 20分 |
| 申込先研究会 | Consen |
| 資料番号 | Consen2024-16 |
| 巻番号（vol） | vol.124 |
| 号番号（no） | no.447 |
| ページ範囲 | pp.54-59 |
| ページ数 | 6 |
| 発行日 | 2025-03-11 (Consen) |
[研究会発表申込システムのトップページに戻る]