| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2025-01-28 18:00 汎用言語モデルを用いた講義アンケートに対する回答からの定期試験の成績予測 ○取違優太・谷口仁慈・末房潤大・鳥原英嗣・鈴木健夫・山下暁郎・黒柳秀人・宮田龍太（琉球大）  NC2024-49 |
|
| 抄録 | （和） | 本研究では汎用言語モデルを用いて, 毎回の講義で出席確認に用いられる授業アンケートに対する回答文から当該学生が次の定期試験で平均点以上を獲得できるか予測し, 普段の文章の書き方に講義についていけなくなる予兆が含まれているか検証を行った. また, 複数の汎用言語モデルを用いて成績を予測することでモデルの精度比較にも取り組んだ. ここでは琉球大学医学研究科1年次およそ100名が受講する必修専門科目である「分子細胞生物学」を対象に, 講義の不明点や難しく感じたことを述べた講義アンケート回答文を汎用言語モデルを用いて分析を行った. BERTの派生系であるRoBERTaでは正答率7割となり, 現在のSOTAモデルであるLlama-3では正答率5割を達成した. 今回使用したデータセットでは, SOTAモデルであるLlama-3よりもRoBERTaの方が精度が良いという結果となった. また本研究では, 説明可能AIであるSHAPを適用し, 平均点以上の学生と平均点未満の学生の文章の書き方の特徴についても調査した. RoBERTaとLlama-3の両方で正解した文章のRoBERTaの予測結果に対してSHAPを適用したところ, 平均点以上を取れる学生のアンケート回答には次の講義に向けてやるべきことを明確に記述されていたり, 当日の講義で習ったと目されるキーワードが多く記述されたりしていた一方で, 平均未満の学生は同じキーワードに対する文章を繰り返し書いている傾向があることがわかった. |
| （英） | We predicted whether a university first-year student would get an average or higher score on the writing part of a regular examination from their responses to a class questionnaire to verify whether their usual writing style contains signs that they would fail to keep up with the lecture, using two types of Transformer-based language models: RoBERTa and Llama-3.RoBERTa had a high detection power for students who scored above average, with a validation accuracy of just under 70%, whereas Llama-3 did those for students who scored below average, with a validation accuracy of just under 60%.These results suggested that we might further improve the prediction accuracy if we constructed an appropriate ensemble model based on the prediction probabilities of these two models. Furthermore, we applied SHAP, a typical XAI, to unveil the keywords in the written responses that the language models focused on when predicting exam grades. We found that students who scored above average tended to use the technical terms they learned today in the lecture questionnaire, and those who scored below average tended to repeat some words. | |
| キーワード | （和） | 文書分類 / WebClass / BERT / RoBERTa / Llama / SHAP / / |
| （英） | Document Classification / WebClass / BERT / RoBERTa / Llama / SHAP / / | |
| 文献情報 | 信学技報, vol. 124, no. 363, NC2024-49, pp. 47-51, 2025年1月. | |
| 資料番号 | NC2024-49 | |
| 発行日 | 2025-01-21 (NC) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | NC2024-49 |
|
| 研究会情報 | |
| 研究会 | NC NLP |
| 開催期間 | 2025-01-28 - 2025-01-29 |
| 開催地（和） | 大阪大学 |
| 開催地（英） | |
| テーマ（和） | NC, NLP, 一般 |
| テーマ（英） | NC, NLP, General |
| 講演論文情報の詳細 | |
| 申込み研究会 | NC |
| 会議コード | 2025-01-NC-NLP |
| 本文の言語 | 日本語 |
| タイトル（和） | 汎用言語モデルを用いた講義アンケートに対する回答からの定期試験の成績予測 |
| サブタイトル（和） | |
| タイトル（英） | Predicting a regular exam grade from responses to lecture questionnaires using a generic language model |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 文書分類 / Document Classification |
| キーワード(2)（和/英） | WebClass / WebClass |
| キーワード(3)（和/英） | BERT / BERT |
| キーワード(4)（和/英） | RoBERTa / RoBERTa |
| キーワード(5)（和/英） | Llama / Llama |
| キーワード(6)（和/英） | SHAP / SHAP |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 取違 優太 / Yuta Torichigai / トリチガイ ユウタ |
| 第1著者 所属（和/英） | 琉球大学 (略称： 琉球大) Ryukyu University (略称： Univ. Ryukyu) |
| 第2著者 氏名（和/英/ヨミ） | 谷口 仁慈 / Masachika Taniguchi / タニグチ マサチカ |
| 第2著者 所属（和/英） | 琉球大学 (略称： 琉球大) Ryukyu University (略称： Univ. Ryukyu) |
| 第3著者 氏名（和/英/ヨミ） | 末房 潤大 / Jyundai Suefusa / スエフサ ジュンダイ |
| 第3著者 所属（和/英） | 琉球大学 (略称： 琉球大) Ryukyu University (略称： Univ. Ryukyu) |
| 第4著者 氏名（和/英/ヨミ） | 鳥原 英嗣 / Hidetsugu Torihara / トリハラ ヒデツグ |
| 第4著者 所属（和/英） | 琉球大学 (略称： 琉球大) Ryukyu University (略称： Univ. Ryukyu) |
| 第5著者 氏名（和/英/ヨミ） | 鈴木 健夫 / Takeo Suzuki / スズキ タケオ |
| 第5著者 所属（和/英） | 琉球大学 (略称： 琉球大) Ryukyu University (略称： Univ. Ryukyu) |
| 第6著者 氏名（和/英/ヨミ） | 山下 暁郎 / Akio Yamashita / ヤマシタ アキオ |
| 第6著者 所属（和/英） | 琉球大学 (略称： 琉球大) Ryukyu University (略称： Univ. Ryukyu) |
| 第7著者 氏名（和/英/ヨミ） | 黒柳 秀人 / Hidehito Kuroyanagi / クロヤナギ ヒデヒト |
| 第7著者 所属（和/英） | 琉球大学 (略称： 琉球大) Ryukyu University (略称： Univ. Ryukyu) |
| 第8著者 氏名（和/英/ヨミ） | 宮田 龍太 / Ryota Miyata / ミヤタ リョウタ |
| 第8著者 所属（和/英） | 琉球大学 (略称： 琉球大) Ryukyu University (略称： Univ. Ryukyu) |
| 講演者 | 第1著者 |
| 発表日時 | 2025-01-28 18:00:00 |
| 発表時間 | 25分 |
| 申込先研究会 | NC |
| 資料番号 | NC2024-49 |
| 巻番号（vol） | vol.124 |
| 号番号（no） | no.363 |
| ページ範囲 | pp.47-51 |
| ページ数 | 5 |
| 発行日 | 2025-01-21 (NC) |
[研究会発表申込システムのトップページに戻る]