講演抄録/キーワード |
講演名 |
2021-01-27 13:30
短答式試験における自動採点のための概念辞書を用いたデータ拡張手法の提案 ○加藤博之(九大)・石岡恒憲(大学入試センター)・峯 恒憲(九大) AI2020-15 |
抄録 |
(和) |
自然言語処理に関する研究では,BERT をはじめとする大規模汎用言語モデルの登場によって,様々な種類のタスクにおいて処理精度の向上がもたらされているものの,答案の自動採点など,いまだ実用的な精度には達しておらず,さらなる精度の向上が望まれている.そこで,本研究では短答式試験の自動採点において,概念辞書を用いて答案中の単語を置換するデータ拡張を行い,自動採点の精度を向上させる方法を提案する.高校生の社会科と国語の模試データを用いて行った実験では,社会科ではデータ数の少ない範囲で,国語ではデータ数の多い範囲で精度の向上が見られた.また,精度の高い学習においては学習器が置換後のデータと元データを乖離して捉えていることが分かった. |
(英) |
In the field of natural language processing, the invention of large-scale general-purpose language models such as BERT has brought improvements in processing accuracy for various types of tasks, but the accuracy has not yet reached a practical level, also in automatic short answer scoring, and further improvements are desired. In this paper, we propose a method to improve the accuracy of automatic short answer scoring using a thesaurus to replace words in the answers. In an experiment using data from social studies and Japanese language mock exams for high school students, we found that the accuracy improved in the range with a small number of data for social studies and in the range with a large number of data for Japanese language. In addition, we found that in the case of highly accurate learning, the model understands the data after substitution and the original data in a different manner. |
キーワード |
(和) |
自然言語処理 / 自動採点 / データ拡張 / 概念辞書 / BERT / / / |
(英) |
NLP / AutoScoring / DataAugmentation / Thesaurus / BERT / / / |
文献情報 |
信学技報, vol. 120, no. 344, AI2020-15, pp. 7-12, 2021年1月. |
資料番号 |
AI2020-15 |
発行日 |
2021-01-20 (AI) |
ISSN |
Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
AI2020-15 |