| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2021-12-16 14:55 Fully automatic scoring of handwritten descriptive answers in Japanese language tests ○Hung Tuan Nguyen・Cuong Tuan Nguyen（TUAT）・Haruki Oka（UTokyo）・Tsunenori Ishioka（The National Center for University Entrance Examinations）・Masaki Nakagawa（TUAT）  PRMU2021-32 |
|
| 抄録 | （和） | (まだ登録されていません) |
| （英） | This paper presents an experiment of automatically scoring handwritten descriptive answers in the trial tests for the new Japanese university entrance examination, which were made for about 120,000 examinees in 2017 and 2018. There are about 400,000 answers with more than 20 million characters. Although all answers have been scored by human examiners, handwritten characters are not labelled. We present our attempt to adapt deep neural network-based handwriting recognizers trained on a labelled handwriting dataset into this unlabeled answer set. Our proposed method combines different training strategies, ensembles multiple recognizers, and uses a language model built from a large general corpus to avoid overfitting into specific data. In our experiment, the proposed method records character accuracy of over 97% using about 2,000 verified labelled answers that account for less than 0.5% of the dataset. Then, the recognized answers are fed into a pre-trained automatic scoring system based on the BERT model without correcting misrecognized characters and providing rubric annotations. The automatic scoring system achieves from 0.84 to 0.98 of Quadratic Weighted Kappa (QWK). As QWK is over 0.8, it represents acceptable similarity of scoring between the automatic scoring system and the human examiners. These results are promising for further research on end-to-end automatic scoring of descriptive answers. | |
| キーワード | （和） | / / / / / / / |
| （英） | handwritten language answers / handwriting recognition / automatic scoring / ensemble recognition / deep neural networks / / / | |
| 文献情報 | 信学技報, vol. 121, no. 304, PRMU2021-32, pp. 45-50, 2021年12月. | |
| 資料番号 | PRMU2021-32 | |
| 発行日 | 2021-12-09 (PRMU) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | PRMU2021-32 |
|
| 研究会情報 | |
| 研究会 | PRMU |
| 開催期間 | 2021-12-16 - 2021-12-17 |
| 開催地（和） | オンライン開催 |
| 開催地（英） | Online |
| テーマ（和） | 時系列・因果推論・異常検知 |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | PRMU |
| 会議コード | 2021-12-PRMU |
| 本文の言語 | 英語 |
| タイトル（和） | |
| サブタイトル（和） | |
| タイトル（英） | Fully automatic scoring of handwritten descriptive answers in Japanese language tests |
| サブタイトル（英） | |
| キーワード(1)（和/英） | / handwritten language answers |
| キーワード(2)（和/英） | / handwriting recognition |
| キーワード(3)（和/英） | / automatic scoring |
| キーワード(4)（和/英） | / ensemble recognition |
| キーワード(5)（和/英） | / deep neural networks |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | グエン トゥアン フーン / Hung Tuan Nguyen / |
| 第1著者 所属（和/英） | 東京農工大学 (略称： 東京農工大) Tokyo University of Agriculture and Technology (略称： TUAT) |
| 第2著者 氏名（和/英/ヨミ） | グエン トゥアン クーン / Cuong Tuan Nguyen / |
| 第2著者 所属（和/英） | 東京農工大学 (略称： 東京農工大) Tokyo University of Agriculture and Technology (略称： TUAT) |
| 第3著者 氏名（和/英/ヨミ） | 岡 知樹 / Haruki Oka / |
| 第3著者 所属（和/英） | 東京大学 (略称： 東大) The University of Tokyo (略称： UTokyo) |
| 第4著者 氏名（和/英/ヨミ） | 石岡 恒憲 / Tsunenori Ishioka / |
| 第4著者 所属（和/英） | 大学入試センター (略称： 大学入試センター) The National Center for University Entrance Examinations (略称： The National Center for University Entrance Examinations) |
| 第5著者 氏名（和/英/ヨミ） | 中川 正樹 / Masaki Nakagawa / |
| 第5著者 所属（和/英） | 東京農工大学 (略称： 東京農工大) Tokyo University of Agriculture and Technology (略称： TUAT) |
| 第6著者 氏名（和/英/ヨミ） | / / |
| 第6著者 所属（和/英） | (略称： ) (略称： ) |
| 第7著者 氏名（和/英/ヨミ） | / / |
| 第7著者 所属（和/英） | (略称： ) (略称： ) |
| 第8著者 氏名（和/英/ヨミ） | / / |
| 第8著者 所属（和/英） | (略称： ) (略称： ) |
| 第9著者 氏名（和/英/ヨミ） | / / |
| 第9著者 所属（和/英） | (略称： ) (略称： ) |
| 第10著者 氏名（和/英/ヨミ） | / / |
| 第10著者 所属（和/英） | (略称： ) (略称： ) |
| 第11著者 氏名（和/英/ヨミ） | / / |
| 第11著者 所属（和/英） | (略称： ) (略称： ) |
| 第12著者 氏名（和/英/ヨミ） | / / |
| 第12著者 所属（和/英） | (略称： ) (略称： ) |
| 第13著者 氏名（和/英/ヨミ） | / / |
| 第13著者 所属（和/英） | (略称： ) (略称： ) |
| 第14著者 氏名（和/英/ヨミ） | / / |
| 第14著者 所属（和/英） | (略称： ) (略称： ) |
| 第15著者 氏名（和/英/ヨミ） | / / |
| 第15著者 所属（和/英） | (略称： ) (略称： ) |
| 第16著者 氏名（和/英/ヨミ） | / / |
| 第16著者 所属（和/英） | (略称： ) (略称： ) |
| 第17著者 氏名（和/英/ヨミ） | / / |
| 第17著者 所属（和/英） | (略称： ) (略称： ) |
| 第18著者 氏名（和/英/ヨミ） | / / |
| 第18著者 所属（和/英） | (略称： ) (略称： ) |
| 講演者 | 第1著者 |
| 発表日時 | 2021-12-16 14:55:00 |
| 発表時間 | 15分 |
| 申込先研究会 | PRMU |
| 資料番号 | PRMU2021-32 |
| 巻番号（vol） | vol.121 |
| 号番号（no） | no.304 |
| ページ範囲 | pp.45-50 |
| ページ数 | 6 |
| 発行日 | 2021-12-09 (PRMU) |
[研究会発表申込システムのトップページに戻る]