| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2016-12-22 09:30 人工知能を利用した短答式記述採点支援システムの開発 ○石岡恒憲・亀田雅之（大学入試センター）・劉 東岳（学研教育総研）  NLC2016-36 |
|
| 抄録 | （和） | センター試験など大学入試試験レベルの短答式記述試験の自動採点および人間による採点を支援する実用可能なシステムを目指して，その試作および実装をした．自然言語におけるテキスト間の同義や含意，推論を公的な試験に採用するほどの精度はこの数年では不可能であるという判断のもとに，採点は設問ごとに作題者が用意した「採点基準」に従いシステムがある程度の精度をもった採点計算（自動採点）を基本とし，その結果を人間が確認・修正できるものとする．システムは「（予め用意された）模範解答」と「（被験者の実際の）記述解答」との（ある程度の）意味的同一性や含意性を判定するほか，プロンプトと呼ばれる素材文と解答文との意味的近似性なども考慮する．また採点結果は多値分類であることから，自然言語処理でしばしば用いられているサポートベクターマシンではなく，多くの予測変数において有効に機能するランダムフォレストによる機械学習分類を使う．試作システムはLinux上でのWebシステムとして動作する．大学入試の模試として実施された社会の記述式問題8題に対して，3－6点の配点の場合にシステムの提示する自動採点と人間の採点を比較すると，高度な意味的判断の要さない大半の設問においては，おおよそ7割から9割が１点差に収まっている． |
| （英） | We have developed an automated Japanese short-answer scoring and support machine for new National Center Test written exams. Our approach is based on the fact that recognizing textual entailment and/or synonymy has been almost impossible for scoring systems for several years. The system generates automated scores on the basis of evaluation criteria or rubrics, and human raters revise the scores. The system determines semantic similarity between the model answers and the actual written answers as well as a certain degree of semantic identity and implication. Owing to the need for the scoring results to be classified at multiple levels, we use random forests to effectively utilize many predictors rather than use support vector machines. An experimental prototype operates as a web system on a Linux computer. We compared human scores with the automated scores for the case in which 3－6 allotment points were placed in 8 categories of the social studies test as a trial examination. The differences between the scores were within one point for 70－90 percent of the data when high semantic judgment was not needed. | |
| キーワード | （和） | 短答式記述テスト / 自動採点 / 機械学習 / ランダムフォレスト / 含意関係認識 / 文科省 / 高大接続システム改革会議 / |
| （英） | Writing test / Automated scoring / Machine learning / Random forests / Recognizing textual entailment / Ministry of education / university and high-school articulation / | |
| 文献情報 | 信学技報, vol. 116, no. 379, NLC2016-36, pp. 87-92, 2016年12月. | |
| 資料番号 | NLC2016-36 | |
| 発行日 | 2016-12-14 (NLC) | |
| ISSN | Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| 査読に ついて |
本技術報告は査読を経ていない技術報告であり，推敲を加えられていずれかの場に発表されることがあります． | |
| PDFダウンロード | NLC2016-36 |
|
| 研究会情報 | |
| 研究会 | SP IPSJ-SLP NLC IPSJ-NL |
| 開催期間 | 2016-12-20 - 2016-12-22 |
| 開催地（和） | NTT武蔵野研究開発センタ |
| 開催地（英） | NTT Musashino R&D |
| テーマ（和） | 第18回音声言語シンポジウム & 第3回自然言語処理シンポジウム |
| テーマ（英） | The 18th Spoken Language Symposium & The Third Natural Language Processing Symposium |
| 講演論文情報の詳細 | |
| 申込み研究会 | NLC |
| 会議コード | 2016-12-SP-SLP-NLC-NL |
| 本文の言語 | 日本語 |
| タイトル（和） | 人工知能を利用した短答式記述採点支援システムの開発 |
| サブタイトル（和） | |
| タイトル（英） | AI-based Japanese Short-answer Scoring and Support System |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 短答式記述テスト / Writing test |
| キーワード(2)（和/英） | 自動採点 / Automated scoring |
| キーワード(3)（和/英） | 機械学習 / Machine learning |
| キーワード(4)（和/英） | ランダムフォレスト / Random forests |
| キーワード(5)（和/英） | 含意関係認識 / Recognizing textual entailment |
| キーワード(6)（和/英） | 文科省 / Ministry of education |
| キーワード(7)（和/英） | 高大接続システム改革会議 / university and high-school articulation |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 石岡 恒憲 / Tsunenori Ishioka / イシオカ ツネノリ |
| 第1著者 所属（和/英） | 大学入試センター (略称： 大学入試センター) The Nat. Ctr. for Univ. Entrance Exam. (略称： NCUEE) |
| 第2著者 氏名（和/英/ヨミ） | 亀田 雅之 / Masayuki Kameda / |
| 第2著者 所属（和/英） | 大学入試センター (略称： 大学入試センター) The Nat. Ctr. for Univ. Entrance Exam. (略称： NCUEE) |
| 第3著者 氏名（和/英/ヨミ） | 劉 東岳 / Dongyue Louis Liu / |
| 第3著者 所属（和/英） | 学研教育総合研究所 (略称： 学研教育総研) Gakken Research Institute for Learning and Education (略称： GRI) |
| 講演者 | 第1著者 |
| 発表日時 | 2016-12-22 09:30:00 |
| 発表時間 | 30分 |
| 申込先研究会 | NLC |
| 資料番号 | NLC2016-36 |
| 巻番号（vol） | vol.116 |
| 号番号（no） | no.379 |
| ページ範囲 | pp.87-92 |
| ページ数 | 6 |
| 発行日 | 2016-12-14 (NLC) |
[研究会発表申込システムのトップページに戻る]