| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2021-09-16 16:15 小論文自動採点システム評価のための日本語小論文データの構築 ○竹内孔一・田口雅弘・稲田佳彦・飯塚誠也・阿保達彦・上田 均（岡山大）  NLC2021-15 |
|
| 抄録 | （和） | 日本語小論文自動採点システムの評価を目的として研究利用可能な日本語母語話者による小論文答案および答案に対して採点したデータを作成した．本論文では小論文データの概要を示すとともに，人手による評価を実施するにあたりどのような点を考慮して評価を実行したかについて記述する．これにより採点済みの小論文データを作成する際の課題を明らかにする．本小論文データでは評価軸として理解力，論理性，妥当性，文書力の4つを設定し，ルーブリックを作成して，それぞれの評価軸に対して2名の採点者で評点を付与した．本論文ではこれらの採点結果の一致度を明らかにすることで各評価軸に対する採点者のゆれから評価と課題の特性の関係について議論する． |
| （英） | We construct Japanese essay data for evaluating automatic essay scoring system. The essays are written by Japanese native speakers for the wide range prompts and all the essays are graded by annotators. In this paper, we give an overview of the essay data and discuss what factors were considered in manual evaluation to clarify the issues involved in creating scored essay data. In manual evaluation, we set four evaluation criteria: comprehension, logic, validity, and writing ability. With a rubric based on the criteria, two raters assign scores to the essays. With evaluation results of inter-rater agreement for prompts, we discuss the stability of human rating on each evaluation criteria depending on the characteristics of prompts. | |
| キーワード | （和） | 小論文自動採点 / 日本語母語話者 / 評価軸 / / / / / |
| （英） | automatic essay scoring / Japanese native speakers / evaluation criteria / / / / / | |
| 文献情報 | 信学技報, vol. 121, no. 178, NLC2021-15, pp. 40-44, 2021年9月. | |
| 資料番号 | NLC2021-15 | |
| 発行日 | 2021-09-09 (NLC) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | NLC2021-15 |
|
| 研究会情報 | |
| 研究会 | NLC |
| 開催期間 | 2021-09-16 - 2021-09-16 |
| 開催地（和） | オンライン開催 |
| 開催地（英） | Online |
| テーマ（和） | 第18回テキストアナリティクス・シンポジウム |
| テーマ（英） | The 18th Text Analytics Symposium |
| 講演論文情報の詳細 | |
| 申込み研究会 | NLC |
| 会議コード | 2021-09-NLC |
| 本文の言語 | 日本語 |
| タイトル（和） | 小論文自動採点システム評価のための日本語小論文データの構築 |
| サブタイトル（和） | |
| タイトル（英） | Construction of Japanese Essay Data for Evaluating Automatic Essay Scoring System |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 小論文自動採点 / automatic essay scoring |
| キーワード(2)（和/英） | 日本語母語話者 / Japanese native speakers |
| キーワード(3)（和/英） | 評価軸 / evaluation criteria |
| キーワード(4)（和/英） | / |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 竹内 孔一 / Koichi Takeuchi / タケウチ コウイチ |
| 第1著者 所属（和/英） | 岡山大学 (略称： 岡山大) Okayama University (略称： Okayama Univ.) |
| 第2著者 氏名（和/英/ヨミ） | 田口 雅弘 / Masahiro Taguchi / マサヒロ タグチ |
| 第2著者 所属（和/英） | 岡山大学 (略称： 岡山大) Okayama University (略称： Okayama Univ.) |
| 第3著者 氏名（和/英/ヨミ） | 稲田 佳彦 / Yoshihiko Inada / イナダ ヨシヒコ |
| 第3著者 所属（和/英） | 岡山大学 (略称： 岡山大) Okayama University (略称： Okayama Univ.) |
| 第4著者 氏名（和/英/ヨミ） | 飯塚 誠也 / Masaya Iizuka / イイヅカ セイヤ |
| 第4著者 所属（和/英） | 岡山大学 (略称： 岡山大) Okayama University (略称： Okayama Univ.) |
| 第5著者 氏名（和/英/ヨミ） | 阿保 達彦 / Tasuhiko Abo / アボ タツヒコ |
| 第5著者 所属（和/英） | 岡山大学 (略称： 岡山大) Okayama University (略称： Okayama Univ.) |
| 第6著者 氏名（和/英/ヨミ） | 上田 均 / Hitoshi Ueda / ウエダ ヒトシ |
| 第6著者 所属（和/英） | 岡山大学 (略称： 岡山大) Okayama University (略称： Okayama Univ.) |
| 第7著者 氏名（和/英/ヨミ） | / / |
| 第7著者 所属（和/英） | (略称： ) (略称： ) |
| 第8著者 氏名（和/英/ヨミ） | / / |
| 第8著者 所属（和/英） | (略称： ) (略称： ) |
| 第9著者 氏名（和/英/ヨミ） | / / |
| 第9著者 所属（和/英） | (略称： ) (略称： ) |
| 第10著者 氏名（和/英/ヨミ） | / / |
| 第10著者 所属（和/英） | (略称： ) (略称： ) |
| 第11著者 氏名（和/英/ヨミ） | / / |
| 第11著者 所属（和/英） | (略称： ) (略称： ) |
| 第12著者 氏名（和/英/ヨミ） | / / |
| 第12著者 所属（和/英） | (略称： ) (略称： ) |
| 第13著者 氏名（和/英/ヨミ） | / / |
| 第13著者 所属（和/英） | (略称： ) (略称： ) |
| 第14著者 氏名（和/英/ヨミ） | / / |
| 第14著者 所属（和/英） | (略称： ) (略称： ) |
| 第15著者 氏名（和/英/ヨミ） | / / |
| 第15著者 所属（和/英） | (略称： ) (略称： ) |
| 第16著者 氏名（和/英/ヨミ） | / / |
| 第16著者 所属（和/英） | (略称： ) (略称： ) |
| 第17著者 氏名（和/英/ヨミ） | / / |
| 第17著者 所属（和/英） | (略称： ) (略称： ) |
| 第18著者 氏名（和/英/ヨミ） | / / |
| 第18著者 所属（和/英） | (略称： ) (略称： ) |
| 講演者 | 第1著者 |
| 発表日時 | 2021-09-16 16:15:00 |
| 発表時間 | 25分 |
| 申込先研究会 | NLC |
| 資料番号 | NLC2021-15 |
| 巻番号（vol） | vol.121 |
| 号番号（no） | no.178 |
| ページ範囲 | pp.40-44 |
| ページ数 | 5 |
| 発行日 | 2021-09-09 (NLC) |
[研究会発表申込システムのトップページに戻る]