講演抄録/キーワード |
講演名 |
2020-03-07 11:25
学習者相互評価の大規模データを用いたパフォーマンス評価に関する一検討 ○中山 実(東工大)・宇都雅輝(電通大)・Sciarrone, Filippo(ローマ・トレ大)・Temperini, Marco(ローマ・ラ・サピエンツァ大) ET2019-79 |
抄録 |
(和) |
MOOCにおける学習者評価法として相互評価の導入が進められており, 具体的な評価可能性や妥当性に関する検討が求められる. この検討のためにSciarrone&Temperini(2019)は,学習者相互評価の大規模データ生成アルゴリズムを開発し,評価可能性を検討している.
一方,相互評価による評定値に項目反応理論を適用することで,学習者の能力推定を行うパフォーマンス評価研究が進められているが,大規模データへの適用可能性は不明である.
本報では,Sciarrone&Temperiniによる学習者1000人による相互評価データを用いて,項目反応理論の部分採点モデルを適用して,大規模な相互評価によるパフォーマンス評価の可能性について検証した.その結果,学習者の能力値,一貫性,厳しさの算出が可能であった. |
(英) |
Learning performance is often evaluated using a peer assessment setting such as MOOC environment. Their feasibility and validity should be confirmed. Sciarrone&Temperini(2019) have developed a simulation procedure to generate a large data set of peer assessment in order to examine these issues.
Also, accurate learning performance during the setting is often measured using item response theory, it may be possible to apply the large size of data.
In this paper, a feasibility of estimating individual performance is examined for a simulated data set such as one thousand participants with three peers' assessment.
As a result, ability, consistency and strictness for each participant are evaluated using Generalised partial credit model, the validity of these calculation approach is confirmed. This is an evidence of
a possibility to predict learning performance even in large scale learning condition. |
キーワード |
(和) |
ピア アセスメント / MOOC / 項目反応理論 / / / / / |
(英) |
Peer Assessment / MOOC / Item Response Theory / / / / / |
文献情報 |
信学技報, vol. 119, no. 468, ET2019-79, pp. 19-22, 2020年3月. |
資料番号 |
ET2019-79 |
発行日 |
2020-02-29 (ET) |
ISSN |
Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
ET2019-79 |
|