| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2026-03-02 13:30 モデリング教育におけるLLMを用いたUMLモデルの自動レビューに関する実証評価 ○福島惇聖・鷲崎弘宜・鵜林尚靖（早大）  SS2025-35 |
|
| 抄録 | （和） | Unified Modeling Language (UML) plays an important role in software engineering education, yet assessing diagrams made by students remain labor-intensive and imperfect. This paper empirically investigates the possibility of Large Language Models (LLMs) as automated, rubric-driven reviewers. Using Gemini-based evaluation framework, we analyze both lecture-based individual assignments and project-based team exercises, covering class diagrams, use case diagrams, use case descriptions, and communication diagrams. Part of this study was conducted in software engineering course at Waseda University, reflecting authentic instructional practices and evaluation criteria. Our study identifies recurring quality issues in student UML models and reveals systematic weaknesses, especially in relationship semantics and inter-diagram consistency. In addition, we quantify the gap between students' perceived engagement changes and actual achievement using a Motivation–Score Gap metric derived from LLM feedback and questionnaire results. The results indicate that despite the existence of certain gap, LLM-based reviews can provide actionable and fine-grained feedback, supporting in intuitively understandable suggestions and highlighting pedagogically critical modeling deficiencies. These findings suggest that LLM as a reviewer can provide several pedagogical values to both educators and learners. |
| （英） | Unified Modeling Language (UML) plays an important role in software engineering education, yet assessing diagrams made by students remain labor-intensive and imperfect. This paper empirically investigates the possibility of Large Language Models (LLMs) as automated, rubric-driven reviewers. Using Gemini-based evaluation framework, we analyze both lecture-based individual assignments and project-based team exercises, covering class diagrams, use case diagrams, use case descriptions, and communication diagrams. Part of this study was conducted in software engineering course at Waseda University, reflecting authentic instructional practices and evaluation criteria. Our study identifies recurring quality issues in student UML models and reveals systematic weaknesses, especially in relationship semantics and inter-diagram consistency. In addition, we quantify the gap between students' perceived engagement changes and actual achievement using a Motivation–Score Gap metric derived from LLM feedback and questionnaire results. The results indicate that despite the existence of certain gap, LLM-based reviews can provide actionable and fine-grained feedback, supporting in intuitively understandable suggestions and highlighting pedagogically critical modeling deficiencies. These findings suggest that LLM as a reviewer can provide several pedagogical values to both educators and learners. |
|
| キーワード | （和） | UMLモデリング / 大規模言語モデル / 自動評価 / 学習動機-達成度ギャップ / ソフトウェア工学教育 / / / |
| （英） | UML Modeling / LLM / Automated Evaluation / Motivation-Score Gap / Software Engineering Education / / / | |
| 文献情報 | 信学技報, vol. 125, no. 376, SS2025-35, pp. 31-36, 2026年3月. | |
| 資料番号 | SS2025-35 | |
| 発行日 | 2026-02-23 (SS) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | SS2025-35 |
|
| 研究会情報 | |
| 研究会 | SS |
| 開催期間 | 2026-03-02 - 2026-03-04 |
| 開催地（和） | 対馬市交流センター（長崎県対馬市） |
| 開催地（英） | Tsushimashi Koryu Center |
| テーマ（和） | ソフトウェアサイエンスおよび一般 |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | SS |
| 会議コード | 2026-03-SS |
| 本文の言語 | 英語（日本語タイトルあり） |
| タイトル（和） | モデリング教育におけるLLMを用いたUMLモデルの自動レビューに関する実証評価 |
| サブタイトル（和） | |
| タイトル（英） | An Empirical Study of Automated LLM-Based UML Model Review in Modeling Education |
| サブタイトル（英） | |
| キーワード(1)（和/英） | UMLモデリング / UML Modeling |
| キーワード(2)（和/英） | 大規模言語モデル / LLM |
| キーワード(3)（和/英） | 自動評価 / Automated Evaluation |
| キーワード(4)（和/英） | 学習動機-達成度ギャップ / Motivation-Score Gap |
| キーワード(5)（和/英） | ソフトウェア工学教育 / Software Engineering Education |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 福島 惇聖 / Junsei Fukushima / フクシマ ジュンセイ |
| 第1著者 所属（和/英） | 早稲田大学 (略称： 早大) Waseda University (略称： Waseda Univ.) |
| 第2著者 氏名（和/英/ヨミ） | 鷲崎 弘宜 / Hironori Washizaki / ワシザキ ヒロノリ |
| 第2著者 所属（和/英） | 早稲田大学 (略称： 早大) Waseda University (略称： Waseda Univ.) |
| 第3著者 氏名（和/英/ヨミ） | 鵜林 尚靖 / Naoyasu Ubayashi / ウバヤシ ナオヤス |
| 第3著者 所属（和/英） | 早稲田大学 (略称： 早大) Waseda University (略称： Waseda Univ.) |
| 講演者 | 第1著者 |
| 発表日時 | 2026-03-02 13:30:00 |
| 発表時間 | 25分 |
| 申込先研究会 | SS |
| 資料番号 | SS2025-35 |
| 巻番号（vol） | vol.125 |
| 号番号（no） | no.376 |
| ページ範囲 | pp.31-36 |
| ページ数 | 6 |
| 発行日 | 2026-02-23 (SS) |
[研究会発表申込システムのトップページに戻る]