| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2024-09-02 15:10 ChatGPTによる公認会計士短答式試験（企業法）のパフォーマンス分析 ○増田 樹（慶大/理研AIPセンター）・中川 慧（野村アセットマネジメント/阪公立大）・高野海斗（野村アセットマネジメント）・星野崇宏（慶大/理研AIPセンター）  NLC2024-6 |
|
| 抄録 | （和） | 大規模言語モデル (LLM)の回答能力の正確な測定は重要な問題であり、会計・監査・法学領域においても同様である。特にこれらの専門分野は国家資格として高度な知識と論理的思考が要求されるため、LLMが正確な情報を提供できるかどうかを評価することは、これらの分野の実務における信頼性を確保するために重要である。 そこで本研究では、まず日本の公認会計士試験のうち、短答式試験における企業法の問題と回答のデータセットの整備を行い、公開した。そして、ChatGPTのAPI を活用し、回答能力の評価を行うことで、難解な専門資格試験における言語モデルの応答能力や限界を理解する。 |
| （英） | The accurate perfomance measurement of the response capabilities of large language models~(LLMs) is a crucial issue, especially in the fields of accounting, auditing, and law. These specialized areas demand high levels of knowledge and logical reasoning as national qualifications. Therefore, evaluating whether LLMs can provide accurate information is essential to ensure their reliability in practical applications within these fields. In this study, we first prepared and published a dataset of Q&As from the business law section of the multiple-choice format of the Japanese CPA examination. We then used the ChatGPT API to evaluate its response capabilities. This allowed us to understand the response abilities and limitations of language models in challenging professional certification exams. |
|
| キーワード | （和） | 公認会計士試験 / 大規模言語モデル / 企業法 / ChatGPT / / / / |
| （英） | CPA Examination / Large Language Models / Corporate Law / ChatGPT / / / / | |
| 文献情報 | 信学技報, vol. 124, no. 173, NLC2024-6, pp. 27-32, 2024年9月. | |
| 資料番号 | NLC2024-6 | |
| 発行日 | 2024-08-26 (NLC) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | NLC2024-6 |
|
| 研究会情報 | |
| 研究会 | NLC |
| 開催期間 | 2024-09-02 - 2024-09-03 |
| 開催地（和） | 北海道大学 クラーク会館 大集会室1 |
| 開催地（英） | Hokkaido University. The Clark Memorial Student Center. |
| テーマ（和） | 第21回テキストアナリティクス・シンポジウム |
| テーマ（英） | The 21st Text Analytics Symposium |
| 講演論文情報の詳細 | |
| 申込み研究会 | NLC |
| 会議コード | 2024-09-NLC |
| 本文の言語 | 日本語 |
| タイトル（和） | ChatGPTによる公認会計士短答式試験（企業法）のパフォーマンス分析 |
| サブタイトル（和） | |
| タイトル（英） | Performance Analysis of ChatGPT in Solving the CPA Multiple-Choice Exam (Business Law) |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 公認会計士試験 / CPA Examination |
| キーワード(2)（和/英） | 大規模言語モデル / Large Language Models |
| キーワード(3)（和/英） | 企業法 / Corporate Law |
| キーワード(4)（和/英） | ChatGPT / ChatGPT |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 増田 樹 / Tatsuki Masuda / マスダ タツキ |
| 第1著者 所属（和/英） | 慶應義塾大学/理化学研究所AIPセンター (略称： 慶大/理研AIPセンター) Keio University/RIKEN Center for AIP (略称： Keio Univ./RIKEN AIP) |
| 第2著者 氏名（和/英/ヨミ） | 中川 慧 / Kei Nakagawa / ナカガワ ケイ |
| 第2著者 所属（和/英） | 野村アセットマネジメント株式会社/大阪公立大学 (略称： 野村アセットマネジメント/阪公立大) Nomura Asset Management Co., Ltd./Osaka Metropolitan University (略称： Nomura Asset Management/Osaka Metropolitan Univ.) |
| 第3著者 氏名（和/英/ヨミ） | 高野 海斗 / Kaito Takano / |
| 第3著者 所属（和/英） | 野村アセットマネジメント株式会社 (略称： 野村アセットマネジメント) Nomura Asset Management Co., Ltd. (略称： Nomura Asset Management) |
| 第4著者 氏名（和/英/ヨミ） | 星野 崇宏 / Takahiro Hoshino / ホシノ タカヒロ |
| 第4著者 所属（和/英） | 慶應義塾大学/理化学研究所AIPセンター (略称： 慶大/理研AIPセンター) Keio University/RIKEN Center for AIP (略称： Keio Univ./RIKEN AIP) |
| 講演者 | 第1著者 |
| 発表日時 | 2024-09-02 15:10:00 |
| 発表時間 | 20分 |
| 申込先研究会 | NLC |
| 資料番号 | NLC2024-6 |
| 巻番号（vol） | vol.124 |
| 号番号（no） | no.173 |
| ページ範囲 | pp.27-32 |
| ページ数 | 6 |
| 発行日 | 2024-08-26 (NLC) |
[研究会発表申込システムのトップページに戻る]