講演抄録/キーワード |
講演名 |
2021-09-16 14:35
金融ドメインにおける事前学習BERTモデルの性能検証 ○鈴木雅弘・坂地泰紀・平野正徳・和泉 潔(東大) NLC2021-12 |
抄録 |
(和) |
近年,BERTをはじめとした大規模コーパスによって事前学習された汎用言語モデルが盛んに用いられている.日本語においてもWikipediaによる事前学習モデルがいくつか公開されている.一方で金融分野においては専門的な言い回しが用いられるため,汎用モデルでは十分な効果が得られない可能性がある.本研究では,金融ドメインのコーパスを用いた事前学習モデルを構築し,金融ドメインのタスクにおける評価を行う. |
(英) |
Recently, general-purpose language models pre-trained on large corpora such as BERT have been widely used. In Japanese, several pre-trained models based on Wikipedia have been published. On the other hand, general-purpose models may not be sufficiently effective in the financial domain because of the use of specialized phrases. In this study, we construct a pre-training model using a corpus of the financial domain, and evaluate it on a task in the financial domain. |
キーワード |
(和) |
自然言語処理 / 言語資源 / BERT / 金融文書 / / / / |
(英) |
Natural language processing / Language resources / BERT / Financial text / / / / |
文献情報 |
信学技報, vol. 121, no. 178, NLC2021-12, pp. 26-29, 2021年9月. |
資料番号 |
NLC2021-12 |
発行日 |
2021-09-09 (NLC) |
ISSN |
Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
NLC2021-12 |