講演抄録/キーワード |
講演名 |
2019-09-28 16:00
日本語Pretrained BERTモデルの比較 ○芝山直希・曹 鋭・白 静・馬 ブン・新納浩幸(茨城大) NLC2019-24 |
抄録 |
(和) |
BERT は有益な言語の事前学習モデルである。英語に対しては BERT 論文で利用された学習済みモデルが公開され、利用されている。
日本語に対しては現在、字句区切りに SentencePiece を用いたもの、JUMAN++ とBPE を用いたもの及び MeCab と NEologd を用いたものの 3 種の日本語のみで訓練したモデルが公開されている。本論文では感情分析タスクを題材にこちら 3 つのモデルを比較した。 |
(英) |
BERT is useful pre-training method for neural languages. There are pre-trained models for English which was used in a paper of BERT. Now, There are 3 Japanese pre-trained models which uses SentencePiece, Juman++ with BPE, or MeCab with NEologd to separate input texts by lexical. In this paper, we compared these 3 models with a sentiment analysis task as a subject. |
キーワード |
(和) |
機械学習 / BERT / 事前学習モデル / 自然言語処理 / / / / |
(英) |
machine learning / BERT / pre-trained model / natural language processing / / / / |
文献情報 |
信学技報, vol. 119, no. 212, NLC2019-24, pp. 89-92, 2019年9月. |
資料番号 |
NLC2019-24 |
発行日 |
2019-09-20 (NLC) |
ISSN |
Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
NLC2019-24 |