講演抄録/キーワード |
講演名 |
2020-12-02 17:10
区切りのない雑文における文単位への分割 ○山下紗苗(明石高専)・奥村紀之(大手前大) NLC2020-16 SP2020-19 |
抄録 |
(和) |
Twitter などで使用されるくだけた表現を含む文(雑文)は,未知語や省略が多くさまざまな文末表現をもつため,新聞記事のようなフォーマルな文章とは違い,機械的な形態素解析および文分割が難しい.そこで本研究では,雑文に出現する文末表現の種類や文分割の判断における個人差を調査し,雑文を文単位へ自動分割する手法を検討した.人手による文末位置アノテーションを正解データとしてルールベースや CRF などにより雑文の文末位置を推定した.その一致度合いを評価した結果,$F_{1}$ 値は 0.86 であった. |
(英) |
We can see miscellaneous writings in Twitter post (tweets) and so on with informal expressions. Japanese miscellaneous writings often have unknown words, abbreviations, and various end-of-sentence expressions, therefore, it is hard to take morphological analysis or to split into sentences. This research examines two issues: what kind of words do miscellaneous writings have and how people's sentence splittings are different. We also suggest the way of sentence boundary disambiguation. We estimated the end of sentences from miscellaneous writings by rule-based judgment and CRF using a human-annotated EOS corpus. The $F_{1}$ value is 0.86. |
キーワード |
(和) |
文境界推定 / 雑文 / / / / / / |
(英) |
sentence boundary disambiguation / miscellaneous writings / / / / / / |
文献情報 |
信学技報, vol. 120, no. 270, NLC2020-16, pp. 19-24, 2020年12月. |
資料番号 |
NLC2020-16 |
発行日 |
2020-11-25 (NLC, SP) |
ISSN |
Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
NLC2020-16 SP2020-19 |
研究会情報 |
研究会 |
NLC IPSJ-NL SP IPSJ-SLP |
開催期間 |
2020-12-02 - 2020-12-03 |
開催地(和) |
オンライン開催 |
開催地(英) |
Online |
テーマ(和) |
音声言語および自然言語処理シンポジウム |
テーマ(英) |
|
講演論文情報の詳細 |
申込み研究会 |
NLC |
会議コード |
2020-12-NLC-NL-SP-SLP |
本文の言語 |
日本語 |
タイトル(和) |
区切りのない雑文における文単位への分割 |
サブタイトル(和) |
|
タイトル(英) |
Sentence Boundary Disambiguation for Miscellaneous Writings in Japanese |
サブタイトル(英) |
|
キーワード(1)(和/英) |
文境界推定 / sentence boundary disambiguation |
キーワード(2)(和/英) |
雑文 / miscellaneous writings |
キーワード(3)(和/英) |
/ |
キーワード(4)(和/英) |
/ |
キーワード(5)(和/英) |
/ |
キーワード(6)(和/英) |
/ |
キーワード(7)(和/英) |
/ |
キーワード(8)(和/英) |
/ |
第1著者 氏名(和/英/ヨミ) |
山下 紗苗 / Sanae Yamashita / ヤマシタ サナエ |
第1著者 所属(和/英) |
明石工業高等専門学校 (略称: 明石高専)
National Institute of Technology, Akashi College (略称: NIT, Akashi College) |
第2著者 氏名(和/英/ヨミ) |
奥村 紀之 / Noriyuki Okumura / |
第2著者 所属(和/英) |
大手前大学 (略称: 大手前大)
Otemae University (略称: Otemae Univ.) |
第3著者 氏名(和/英/ヨミ) |
/ / |
第3著者 所属(和/英) |
(略称: )
(略称: ) |
第4著者 氏名(和/英/ヨミ) |
/ / |
第4著者 所属(和/英) |
(略称: )
(略称: ) |
第5著者 氏名(和/英/ヨミ) |
/ / |
第5著者 所属(和/英) |
(略称: )
(略称: ) |
第6著者 氏名(和/英/ヨミ) |
/ / |
第6著者 所属(和/英) |
(略称: )
(略称: ) |
第7著者 氏名(和/英/ヨミ) |
/ / |
第7著者 所属(和/英) |
(略称: )
(略称: ) |
第8著者 氏名(和/英/ヨミ) |
/ / |
第8著者 所属(和/英) |
(略称: )
(略称: ) |
第9著者 氏名(和/英/ヨミ) |
/ / |
第9著者 所属(和/英) |
(略称: )
(略称: ) |
第10著者 氏名(和/英/ヨミ) |
/ / |
第10著者 所属(和/英) |
(略称: )
(略称: ) |
第11著者 氏名(和/英/ヨミ) |
/ / |
第11著者 所属(和/英) |
(略称: )
(略称: ) |
第12著者 氏名(和/英/ヨミ) |
/ / |
第12著者 所属(和/英) |
(略称: )
(略称: ) |
第13著者 氏名(和/英/ヨミ) |
/ / |
第13著者 所属(和/英) |
(略称: )
(略称: ) |
第14著者 氏名(和/英/ヨミ) |
/ / |
第14著者 所属(和/英) |
(略称: )
(略称: ) |
第15著者 氏名(和/英/ヨミ) |
/ / |
第15著者 所属(和/英) |
(略称: )
(略称: ) |
第16著者 氏名(和/英/ヨミ) |
/ / |
第16著者 所属(和/英) |
(略称: )
(略称: ) |
第17著者 氏名(和/英/ヨミ) |
/ / |
第17著者 所属(和/英) |
(略称: )
(略称: ) |
第18著者 氏名(和/英/ヨミ) |
/ / |
第18著者 所属(和/英) |
(略称: )
(略称: ) |
第19著者 氏名(和/英/ヨミ) |
/ / |
第19著者 所属(和/英) |
(略称: )
(略称: ) |
第20著者 氏名(和/英/ヨミ) |
/ / |
第20著者 所属(和/英) |
(略称: )
(略称: ) |
講演者 |
第1著者 |
発表日時 |
2020-12-02 17:10:00 |
発表時間 |
20分 |
申込先研究会 |
NLC |
資料番号 |
NLC2020-16, SP2020-19 |
巻番号(vol) |
vol.120 |
号番号(no) |
no.270(NLC), no.271(SP) |
ページ範囲 |
pp.19-24 |
ページ数 |
6 |
発行日 |
2020-11-25 (NLC, SP) |
|