| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2023-03-18 16:20 アテンションプーリングと対照学習による長文要約 ○加茂 司・杉本 徹（芝浦工大）  NLC2022-28 |
|
| 抄録 | （和） | ニューラルネットワークによる自動要約は，Transformerをベースとした事前学習モデルの登場によって精度が向上した．しかし，Transformerの自己注意機構はメモリ・計算効率が入力長の二乗に依存しており，長文を扱うのが難しい．そこで，本研究では長文を効率よく扱えるTransformerを提案し，長文要約タスクに取り組む．まず，メモリ・計算効率が入力長に対して線形依存となるような代替の注意機構を二つ導入する．また，代替の注意機構が文章中の重要な情報を抜き出せるように，対照学習を利用した訓練を行う．代替の注意機構と対照学習という要素が要約精度にどのような影響を与えるかを評価実験によって明らかにする． |
| （英） | Automatic summarization using neural networks has improved with the advent of pre-training models based on the Transformer. However, the Transformer’s self-attention mechanism is difficult to handle long sequence because its memory and computational efficiency depend on the square of the input length. Therefore, we propose a Transformer that can efficiently handle long sequence and tackle a long document summarization. First, we introduce two alternative attention mechanisms whose memory and computational efficiency depend linearly on the input length. We also train the alternative attention mechanisms to extract important information from an input text using contrastive learning. Through evaluation experiments, we will clarify how the alternative attention mechanisms and contrastive learning affect summarization quality. | |
| キーワード | （和） | 自動要約 / 対照学習 / 注意機構 / / / / / |
| （英） | Automatic Summarization / Contrastive Learning / Attention Mechanism / / / / / | |
| 文献情報 | 信学技報, vol. 122, no. 449, NLC2022-28, pp. 50-54, 2023年3月. | |
| 資料番号 | NLC2022-28 | |
| 発行日 | 2023-03-11 (NLC) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | NLC2022-28 |
|
| 研究会情報 | |
| 研究会 | NLC IPSJ-NL |
| 開催期間 | 2023-03-18 - 2023-03-18 |
| 開催地（和） | 沖縄科学技術大学院大学 |
| 開催地（英） | OIST |
| テーマ（和） | 言語処理の産業・社会応用、および一般 |
| テーマ（英） | Applications of natural language processing, and etc. |
| 講演論文情報の詳細 | |
| 申込み研究会 | NLC |
| 会議コード | 2023-03-NLC-NL |
| 本文の言語 | 日本語 |
| タイトル（和） | アテンションプーリングと対照学習による長文要約 |
| サブタイトル（和） | |
| タイトル（英） | Contrastive Learning with Attention Pooling for Long Document Summarization |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 自動要約 / Automatic Summarization |
| キーワード(2)（和/英） | 対照学習 / Contrastive Learning |
| キーワード(3)（和/英） | 注意機構 / Attention Mechanism |
| キーワード(4)（和/英） | / |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 加茂 司 / Tsukasa Kamo / カモ ツカサ |
| 第1著者 所属（和/英） | 芝浦工業大学 (略称： 芝浦工大) Shibaura Institute of Technology (略称： SIT) |
| 第2著者 氏名（和/英/ヨミ） | 杉本 徹 / Toru Sugimoto / スギモト トオル |
| 第2著者 所属（和/英） | 芝浦工業大学 (略称： 芝浦工大) Shibaura Institute of Technology (略称： SIT) |
| 講演者 | 第1著者 |
| 発表日時 | 2023-03-18 16:20:00 |
| 発表時間 | 20分 |
| 申込先研究会 | NLC |
| 資料番号 | NLC2022-28 |
| 巻番号（vol） | vol.122 |
| 号番号（no） | no.449 |
| ページ範囲 | pp.50-54 |
| ページ数 | 5 |
| 発行日 | 2023-03-11 (NLC) |
[研究会発表申込システムのトップページに戻る]