| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2023-01-29 15:05 拡張畳み込み構造によるSource-Target Attentionを導入したVision Transformerが少数データから獲得する識別性能とAttention Mapの解析 ○志村竜希・多田村克己・佐村俊和（山口大）  NLP2022-104 NC2022-88 |
|
| 抄録 | （和） | Vision Transformer (ViT)による高い識別精度の獲得には，大規模データによる長時間の事前学習が必要とされ，畳み込み構造を入力層等に入れることで学習コストを抑えるネットワークが提案されている．本研究では，ViTに単純な拡張畳み込みの出力をSource-Target- Attentionの形で途中のEncoder層に入れるネットワークを提案する．提案ネットワークは，事前学習時のデータ数を抑えた場合においても，全てのデータを用いて学習したViTと同等の識別精度を示し，類似したAttentionを獲得できることを報告する． |
| （英） | Vision Transformer (ViT) requires large data sets during pre-training phase to acquire high classification accuracy on any data sets. It has been proposed that ViT with convolutional input structure reduce the pre-training cost. In this study, we proposed ViT with source-target attention from dilated convolutions. We show that the proposed ViT acquire the same accuracy and attention as the conventional ViT trained with large data set even when the number of data is reduced in the pre-training phase. | |
| キーワード | （和） | Vision Transformer / Source-Target Attention / 拡張畳み込み / 少数データ / / / / |
| （英） | Vision Transformer / Source-Target Attention / Dilated Convolution / Small data / / / / | |
| 文献情報 | 信学技報, vol. 122, no. 373, NLP2022-104, pp. 123-128, 2023年1月. | |
| 資料番号 | NLP2022-104 | |
| 発行日 | 2023-01-21 (NLP, NC) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | NLP2022-104 NC2022-88 |
|
| 研究会情報 | |
| 研究会 | NC NLP |
| 開催期間 | 2023-01-28 - 2023-01-29 |
| 開催地（和） | 公立はこだて未来大学 |
| 開催地（英） | Future University Hakodate |
| テーマ（和） | NC, NLP, 一般 |
| テーマ（英） | NC, NLP, etc. |
| 講演論文情報の詳細 | |
| 申込み研究会 | NLP |
| 会議コード | 2023-01-NC-NLP |
| 本文の言語 | 日本語 |
| タイトル（和） | 拡張畳み込み構造によるSource-Target Attentionを導入したVision Transformerが少数データから獲得する識別性能とAttention Mapの解析 |
| サブタイトル（和） | |
| タイトル（英） | Predictions and Attentions Acquired by Vision Transformer with Source-Target Attention from Dilated Convolutions on Small Data Sets |
| サブタイトル（英） | |
| キーワード(1)（和/英） | Vision Transformer / Vision Transformer |
| キーワード(2)（和/英） | Source-Target Attention / Source-Target Attention |
| キーワード(3)（和/英） | 拡張畳み込み / Dilated Convolution |
| キーワード(4)（和/英） | 少数データ / Small data |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 志村 竜希 / Tatsuki Shimura / シムラ タツキ |
| 第1著者 所属（和/英） | 山口大学 (略称： 山口大) Yamaguchi University (略称： Yamaguchi Univ) |
| 第2著者 氏名（和/英/ヨミ） | 多田村 克己 / Katsumi Tadamura / タダムラ カツミ |
| 第2著者 所属（和/英） | 山口大学 (略称： 山口大) Yamaguchi University (略称： Yamaguchi Univ) |
| 第3著者 氏名（和/英/ヨミ） | 佐村 俊和 / Toshikazu Samura / サムラ トシカズ |
| 第3著者 所属（和/英） | 山口大学 (略称： 山口大) Yamaguchi University (略称： Yamaguchi Univ) |
| 講演者 | 第1著者 |
| 発表日時 | 2023-01-29 15:05:00 |
| 発表時間 | 25分 |
| 申込先研究会 | NLP |
| 資料番号 | NLP2022-104, NC2022-88 |
| 巻番号（vol） | vol.122 |
| 号番号（no） | no.373(NLP), no.374(NC) |
| ページ範囲 | pp.123-128 |
| ページ数 | 6 |
| 発行日 | 2023-01-21 (NLP, NC) |
[研究会発表申込システムのトップページに戻る]