| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2026-03-24 10:10 画像認識におけるSelf-AttentionのためのSigmoid関数とその二値化 ○三輪珠嶺（筑波大）・大西正輝（産総研）  PRMU2025-42 |
|
| 抄録 | （和） | 画像認識において，Self-Attentionは入力特徴間の関係を捉えるための重要な機構の一つとなっている．近年では，Self-Attentionにおける類似度をSoftmax関数によって正規化する手法が広く用いられているが，この正規化によりAttention重みが分散し，明確な参照関係を表現しにくい場合がある． 本研究では，Attention重み生成に$alpha$でスケールされたSigmoid関数を導入し，学習段階からnear-binaryなAttention分布を獲得する手法を提案する．Tiny-ImageNetおよびCIFAR-10を用いた評価により，提案手法が汎化性能の向上に寄与することを確認した．さらに，推論時にAttention重みを完全に二値化した場合でも性能劣化が限定的であることを示し，Sigmoid関数を用いたSelf-Attentionの二値化が実用的である可能性を示した． |
| （英） | Self-Attention is an important mechanism in image recognition for capturing relationships among input features.In recent years, similarity scores in Self-Attention have commonly been normalized using the softmax function; however, such normalization may lead to dispersed attention weights, which can make reference relationships less clear. We propose a method that introduces a sigmoid function scaled by a factor $alpha$ for attention weight computation, allowing near-binary attention distributions to be learned during training.Experiments on Tiny-ImageNet and CIFAR-10 confirm that the proposed method contributes to improved generalization performance.Furthermore, we show that performance degradation remains limited even when attention weights are fully binarized at inference time,suggesting the potential practicality of binarizing sigmoid-based Self-Attention. |
|
| キーワード | （和） | 画像認識 / 自己注意機構 / 二値化 / / / / / |
| （英） | Image classification / self-attention mechanism / binarize / / / / / | |
| 文献情報 | 信学技報, vol. 125, no. 424, PRMU2025-42, pp. 5-10, 2026年3月. | |
| 資料番号 | PRMU2025-42 | |
| 発行日 | 2026-03-17 (PRMU) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | PRMU2025-42 |
|
| 研究会情報 | |
| 研究会 | PRMU IPSJ-CVIM IBISML ITE-SIP |
| 開催期間 | 2026-03-24 - 2026-03-25 |
| 開催地（和） | あわぎんホール |
| 開催地（英） | |
| テーマ（和） | 人や動物の行動解析、マルチメディア認識技術 |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | PRMU |
| 会議コード | 2026-03-PRMU-CVIM-IBISML-SIP |
| 本文の言語 | 日本語 |
| タイトル（和） | 画像認識におけるSelf-AttentionのためのSigmoid関数とその二値化 |
| サブタイトル（和） | |
| タイトル（英） | Sigmoid Functions and Their Binarization for Self-Attention in Image Classification |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 画像認識 / Image classification |
| キーワード(2)（和/英） | 自己注意機構 / self-attention mechanism |
| キーワード(3)（和/英） | 二値化 / binarize |
| キーワード(4)（和/英） | / |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 三輪 珠嶺 / June Miwa / ミワ ジュネ |
| 第1著者 所属（和/英） | 筑波大学 (略称： 筑波大) University of Tsukuba (略称： Univ. Tsukuba) |
| 第2著者 氏名（和/英/ヨミ） | 大西 正輝 / Masaki Onishi / オオニシ マサキ |
| 第2著者 所属（和/英） | 産業技術総合研究所 (略称： 産総研) National Institute of Advanced Industrial Science and Technology (略称： AIST) |
| 講演者 | 第1著者 |
| 発表日時 | 2026-03-24 10:10:00 |
| 発表時間 | 15分 |
| 申込先研究会 | PRMU |
| 資料番号 | PRMU2025-42 |
| 巻番号（vol） | vol.125 |
| 号番号（no） | no.424 |
| ページ範囲 | pp.5-10 |
| ページ数 | 6 |
| 発行日 | 2026-03-17 (PRMU) |
[研究会発表申込システムのトップページに戻る]