| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2026-01-28 16:15 Vision Transformerにおける動的最適化法の提案 ○張 宏毅・山内ゆかり（日大）  NLP2025-95 MBE2025-35 NC2025-57 |
|
| 抄録 | （和） | 本研究では，自然言語処理で画期的な成果を挙げたTransformerを画像領域に拡張したVision Transformer（ViT）に着目する．ViTは画像分類などで有効だが，大規模データへの依存が強く，小規模データセットでは性能が低下しやすい．本研究では，ViTの計算効率を向上させるため，Gated Positional Self-Attention (GPSA)とProximal Policy Optimization (PPO)に基づく動的トークンプルーニングを組み合わせたハイブリッドアーキテクチャを提案する．224×224解像度のCIFAR-10実験において，ゲートとプルーニング率の協調学習により，精度を維持しつつ大幅なFLOPs削減を目指す． |
| （英） | In this study, we focus on the Vision Transformer (ViT), which extends the Transformer architecture—originally achieving breakthrough results in natural language processing—to the image domain. While ViT is effective for tasks such as image classification, its performance is highly dependent on large-scale training data and tends to degrade when trained on small datasets. To improve the computational efficiency of Vision Transformers, this study proposes a hybrid architecture that combines Gated Positional Self-Attention (GPSA) with dynamic token pruning based on Proximal Policy Optimization (PPO). Through experiments on CIFAR-10 at 224×224 resolution, we aim to achieve substantial FLOPs reduction while maintaining accuracy by jointly learning the gating mechanism and pruning ratio. | |
| キーワード | （和） | ViT / 小規模データ / 強化学習 / / / / / |
| （英） | ViT / Small Datasets / Reinforcement Learning / / / / / | |
| 文献情報 | 信学技報, vol. 125, no. 346, NC2025-57, pp. 53-57, 2026年1月. | |
| 資料番号 | NC2025-57 | |
| 発行日 | 2026-01-21 (NLP, MBE, NC) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | NLP2025-95 MBE2025-35 NC2025-57 |
|
| 研究会情報 | |
| 研究会 | NC MBE NLP IEE-MBE |
| 開催期間 | 2026-01-28 - 2026-01-30 |
| 開催地（和） | 九州工業大学 若松キャンパス |
| 開催地（英） | Kyushu Institute of Technology, Wakamatsu Campus |
| テーマ（和） | NC, NLP, ME，一般 |
| テーマ（英） | NC, NLP, ME, etc. |
| 講演論文情報の詳細 | |
| 申込み研究会 | NC |
| 会議コード | 2026-01-NC-MBE-NLP-MBE |
| 本文の言語 | 日本語 |
| タイトル（和） | Vision Transformerにおける動的最適化法の提案 |
| サブタイトル（和） | |
| タイトル（英） | A Proposal of Dymamic Optimization for Vision Transformer |
| サブタイトル（英） | |
| キーワード(1)（和/英） | ViT / ViT |
| キーワード(2)（和/英） | 小規模データ / Small Datasets |
| キーワード(3)（和/英） | 強化学習 / Reinforcement Learning |
| キーワード(4)（和/英） | / |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 張 宏毅 / Hongyi Zhang / チョウ コウキ |
| 第1著者 所属（和/英） | 日本大学大学院 (略称： 日大) Graduate School of Nihon University (略称： Nihon Univ.) |
| 第2著者 氏名（和/英/ヨミ） | 山内 ゆかり / Yukari Yamauchi / ヤマウチ ユカリ |
| 第2著者 所属（和/英） | 日本大学 (略称： 日大) Nihon University (略称： Nihon Univ.) |
| 講演者 | 第1著者 |
| 発表日時 | 2026-01-28 16:15:00 |
| 発表時間 | 25分 |
| 申込先研究会 | NC |
| 資料番号 | NLP2025-95, MBE2025-35, NC2025-57 |
| 巻番号（vol） | vol.125 |
| 号番号（no） | no.344(NLP), no.345(MBE), no.346(NC) |
| ページ範囲 | pp.53-57 |
| ページ数 | 5 |
| 発行日 | 2026-01-21 (NLP, MBE, NC) |
[研究会発表申込システムのトップページに戻る]