| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2026-03-17 10:55 Nyström低ランク近似を用いた注意機構の軽量化とその演算アーキテクチャ ○古田湧士・曻 航己・安藤洸太・丸亀孝生・浅井哲也（北大）  CCS2025-59 |
|
| 抄録 | （和） | 本研究では、トランスフォーマー(Transformer)の注意機構における計算量とメモリ消費の削減を目的に、Nyström法による低ランク近似を用いた演算アーキテクチャを提案する。従来の注意機構は系列長の二乗のオーダーでリソースを消費するが、提案手法ではこれを線形オーダーに抑制する。設計では、演算の統合とストリーム処理、後段の演算に最適化したメモリアクセス制御、およびパイプライン化とPEの並列配置によるステージ均等化の3つの最適化を導入し、計算コストの不均衡とメモリ帯域の制約を解消した。評価の結果、系列長の増加に対しても内部メモリ使用量が一定に保たれるスケーラビリティを確認し、限られたリソース下での効率的な動作が期待できることを示した。 |
| （英） | This paper proposes an operation architecture for the attention mechanism in Transformers using low-rank approximation based on the Nyström method to reduce computational complexity and memory consumption. While the conventional attention mechanism requires resources on the order of the square of the sequence length, the proposed method limits this to a linear order. The design introduces three optimizations: integration of operations with stream processing, memory access control optimized for subsequent operations, and pipelining and load balancing through the parallel arrangement of Processing Elements (PEs). These address the imbalance of computational costs and memory bandwidth constraints. Evaluation results demonstrate high scalability, showing that internal memory usage remains constant even as sequence length increases, thereby verifying efficient operation under resource-constrained environments. | |
| キーワード | （和） | トランスフォーマー / 注意機構 / エッジAI / / / / / |
| （英） | Transformer / Attention Mechanism / Edge AI / / / / / | |
| 文献情報 | 信学技報, vol. 125, no. 416, CCS2025-59, pp. 29-34, 2026年3月. | |
| 資料番号 | CCS2025-59 | |
| 発行日 | 2026-03-10 (CCS) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | CCS2025-59 |
|
| 研究会情報 | |
| 研究会 | CCS |
| 開催期間 | 2026-03-17 - 2026-03-18 |
| 開催地（和） | 北海道 ルスツリゾートホテル&コンベンション |
| 開催地（英） | RUSUTSU RESORT |
| テーマ（和） | CCS, 一般 |
| テーマ（英） | CCS, etc. |
| 講演論文情報の詳細 | |
| 申込み研究会 | CCS |
| 会議コード | 2026-03-CCS |
| 本文の言語 | 日本語 |
| タイトル（和） | Nyström低ランク近似を用いた注意機構の軽量化とその演算アーキテクチャ |
| サブタイトル（和） | |
| タイトル（英） | Lightweight Attention Mechanisms Using Nystroem Low-Rank Approximation and Their Computational Architectures |
| サブタイトル（英） | |
| キーワード(1)（和/英） | トランスフォーマー / Transformer |
| キーワード(2)（和/英） | 注意機構 / Attention Mechanism |
| キーワード(3)（和/英） | エッジAI / Edge AI |
| キーワード(4)（和/英） | / |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 古田 湧士 / Yushi Furuta / フルタ ユウシ |
| 第1著者 所属（和/英） | 北海道大学 (略称： 北大) Hokkaido University (略称： Hokkaido Univ.) |
| 第2著者 氏名（和/英/ヨミ） | 曻 航己 / Koki Nobori / ノボリ コウキ |
| 第2著者 所属（和/英） | 北海道大学 (略称： 北大) Hokkaido University (略称： Hokkaido Univ.) |
| 第3著者 氏名（和/英/ヨミ） | 安藤 洸太 / Kota Ando / アンドウ コウタ |
| 第3著者 所属（和/英） | 北海道大学 (略称： 北大) Hokkaido University (略称： Hokkaido Univ.) |
| 第4著者 氏名（和/英/ヨミ） | 丸亀 孝生 / Takao Marukame / マルカメ タカオ |
| 第4著者 所属（和/英） | 北海道大学 (略称： 北大) Hokkaido University (略称： Hokkaido Univ.) |
| 第5著者 氏名（和/英/ヨミ） | 浅井 哲也 / Tetsuya Asai / アサイ テツヤ |
| 第5著者 所属（和/英） | 北海道大学 (略称： 北大) Hokkaido University (略称： Hokkaido Univ.) |
| 講演者 | 第1著者 |
| 発表日時 | 2026-03-17 10:55:00 |
| 発表時間 | 20分 |
| 申込先研究会 | CCS |
| 資料番号 | CCS2025-59 |
| 巻番号（vol） | vol.125 |
| 号番号（no） | no.416 |
| ページ範囲 | pp.29-34 |
| ページ数 | 6 |
| 発行日 | 2026-03-10 (CCS) |
[研究会発表申込システムのトップページに戻る]