| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2026-06-01 14:40 CGLA上の多様なAIワークロードに向けた統合ソフトウェアスタックの実装と今後の展望 ○安藤拓翔・宗片吉史・中島康彦（奈良先端大）  CPSY2026-1 DC2026-1 RECONF2026-1 |
|
| 抄録 | （和） | AI ワークロードの多様化に伴い，推論基盤には電力効率を保ちながら異なるワークロードへ展開できる柔軟性が求められる．GPU は汎用性が高い一方で消費電力が大きく，専用 ASIC は高効率だが対象ワークロードが固定されやすい．FPGA は柔軟だが，動作周波数と実行性能に制約がある．そこで本稿では，これらの中間に位置する CGLA (CPU-Grounded Linear Array)上で，llama.cpp，whisper.cpp，stable-diffusion.cpp などの ggml 系 OSS を対象に，共通する実装方法と初期評価を整理する．CPU 側の行列積・dot積実装を IMAX へオフロードし，この実装方法を音声認識と画像生成にも適用した．既存結果より，大規模言語モデルのトークン生成フェーズは LOAD とホスト側処理に支配され，動的チャンク分割によりトークン解析フェーズは 1.62 倍に高速化した．Whisper 音声認識は Jetson AGX Orin 比 1.90 倍，RTX 4090 比 9.83 倍の電力効率を達成した．Stable Diffusion では FP16/FP32/整数型が混在したモデルの実装に成功した．これらを踏まえ，共通のフロントエンド，計測に基づくランタイム，方策に応じて切り替えるバックエンドから成るソフトウェアスタックの論点を示す． |
| （英） | As AI workloads diversify, inference platforms must provide both power efficiency and the flexibility to support a range of workloads. GPUs are highly programmable but power-hungry, whereas dedicated ASICs are efficient but typically tailored to specific workloads. FPGAs are flexible, but their operating frequency and execution performance are often limited. In this paper, we present a common implementation approach and an initial evaluation for ggml-based OSS workloads on CGLA/IMAX, including llama.cpp, whisper.cpp, and stable-diffusion.cpp. In llama.cpp, we offload CPU-side matrix multiplication and dot-product kernels to IMAX and extend the same implementation boundary to ASR and image generation workloads. Our prior results show that LLM decode is dominated by LOAD and host-side processing, Q-Snap improves prefill performance by 1.62x, Whisper ASR achieves 1.90x and 9.83x higher energy efficiency than Jetson AGX Orin and RTX 4090, respectively, and Stable Diffusion is implemented with mixed FP16/FP32/quantized execution. Based on these observations, we discuss software-stack issues for CGLA, including a common frontend, a measurement-driven runtime, and policy-specialized backends. | |
| キーワード | （和） | CGLA / AI アクセラレータ / FPGA / ソフトウェアスタック / ランタイムシステム / / / |
| （英） | / / / / / / / | |
| 文献情報 | 信学技報, vol. 126, no. 49, CPSY2026-1, pp. 1-6, 2026年6月. | |
| 資料番号 | CPSY2026-1 | |
| 発行日 | 2026-05-25 (CPSY, DC, RECONF) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | CPSY2026-1 DC2026-1 RECONF2026-1 |
|
| 研究会情報 | |
| 研究会 | CPSY DC RECONF IPSJ-ARC |
| 開催期間 | 2026-06-01 - 2026-06-03 |
| 開催地（和） | 秋保リゾートホテルクレセント |
| 開催地（英） | |
| テーマ（和） | 【HotSPA2026】 アーキテクチャ，コンピュータシステム，ディペンダブルコンピューティング， リコンフィギャラブルシステム，および一般 |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | CPSY |
| 会議コード | 2026-06-CPSY-DC-RECONF-ARC |
| 本文の言語 | 日本語 |
| タイトル（和） | CGLA上の多様なAIワークロードに向けた統合ソフトウェアスタックの実装と今後の展望 |
| サブタイトル（和） | |
| タイトル（英） | Future Directions and Implementation of an Integrated Software Stack for Diverse AI Workloads on CGLA |
| サブタイトル（英） | |
| キーワード(1)（和/英） | CGLA / |
| キーワード(2)（和/英） | AI アクセラレータ / |
| キーワード(3)（和/英） | FPGA / |
| キーワード(4)（和/英） | ソフトウェアスタック / |
| キーワード(5)（和/英） | ランタイムシステム / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 安藤 拓翔 / Takuto Ando / アンドウ タクト |
| 第1著者 所属（和/英） | 奈良先端科学技術大学院大学 (略称： 奈良先端大) Nara Institute of Science and Technology (略称： NAIST) |
| 第2著者 氏名（和/英/ヨミ） | 宗片 吉史 / Yoshifumi Munakata / ムナカタ ヨシフミ |
| 第2著者 所属（和/英） | 奈良先端科学技術大学院大学 (略称： 奈良先端大) Nara Institute of Science and Technology (略称： NAIST) |
| 第3著者 氏名（和/英/ヨミ） | 中島 康彦 / Yasuhiko Nakashima / ナカシマ ヤスヒコ |
| 第3著者 所属（和/英） | 奈良先端科学技術大学院大学 (略称： 奈良先端大) Nara Institute of Science and Technology (略称： NAIST) |
| 講演者 | 第1著者 |
| 発表日時 | 2026-06-01 14:40:00 |
| 発表時間 | 20分 |
| 申込先研究会 | CPSY |
| 資料番号 | CPSY2026-1, DC2026-1, RECONF2026-1 |
| 巻番号（vol） | vol.126 |
| 号番号（no） | no.49(CPSY), no.50(DC), no.51(RECONF) |
| ページ範囲 | pp.1-6 |
| ページ数 | 6 |
| 発行日 | 2026-05-25 (CPSY, DC, RECONF) |
[研究会発表申込システムのトップページに戻る]