| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2025-08-05 18:15 ゼロ次最適化と誤差逆伝播の併用による軽量なオンデバイス学習の検討 ○杉浦圭祐・山口佳樹（筑波大）・松谷宏紀（慶大）  CPSY2025-49 DC2025-49 RECONF2025-49 |
|
| 抄録 | （和） | ゼロ次最適化 (ZOO; Zeroth-Order Optimization) は、誤差逆伝播法 (BP; Backpropagation) に代わる学習手法として注目されている。 ZOOの特長として、推論時とほぼ変わらないメモリコストでモデルを学習できる点が挙げられ、リソースの限られたエッジデバイスでの利用 (オンデバイス学習) に適合している。 本論文では、ZOOベースのオンデバイス学習を検討し、新たなアルゴリズムとしてElasticZOとElasticZO-INT8を提案する。 ElasticZOでは、モデルの大部分をZOOで学習するが、最終層に近い部分にのみBPを用いることで、学習速度と最終的な精度を改善する。 ElasticZO-INT8は、整数演算のみの (浮動小数点演算を全く用いない) ZOOベース学習手法として、初めてのものである。 画像分類タスク (LeNet-5とFashion-MNIST) での評価により、純粋なZOO、BPベース学習と比べて、学習コストと精度とのトレードオフが改善することを示した。 ElasticZOはZOOと比べて0.17-2.4%の追加のメモリコストで、5.2-9.5%精度を改善できることを確認した。 また、ElasticZO-INT8はElasticZOと比べて学習を1.38-1.42倍高速化し、さらにメモリコストを1.46-1.60倍削減した。 |
| （英） | (Not available yet) | |
| キーワード | （和） | エッジ機械学習 / ゼロ次最適化 / 同時摂動確率近似 / 量子化 / / / / |
| （英） | / / / / / / / | |
| 文献情報 | 信学技報, vol. 125, no. 142, CPSY2025-49, pp. 146-151, 2025年8月. | |
| 資料番号 | CPSY2025-49 | |
| 発行日 | 2025-07-28 (CPSY, DC, RECONF) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | CPSY2025-49 DC2025-49 RECONF2025-49 |
|
| 研究会情報 | |
| 研究会 | CPSY DC RECONF IPSJ-ARC |
| 開催期間 | 2025-08-04 - 2025-08-06 |
| 開催地（和） | サンポートホール高松 |
| 開催地（英） | Sunport Hall Takamatsu |
| テーマ（和） | SWoPP2025: 並列／分散／協調システムとディペンダブルコンピューティングおよび一般 |
| テーマ（英） | SWoPP2025: Parallel, Distributed and Cooperative Processing Systems and Dependable Computing |
| 講演論文情報の詳細 | |
| 申込み研究会 | CPSY |
| 会議コード | 2025-08-CPSY-DC-RECONF-ARC |
| 本文の言語 | 日本語 |
| タイトル（和） | ゼロ次最適化と誤差逆伝播の併用による軽量なオンデバイス学習の検討 |
| サブタイトル（和） | |
| タイトル（英） | Lightweight On-Device Learning with Zeroth-Order Optimization and Backpropagation |
| サブタイトル（英） | |
| キーワード(1)（和/英） | エッジ機械学習 / |
| キーワード(2)（和/英） | ゼロ次最適化 / |
| キーワード(3)（和/英） | 同時摂動確率近似 / |
| キーワード(4)（和/英） | 量子化 / |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 杉浦 圭祐 / Keisuke Sugiura / スギウラ ケイスケ |
| 第1著者 所属（和/英） | 筑波大学 (略称： 筑波大) University of Tsukuba (略称： Univ. Tsukuba) |
| 第2著者 氏名（和/英/ヨミ） | 山口 佳樹 / Yoshiki Yamaguchi / ヤマグチ ヨシキ |
| 第2著者 所属（和/英） | 筑波大学 (略称： 筑波大) University of Tsukuba (略称： Univ. Tsukuba) |
| 第3著者 氏名（和/英/ヨミ） | 松谷 宏紀 / Hiroki Matsutani / マツタニ ヒロキ |
| 第3著者 所属（和/英） | 慶應義塾大学 (略称： 慶大) Keio University (略称： Keio Univ.) |
| 講演者 | 第1著者 |
| 発表日時 | 2025-08-05 18:15:00 |
| 発表時間 | 25分 |
| 申込先研究会 | CPSY |
| 資料番号 | CPSY2025-49, DC2025-49, RECONF2025-49 |
| 巻番号（vol） | vol.125 |
| 号番号（no） | no.142(CPSY), no.143(DC), no.144(RECONF) |
| ページ範囲 | pp.146-151 |
| ページ数 | 6 |
| 発行日 | 2025-07-28 (CPSY, DC, RECONF) |
[研究会発表申込システムのトップページに戻る]