| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2024-08-08 15:55 エッジ向けGATの分布シフト検知とオンデバイスファインチューニング ○中澤和貴・松谷宏紀（慶大）  CPSY2024-23 DC2024-23 RECONF2024-23 |
|
| 抄録 | （和） | 近年, エッジデバイス上の機械学習を行うオンデバイス学習が通信量を抑えられる点やリアルタイム性に優れる点で注目されており, オンデバイス学習ではデバイスに近いところでモデルを学習できる. 本研究では, 深層学習を用いてグラフ構造を有するデータをエッジで処理することを想定するが, そのためのモデルとしてGNN (Graph Neural Network) や, GNNに対してグラフ構造のある部分に着目することで学習能力を高める設計をしたGAT (Graph Attention Network)が開発されている. これらの機械学習モデルでは事前学習データと実環境での推論データの分布が似通うことを前提としていることが多いが, 事前学習時の環境とデプロイされる本番環境で分布シフトが発生し, 精度劣化に繋がる可能性がある. そこで本研究ではエッジ向けのGATモデルを基盤に, エッジデバイス上で分布シフトを定量的に評価するCMD (Central Moment Discrepancy) を計算し, さらに LoRA (Low-Rank Adaptation) によるファインチューニングを行うことで, 分布シフトによる精度低下を検出し, 計算コストを抑えつつ精度を回復させる. 分布シフトが生じているデータセットを用いた実験の結果, 提案手法によって再学習時のメモリ消費量が事前学習時のメモリ消費量の 1/163 にまで減少し, 精度は 80.8 % 回復した. |
| （英） | (Not available yet) | |
| キーワード | （和） | オンデバイス学習 / Graph Attention Network / 分布シフト / CMD / LoRA / / / |
| （英） | On-device learning / Graph Attention Network / Distribution shift / CMD / LoRA / / / | |
| 文献情報 | 信学技報, vol. 124, no. 148, CPSY2024-23, pp. 34-39, 2024年8月. | |
| 資料番号 | CPSY2024-23 | |
| 発行日 | 2024-07-31 (CPSY, DC, RECONF) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | CPSY2024-23 DC2024-23 RECONF2024-23 |
|
| 研究会情報 | |
| 研究会 | CPSY DC RECONF IPSJ-ARC |
| 開催期間 | 2024-08-07 - 2024-08-09 |
| 開催地（和） | あわぎんホール |
| 開催地（英） | Awagin Hall |
| テーマ（和） | SWoPP2024: 並列／分散／協調システムとディペンダブルコンピューティングおよび一般 |
| テーマ（英） | SWoPP2024: Parallel, Distributed and Cooperative Processing Systems and Dependable Computing |
| 講演論文情報の詳細 | |
| 申込み研究会 | CPSY |
| 会議コード | 2024-08-CPSY-DC-RECONF-ARC |
| 本文の言語 | 日本語 |
| タイトル（和） | エッジ向けGATの分布シフト検知とオンデバイスファインチューニング |
| サブタイトル（和） | |
| タイトル（英） | Distribution Shift Detection and On-device Fine-tuning of GAT for Edge Devices |
| サブタイトル（英） | |
| キーワード(1)（和/英） | オンデバイス学習 / On-device learning |
| キーワード(2)（和/英） | Graph Attention Network / Graph Attention Network |
| キーワード(3)（和/英） | 分布シフト / Distribution shift |
| キーワード(4)（和/英） | CMD / CMD |
| キーワード(5)（和/英） | LoRA / LoRA |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 中澤 和貴 / Kazuki Nakazawa / ナカザワ カズキ |
| 第1著者 所属（和/英） | 慶應義塾大学 (略称： 慶大) Keio University (略称： Keio Univ.) |
| 第2著者 氏名（和/英/ヨミ） | 松谷 宏紀 / Hiroki Matsutani / マツタニ ヒロキ |
| 第2著者 所属（和/英） | 慶應義塾大学 (略称： 慶大) Keio University (略称： Keio Univ.) |
| 講演者 | 第1著者 |
| 発表日時 | 2024-08-08 15:55:00 |
| 発表時間 | 25分 |
| 申込先研究会 | CPSY |
| 資料番号 | CPSY2024-23, DC2024-23, RECONF2024-23 |
| 巻番号（vol） | vol.124 |
| 号番号（no） | no.148(CPSY), no.149(DC), no.150(RECONF) |
| ページ範囲 | pp.34-39 |
| ページ数 | 6 |
| 発行日 | 2024-07-31 (CPSY, DC, RECONF) |
[研究会発表申込システムのトップページに戻る]