| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2025-09-18 11:10 層の入出力の差分ベクトルを用いたSparse Autoencoderによる大規模言語モデルの機能分析 ○宮本優希・湯本高行（兵庫県立大）  DE2025-18 |
|
| 抄録 | （和） | 大規模言語モデルは多くのタスクで高精度を達成しており，その内部構造を理解しようとする試みが近年注目されている．モデルの性能を支えるAttention機構やMLPを含む層に関しては，浅い層で品詞や係り受けのような基本構造を，深い層では意味的な特徴を捉えていることが示されている．また，後半の層を削除しても性能が大きく低下しないことが報告されており，各層の機能の分化や寄与の差異が示唆されている．本研究では，（１）タスクの回答が確定する層と（２）タスクの正答率に影響を与える層が出力に追加する特徴を明らかにすることが目的である．層の入出力表現の差分ベクトルに着目し，それをSparse Autoencoder（SAE）で学習することで，層が出力に追加した特徴について解析する．LLMの層は残差接続により元の入力が足されるため，冗長な情報が混在する．したがって，差分ベクトルに注目することで新たに追加される特徴に絞った分析を行い，各層が出力に与える具体的な特徴量を発見することを目指す． |
| （英） | ||
| キーワード | （和） | LLM / Sparse Autoencoder / / / / / / |
| （英） | / / / / / / / | |
| 文献情報 | 信学技報, vol. 125, no. 179, DE2025-18, pp. 60-65, 2025年9月. | |
| 資料番号 | DE2025-18 | |
| 発行日 | 2025-09-09 (DE) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | DE2025-18 |
|
| 研究会情報 | |
| 研究会 | IPSJ-DBS IPSJ-IFAT DE |
| 開催期間 | 2025-09-16 - 2025-09-18 |
| 開催地（和） | アクトシティ浜松コングレスセンター |
| 開催地（英） | Hamamatsu ACT city |
| テーマ（和） | ビッグデータを対象とした管理・情報検索・知識獲得および一般 |
| テーマ（英） | Bigdata management, information retrieval, knowledge discovery, etc. |
| 講演論文情報の詳細 | |
| 申込み研究会 | DE |
| 会議コード | 2025-09-DBS-IFAT-DE |
| 本文の言語 | 日本語（英語タイトルなし） |
| タイトル（和） | 層の入出力の差分ベクトルを用いたSparse Autoencoderによる大規模言語モデルの機能分析 |
| サブタイトル（和） | |
| タイトル（英） | |
| サブタイトル（英） | |
| キーワード(1)（和/英） | LLM / |
| キーワード(2)（和/英） | Sparse Autoencoder / |
| キーワード(3)（和/英） | / |
| キーワード(4)（和/英） | / |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 宮本 優希 / / ミヤモト ユウキ |
| 第1著者 所属（和/英） | 兵庫県立大学 (略称： 兵庫県立大) (略称： ) |
| 第2著者 氏名（和/英/ヨミ） | 湯本 高行 / / ユモト タカユキ |
| 第2著者 所属（和/英） | 兵庫県立大学 (略称： 兵庫県立大) (略称： ) |
| 講演者 | 第1著者 |
| 発表日時 | 2025-09-18 11:10:00 |
| 発表時間 | 25分 |
| 申込先研究会 | DE |
| 資料番号 | DE2025-18 |
| 巻番号（vol） | vol.125 |
| 号番号（no） | no.179 |
| ページ範囲 | pp.60-65 |
| ページ数 | 6 |
| 発行日 | 2025-09-09 (DE) |
[研究会発表申込システムのトップページに戻る]