| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2026-09-16 10:30 隠れ状態介入によるLLMの因果関係分類 ○坂地泰紀（北大）  NLC2026-9 |
|
| 抄録 | （和） | 金融分析等で用いるオープンウェイトLLMの因果関係認識のため，ベースLLMを凍結したまま中間層の隠れ状態を小型エンコーダで変換・注入する軽量手法「Inject」を提案．3モデル・3データセットの実験で，LoRAが引き起こす性能退行を回避しつつ，gemma-4-E2Bで最大+0.32の精度向上を達成し，LoRA SFTと相補的であることを示した． |
| （英） | For causal-relation recognition with open-weight LLMs used in domains such as financial analysis, we propose "Inject," a lightweight method that keeps the base LLM frozen while a small encoder transforms and injects hidden states at an intermediate layer. Experiments on three models and three datasets show that the method is complementary to LoRA SFT: it avoids the performance regressions caused by LoRA and achieves accuracy gains of up to +0.32 on gemma-4-E2B. | |
| キーワード | （和） | 大規模言語モデル / 因果関係分類 / オープンウェイトLLM / 軽量介入 / 残差ストリーム注入 / LoRA / / |
| （英） | large language models / causal-relation classification / open-weight LLMs / lightweight intervention / residual-stream injection / LoRA / / | |
| 文献情報 | 信学技報, vol. 126, no. 176, NLC2026-9, pp. 47-52, 2026年9月. | |
| 資料番号 | NLC2026-9 | |
| 発行日 | 2026-09-07 (NLC) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | NLC2026-9 |
|
| 研究会情報 | |
| 研究会 | NLC IPSJ-NL |
| 開催期間 | 2026-09-14 - 2026-09-16 |
| 開催地（和） | 北海道新聞帯広支社会議室 |
| 開催地（英） | Hokkaido-Shinbun Obihiro Branch Office Conference Room |
| テーマ（和） | 第23回テキストマイニング・シンポジウム |
| テーマ（英） | The 23rd Text Mining Symposium |
| 講演論文情報の詳細 | |
| 申込み研究会 | NLC |
| 会議コード | 2026-09-NLC-NL |
| 本文の言語 | 日本語 |
| タイトル（和） | 隠れ状態介入によるLLMの因果関係分類 |
| サブタイトル（和） | |
| タイトル（英） | Causal-Relation Classification by Hidden-State Injection in Frozen LLMs |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 大規模言語モデル / large language models |
| キーワード(2)（和/英） | 因果関係分類 / causal-relation classification |
| キーワード(3)（和/英） | オープンウェイトLLM / open-weight LLMs |
| キーワード(4)（和/英） | 軽量介入 / lightweight intervention |
| キーワード(5)（和/英） | 残差ストリーム注入 / residual-stream injection |
| キーワード(6)（和/英） | LoRA / LoRA |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 坂地 泰紀 / Hiroki Sakaji / |
| 第1著者 所属（和/英） | 北海道大学 (略称： 北大) Hokkaido University (略称： Hokudai) |
| 講演者 | 第1著者 |
| 発表日時 | 2026-09-16 10:30:00 |
| 発表時間 | 30分 |
| 申込先研究会 | NLC |
| 資料番号 | NLC2026-9 |
| 巻番号（vol） | vol.126 |
| 号番号（no） | no.176 |
| ページ範囲 | pp.47-52 |
| ページ数 | 6 |
| 発行日 | 2026-09-07 (NLC) |
[研究会発表申込システムのトップページに戻る]