| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2024-09-27 14:15 QLoRAとベイズ推論の組合せの有効性に関する研究 ○髙屋友輔・佐伯昌造・佐々木隆志・川原 稔・阿萬裕久（愛媛大）  NC2024-34 |
|
| 抄録 | （和） | 本研究では，大規模言語モデル（LLM）のファインチューニングにおける「高コストと過剰適合」という重要な問題設定に対して，新たにLaplace-QLoRAという解決法を提案する． 具体的には，ファインチューニングプロセスにおけるコスト削減と過剰適合の抑制を目的とした問題設定に対して，Laplace-QLoRAを用いることでこれらの課題に対応する．提案手法では，QLoRAを用いて事前学習済みモデルのファインチューニングを行う．次にラプラス近似を適用して事後分布を計算することで，モデルの精度向上とリソース使用の効率化を図る．実験結果から，Laplace-QLoRAが従来のファインチューニング手法と比較して，メモリ効率や推論時間の点で優れた性能を示した．特に小規模データセットにおいて高い予測精度を達成したことも確認した． |
| （英） | In this study, we propose a novel solution called Laplace-QLoRA to address the critical issues of "high cost and overfitting" in fine-tuning large language models (LLMs). Specifically, Laplace-QLoRA tackles the problem of reducing costs and mitigating overfitting in the fine-tuning process. The proposed method first applies QLoRA to fine-tune a pre-trained model and then uses Laplace approximation to calculate the posterior distribution. This approach aims to improve model accuracy and optimize resource usage. Experimental results show that Laplace-QLoRA outperforms conventional fine-tuning methods in terms of memory efficiency and inference time. Notably, it also achieved high prediction accuracy on small datasets. | |
| キーワード | （和） | ファインチューニング / 過剰適合 / QLoRA / ベイズ推論 / ラプラス近似 / / / |
| （英） | Fine-Tune / Overfitting / QLoRA / Bayesian inference / Laplace approximation / / / | |
| 文献情報 | 信学技報, vol. 124, no. 194, NC2024-34, pp. 11-16, 2024年9月. | |
| 資料番号 | NC2024-34 | |
| 発行日 | 2024-09-20 (NC) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | NC2024-34 |
|
| 研究会情報 | |
| 研究会 | NC MBE |
| 開催期間 | 2024-09-27 - 2024-09-28 |
| 開催地（和） | 東北大学 |
| 開催地（英） | Tohoku Univ. |
| テーマ（和） | NC，ME，一般 |
| テーマ（英） | NC, ME |
| 講演論文情報の詳細 | |
| 申込み研究会 | NC |
| 会議コード | 2024-09-NC-MBE |
| 本文の言語 | 日本語 |
| タイトル（和） | QLoRAとベイズ推論の組合せの有効性に関する研究 |
| サブタイトル（和） | |
| タイトル（英） | Study on the effectiveness of the combination of QLoRA and Bayesian inference |
| サブタイトル（英） | |
| キーワード(1)（和/英） | ファインチューニング / Fine-Tune |
| キーワード(2)（和/英） | 過剰適合 / Overfitting |
| キーワード(3)（和/英） | QLoRA / QLoRA |
| キーワード(4)（和/英） | ベイズ推論 / Bayesian inference |
| キーワード(5)（和/英） | ラプラス近似 / Laplace approximation |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 髙屋 友輔 / Yusuke Takaya / タカヤ ユウスケ |
| 第1著者 所属（和/英） | 愛媛大学 (略称： 愛媛大) Ehime University (略称： Ehime Univ.) |
| 第2著者 氏名（和/英/ヨミ） | 佐伯 昌造 / Shozo Saeki / サエキ ショウゾウ |
| 第2著者 所属（和/英） | 愛媛大学 (略称： 愛媛大) Ehime University (略称： Ehime Univ.) |
| 第3著者 氏名（和/英/ヨミ） | 佐々木 隆志 / Takashi Sasaki / ササキ タカシ |
| 第3著者 所属（和/英） | 愛媛大学 (略称： 愛媛大) Ehime University (略称： Ehime Univ.) |
| 第4著者 氏名（和/英/ヨミ） | 川原 稔 / Minoru Kawahara / カワハラ ミノル |
| 第4著者 所属（和/英） | 愛媛大学 (略称： 愛媛大) Ehime University (略称： Ehime Univ.) |
| 第5著者 氏名（和/英/ヨミ） | 阿萬 裕久 / Hirohisa Aman / アマン ヒロヒサ |
| 第5著者 所属（和/英） | 愛媛大学 (略称： 愛媛大) Ehime University (略称： Ehime Univ.) |
| 講演者 | 第1著者 |
| 発表日時 | 2024-09-27 14:15:00 |
| 発表時間 | 25分 |
| 申込先研究会 | NC |
| 資料番号 | NC2024-34 |
| 巻番号（vol） | vol.124 |
| 号番号（no） | no.194 |
| ページ範囲 | pp.11-16 |
| ページ数 | 6 |
| 発行日 | 2024-09-20 (NC) |
[研究会発表申込システムのトップページに戻る] (日本語ページの行間係数: 1)