| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2025-01-24 10:40 大規模言語モデル Llama 3 を用いた会話からのうつ病検出 ○池内謙祐・岸本泰士郎・中井文哉・ブアジジ モンデル・奥西泰地・鄭 楚恒・北沢桃子・堀込俊郎・大槻知明（慶大）  SeMI2024-77 |
|
| 抄録 | （和） | うつ病は社会に多大な影響を与えている. うつ病は早期治療により被害を抑えられるため, 早期発見が求められている. Llama 3 など, 最新の大規模言語モデルを利用したモデルに関して, プロンプトエンジニアリングを行ったモデルは高精度でうつ病を検出できることが報告されている. 一方, ファインチューニング手法は, 推論時間は短いが, 学習するために必要なメモリが多いうえ, 分類モデルにおいて高いうつ病検出精度を達成したという報告はない. 本研究はファインチューニングを用いてプロンプトエンジニアリングを行ったモデルと同程度の精度でより高速にうつ病を検出することが目的である. まず, 大規模言語モデルのパラメータを量子化し, 学習に必要なメモリを削減した. 次に, 分類層を用意するのではなく, 元の大規模言語モデルの構造のまま利用し, 生成モデルとして学習させた. DAIC-WOZ データセットで検証した結果, うつ病検出において F1 score は 84% となり, プロンプトエンジニアリングを行ったモデルと同程度のうつ病検出精度を達成しつつ, より高速に推論することを可能にした. また, 本モデルをプライベートデータセット PROMPT を用いてうつ病検出精度を検証した結果, F1 score は 82% となった. これにより, モデルの高いうつ病検出が, 事前学習された可能性があるオープンデータだけに依存しているわけではないことを示した. |
| （英） | Depression has a significant impact on society. Early detection is essential because early treatment can mitigate its damages. Models that use state-of-the-art large language models, such as Llama 3, and employ prompt engineering have been reported to detect depression with high accuracy. On the other hand, while fine-tuning techniques offer shorter inference times, they require substantial memory for training and have not been reported to achieve high detection accuracy in classification or regression models. This study aims to detect depression more rapidly with accuracy comparable to models that use prompt engineering, using fine-tuning techniques. First, the parameters of the large language model were quantized to reduce the memory required for training. Instead of introducing classification or regression layers, the original structure of the large language model was preserved and trained as a generative model. Validation using the DAIC-WOZ dataset resulted in an F1 score of 84%, achieving depression detection accuracy similar to models using prompt engineering, while enabling faster inference. Additionally, when evaluated using the private dataset PROMPT, the model achieved an F1 score of 82%, demonstrating that its high accuracy in detecting depression is not solely reliant on open datasets that might have been pre-trained. |
|
| キーワード | （和） | うつ病検出 / 大規模言語モデル / ファインチューニング / 量子化 / / / / |
| （英） | Depression detection / Large Language Model / Fine-tuning / Quantization / / / / | |
| 文献情報 | 信学技報, vol. 124, no. 353, SeMI2024-77, pp. 88-93, 2025年1月. | |
| 資料番号 | SeMI2024-77 | |
| 発行日 | 2025-01-16 (SeMI) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | SeMI2024-77 |
|
| 研究会情報 | |
| 研究会 | SeMI |
| 開催期間 | 2025-01-23 - 2025-01-24 |
| 開催地（和） | 湯河原温泉（ホテルあかね・湯河原町商工会） |
| 開催地（英） | |
| テーマ（和） | センシング，モビリティ，モバイル・ユビキタスコンピューティング，センサ・アドホック・モバイルネットワーク，アプリケーション，一般 |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | SeMI |
| 会議コード | 2025-01-SeMI |
| 本文の言語 | 日本語 |
| タイトル（和） | 大規模言語モデル Llama 3 を用いた会話からのうつ病検出 |
| サブタイトル（和） | |
| タイトル（英） | The Llama 3 fine-tuning model for depression detection from conversation |
| サブタイトル（英） | |
| キーワード(1)（和/英） | うつ病検出 / Depression detection |
| キーワード(2)（和/英） | 大規模言語モデル / Large Language Model |
| キーワード(3)（和/英） | ファインチューニング / Fine-tuning |
| キーワード(4)（和/英） | 量子化 / Quantization |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 池内 謙祐 / Kenyu Ikeuchi / イケウチ ケンユウ |
| 第1著者 所属（和/英） | 慶應義塾大学 (略称： 慶大) Keio University (略称： Keio Univ.) |
| 第2著者 氏名（和/英/ヨミ） | 岸本 泰士郎 / Taishiro Kishimoto / キシモト タイシロウ |
| 第2著者 所属（和/英） | 慶應義塾大学 (略称： 慶大) Keio University (略称： Keio Univ.) |
| 第3著者 氏名（和/英/ヨミ） | 中井 文哉 / Fumiya Nakai / ナカイ フミヤ |
| 第3著者 所属（和/英） | 慶應義塾大学 (略称： 慶大) Keio University (略称： Keio Univ.) |
| 第4著者 氏名（和/英/ヨミ） | ブアジジ モンデル / Mondher Bouazizi / |
| 第4著者 所属（和/英） | 慶應義塾大学 (略称： 慶大) Keio University (略称： Keio Univ.) |
| 第5著者 氏名（和/英/ヨミ） | 奥西 泰地 / Taichi Okunishi / オクニシ タイチ |
| 第5著者 所属（和/英） | 慶應義塾大学 (略称： 慶大) Keio University (略称： Keio Univ.) |
| 第6著者 氏名（和/英/ヨミ） | 鄭 楚恒 / Chuheng Zheng / |
| 第6著者 所属（和/英） | 慶應義塾大学 (略称： 慶大) Keio University (略称： Keio Univ.) |
| 第7著者 氏名（和/英/ヨミ） | 北沢 桃子 / Momoko Kitazawa / キタザワ モモコ |
| 第7著者 所属（和/英） | 慶應義塾大学 (略称： 慶大) Keio University (略称： Keio Univ.) |
| 第8著者 氏名（和/英/ヨミ） | 堀込 俊郎 / Toshiro Horigome / ホリゴメ トシロウ |
| 第8著者 所属（和/英） | 慶應義塾大学 (略称： 慶大) Keio University (略称： Keio Univ.) |
| 第9著者 氏名（和/英/ヨミ） | 大槻 知明 / Tomoaki Ohtsuki / オオツキ トモアキ |
| 第9著者 所属（和/英） | 慶應義塾大学 (略称： 慶大) Keio University (略称： Keio Univ.) |
| 講演者 | 第1著者 |
| 発表日時 | 2025-01-24 10:40:00 |
| 発表時間 | 20分 |
| 申込先研究会 | SeMI |
| 資料番号 | SeMI2024-77 |
| 巻番号（vol） | vol.124 |
| 号番号（no） | no.353 |
| ページ範囲 | pp.88-93 |
| ページ数 | 6 |
| 発行日 | 2025-01-16 (SeMI) |
[研究会発表申込システムのトップページに戻る]