| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2024-12-12 14:50 音声感情キャプショニングのためのデータ作成とモデル構築の検討 ○永瀬亮太郎・福森隆寛・山下洋一（立命館大）  NLC2024-21 SP2024-12 |
|
| 抄録 | （和） | 従来の音声感情認識では，予測結果をカテゴリ感情や次元感情で表現する．このような感情の表現形式では発話者が示す複雑な感情を具体的に示すことが容易ではない．故に，本研究では感情の説明文を予測結果として出力する音声感情キャプショニングの研究に取り組む．初めに，既存の音声データにGPT4とクラウドソーシングを用いて感情キャプションデータを付与し，人が記述した感情キャプションと比較した．次に，収集したデータを用いて，LLMを活用した音声感情キャプショニングのモデルを学習した．結果，本研究で実施した手順で収集した感情キャプションと人が記述した感情キャプションの相違点を明らかにした．また，LLMをデコーダとして用いることで音声感情キャプショニングの性能が向上することが分かった． |
| （英） | In previous studies on speech emotion recognition, the results of the prediction are represented by categorical or dimensional emotions. These descriptions of emotions make it difficult to represent the complex emotions conveyd by speech in detail. To resolve this problem, we study speech emotion captioning, which outputs an emotion caption as a prediction. Firstly, we added emotion captions to existing speech data using GPT4 and crowdsourcing, and compared them with emotion captions written by humans. Secondly, we used the collected emotion captions to train the model of speech emotion captioning with LLM. As a result, we clarified the differences between the emotion captions collected by the procedure in this study and those written by humans. We also found that using LLM as a decoder improved the performance of speech emotion captioning. | |
| キーワード | （和） | 音声感情認識 / 音声感情キャプショニング / LLM / GPT / / / / |
| （英） | Speech emotion recognition / speech emotion captioning / LLM / GPT / / / / | |
| 文献情報 | 信学技報, vol. 124, no. 303, SP2024-12, pp. 12-17, 2024年12月. | |
| 資料番号 | SP2024-12 | |
| 発行日 | 2024-12-05 (NLC, SP) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | NLC2024-21 SP2024-12 |
|
| 研究会情報 | |
| 研究会 | SP NLC IPSJ-SLP IPSJ-NL |
| 開催期間 | 2024-12-12 - 2024-12-14 |
| 開催地（和） | 名古屋大学 |
| 開催地（英） | Nagoya Univ. |
| テーマ（和） | 第26回音声言語および第11回自然言語処理シンポジウム |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | SP |
| 会議コード | 2024-12-SP-NLC-SLP-NL |
| 本文の言語 | 日本語 |
| タイトル（和） | 音声感情キャプショニングのためのデータ作成とモデル構築の検討 |
| サブタイトル（和） | |
| タイトル（英） | Study on Data Creation and Model Construction for Speech Emotion Captioning |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 音声感情認識 / Speech emotion recognition |
| キーワード(2)（和/英） | 音声感情キャプショニング / speech emotion captioning |
| キーワード(3)（和/英） | LLM / LLM |
| キーワード(4)（和/英） | GPT / GPT |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 永瀬 亮太郎 / Ryotaro Nagase / ナガセ リョウタロウ |
| 第1著者 所属（和/英） | 立命館大学 (略称： 立命館大) Ritsumeikan University (略称： Ritsumeikan Univ.) |
| 第2著者 氏名（和/英/ヨミ） | 福森 隆寛 / Takahiro Fukumori / フクモリ タカヒロ |
| 第2著者 所属（和/英） | 立命館大学 (略称： 立命館大) Ritsumeikan University (略称： Ritsumeikan Univ.) |
| 第3著者 氏名（和/英/ヨミ） | 山下 洋一 / Yoichi Yamashita / ヤマシタ ヨウイチ |
| 第3著者 所属（和/英） | 立命館大学 (略称： 立命館大) Ritsumeikan University (略称： Ritsumeikan Univ.) |
| 講演者 | 第1著者 |
| 発表日時 | 2024-12-12 14:50:00 |
| 発表時間 | 90分 |
| 申込先研究会 | SP |
| 資料番号 | NLC2024-21, SP2024-12 |
| 巻番号（vol） | vol.124 |
| 号番号（no） | no.302(NLC), no.303(SP) |
| ページ範囲 | pp.12-17 |
| ページ数 | 6 |
| 発行日 | 2024-12-05 (NLC, SP) |
[研究会発表申込システムのトップページに戻る]