| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2023-01-22 14:05 本人心象と第三者心象の推定におけるマルチモーダル情報と生体信号の役割の分析 ○堅田 俊・岡田将吾（北陸先端大）・駒谷和範（阪大）  HCS2022-70 |
|
| 抄録 | （和） | 対話システムにおいては対話中のユーザの内面状態を正確に推定し，状況に応じて適切に対話することが重要である．多くの心象推定研究において第三者視点から付与される第三者心象ラベルが用いられるが，ユーザ本人の心象（本人心象）は考慮されないことが多い．また，生体信号は表出されない本人心象の変化の検出に有用な可能性があるが，言語，韻律，視覚の3つのモダリティの関連性解析は行われている一方で，生体信号とその3つのモダリティの関係性はよく議論されていない．本研究では各モダリティに基づくモデルを構築し，異なる２つの心象，すなわち本人心象及び第三者心象の推定性能を広範に比較解析することで各モダリティの寄与を明らかにする．結果として，ユニモーダルモデルでは生体信号情報が，マルチモーダルモデルでは生体信号と言語情報の組合せが本人心象推定に最も有用であった．対照的に，第三者心象の推定においては言語，韻律，視覚情報に基づいた回帰モデルの性能が最も高かった．以上のことから，本人心象と第三者心象とで推定に有用なモダリティが異なることが示唆された． |
| （英） | A dialogue system needs to adapt its utterance by estimating a user's internal state. Most of the previous multimodal sentiment analyses use third-party sentiment label; however, a user's self-sentiment annotated by the user themselves is often ignored. Physiological signals can detect subtle changes in self-sentiment. While the relationship between text, acoustic and visual modalities has been analyzed, the relationship between physiological signals and the three modalities has not been well discussed. In this study, we construct sentiment estimation models based on text, acoustic, visual, and physiological information, and compared them for the two types of sentiment estimation. As a result, the fusion of the text and physiological modalities is effective for self-sentiment estimation. In contrast, the fusion of the text and audiovisual modalities is effective for third-party sentiment estimation. Thus, it is suggested that effective modalities for sentiment estimation depend on the type of sentiment labels. | |
| キーワード | （和） | 本人心象 / 第三者心象 / マルチモーダル情報 / 生体信号 / / / / |
| （英） | self-sentiment / third-party sentiment / multimodal information / physiological signal / / / / | |
| 文献情報 | 信学技報, vol. 122, no. 349, HCS2022-70, pp. 86-91, 2023年1月. | |
| 資料番号 | HCS2022-70 | |
| 発行日 | 2023-01-14 (HCS) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | HCS2022-70 |
|
| 研究会情報 | |
| 研究会 | HCS |
| 開催期間 | 2023-01-21 - 2023-01-22 |
| 開催地（和） | 京都工芸繊維大学 |
| 開催地（英） | Kyoto Institute of Technology |
| テーマ（和） | 身体的コミュニケーション，および一般 |
| テーマ（英） | Physical Communication, etc. |
| 講演論文情報の詳細 | |
| 申込み研究会 | HCS |
| 会議コード | 2023-01-HCS |
| 本文の言語 | 日本語 |
| タイトル（和） | 本人心象と第三者心象の推定におけるマルチモーダル情報と生体信号の役割の分析 |
| サブタイトル（和） | |
| タイトル（英） | Analysis of Role of Multimodal Information and Physiological Signals in Self-Reported and Third-Party Sentiment Estimation |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 本人心象 / self-sentiment |
| キーワード(2)（和/英） | 第三者心象 / third-party sentiment |
| キーワード(3)（和/英） | マルチモーダル情報 / multimodal information |
| キーワード(4)（和/英） | 生体信号 / physiological signal |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 堅田 俊 / Shun Katada / カタダ シュン |
| 第1著者 所属（和/英） | 北陸先端科学技術大学院大学 (略称： 北陸先端大) Japan Advanced Institute of Science and Technology (略称： JAIST) |
| 第2著者 氏名（和/英/ヨミ） | 岡田 将吾 / Shogo Okada / オカダ ショウゴ |
| 第2著者 所属（和/英） | 北陸先端科学技術大学院大学 (略称： 北陸先端大) Japan Advanced Institute of Science and Technology (略称： JAIST) |
| 第3著者 氏名（和/英/ヨミ） | 駒谷 和範 / Kazunori Komatani / |
| 第3著者 所属（和/英） | 大阪大学 (略称： 阪大) Osaka University (略称： Osaka Univ.) |
| 講演者 | 第1著者 |
| 発表日時 | 2023-01-22 14:05:00 |
| 発表時間 | 25分 |
| 申込先研究会 | HCS |
| 資料番号 | HCS2022-70 |
| 巻番号（vol） | vol.122 |
| 号番号（no） | no.349 |
| ページ範囲 | pp.86-91 |
| ページ数 | 6 |
| 発行日 | 2023-01-14 (HCS) |
[研究会発表申込システムのトップページに戻る]