| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2024-03-01 15:25 Clarity Prediction Challenge 2のための音声基盤モデルベースの音声了解度の客観評価指標の調査 ○山本克彦（サイバーエージェント）  EA2023-119 SIP2023-166 SP2023-101 |
|
| 抄録 | （和） | Whisperのエンコーダ層などを利用した音声基盤モデル(Speech Foundation Models; SFMs)は，音声信号と雑音を分離することが示唆されている．難聴者の音声了解度を予測するコンペであるClarity Prediction Challenge 2 (CPC2) において， SFMベースの手法でリファレンス信号を使用しないSFM-OIM (SFM-based objective intelligibility metric)が一位を獲得した．SFM-OIMは，環境音分類のために提案されたWhisper-ATのネットワーク構造を，難聴者の音声了解度予測向けに拡張した手法である．本報告では，CPC2のデータセットを用いて，Whisperから抽出された特徴量を用いた場合のSFM-OIMの実装および再現性の評価実験を実施した．また，Whisperのモデルやバッチサイズを変更した場合の結果についても述べる． |
| （英） | Speech Foundation Models (SFMs), which use components like the encoder layer of Whisper, have been suggested to separate speech signals from noise. In the Clarity Prediction Challenge 2 (CPC2), a competition for predicting the speech intelligibility (SI) of individuals with hearing loss, an SFM-based Objective Intelligibility Metric (SFM-OIM) that does not use reference signals took first place. The SFM-OIM is a method that extends the network structure of Whisper-AT, proposed for environmental sound classification for SI prediction of hearing-impaired listeners. This report presents the reproduction implementation and reproducibility evaluation experiments of SFM-OIM using the features extracted from Whisper with the CPC2 dataset. It also discusses the results when changing the Whisper model and batch size. | |
| キーワード | （和） | 音声了解度 / 客観評価指標 / 音声基盤モデル / Whisper / / / / |
| （英） | speech intelligibility / objective intelligibility metrics / speech foundation models / Whisper / / / / | |
| 文献情報 | 信学技報, vol. 123, no. 401, EA2023-119, pp. 334-339, 2024年2月. | |
| 資料番号 | EA2023-119 | |
| 発行日 | 2024-02-22 (EA, SIP, SP) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | EA2023-119 SIP2023-166 SP2023-101 |
|
| 研究会情報 | |
| 研究会 | SIP SP EA IPSJ-SLP |
| 開催期間 | 2024-02-29 - 2024-03-01 |
| 開催地（和） | 沖縄産業支援センター |
| 開催地（英） | |
| テーマ（和） | 音声，応用／電気音響, 信号処理，一般 |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | EA |
| 会議コード | 2024-02-SIP-SP-EA-SLP |
| 本文の言語 | 日本語 |
| タイトル（和） | Clarity Prediction Challenge 2のための音声基盤モデルベースの音声了解度の客観評価指標の調査 |
| サブタイトル（和） | |
| タイトル（英） | Investigation of objective intelligibility metrics based on speech foundation models for Clarity Prediction Challenge 2 |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 音声了解度 / speech intelligibility |
| キーワード(2)（和/英） | 客観評価指標 / objective intelligibility metrics |
| キーワード(3)（和/英） | 音声基盤モデル / speech foundation models |
| キーワード(4)（和/英） | Whisper / Whisper |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 山本 克彦 / Katsuhiko Yamamoto / ヤマモト カツヒコ |
| 第1著者 所属（和/英） | 株式会社サイバーエージェント (略称： サイバーエージェント) CyberAgent, Inc. (略称： CyberAgent) |
| 講演者 | 第1著者 |
| 発表日時 | 2024-03-01 15:25:00 |
| 発表時間 | 60分 |
| 申込先研究会 | EA |
| 資料番号 | EA2023-119, SIP2023-166, SP2023-101 |
| 巻番号（vol） | vol.123 |
| 号番号（no） | no.401(EA), no.402(SIP), no.403(SP) |
| ページ範囲 | pp.334-339 |
| ページ数 | 6 |
| 発行日 | 2024-02-22 (EA, SIP, SP) |
[研究会発表申込システムのトップページに戻る]