| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2024-03-01 09:30 Remixed2Remixedを用いた音声強調のモデル学習法の改善 ○李 莉・関 翔悟（サイバーエージェント）  EA2023-95 SIP2023-142 SP2023-77 |
|
| 抄録 | （和） | 深層学習を用いた音声強調において，ノイジー音声とクリーン音声のペアを学習データとする教師あり学習モデルは，学習データと異なる分布を持つ実環境データに対して強調性能が低下する傾向がある．この問題を緩和するために，教師あり学習モデルを実環境データのドメインに適用させる手法として，Remixed2Remixed（Re2Re）が提案された．Re2Reでは，自己蒸留の枠組みに基づいて，教師あり学習モデルを教師モデルとして利用し，実環境データに対する音声強調モデルを生徒モデルとして学習する．生徒モデルでは，それぞれのミニバッチにおいて，教師モデルから推定される実環境データの音声と雑音を二つのパターンで交換・再混合することで，擬似的なノイジーペアデータを作成し，Noise2Noise学習を行う．Re2Reは，技術評価国際イベントCHiME-7 Task2のデータセットを用いた実験において，目的関数に関して有効性が確認されている一方，ベースラインとの厳密な比較のために，学習法に関しては統一されており，Re2Reに適した手法は検討されていない．本論文では，Re2Reのモデル学習において，再混合時の信号対雑音比やエポック数が性能に与える影響を明らかにし，学習法の改善を提案する． |
| （英） | In the use of deep learning for speech enhancement, supervised learning models that use pairs of clean speech and artificially generated (out-of-domain: OOD) noisy speech as training data tend to have lower performance against real-world recorded (in-domain) data with different data distributions. To alleviate this problem, Remixed2Remixed (Re2Re) has been proposed as a method to adapt the supervised learning model to recorded data. Re2Re utilizes the framework of self-distillation in which the supervised learning model is used as a teacher model, and a speech enhancement model for recorded data is trained as a student model. The student model is trained using Noise2Noise learning, where pseudo-noisy pair data is generated by shuffling and remixing the speech and noise estimated from the teacher model twice in each batch. The effectiveness of Re2Re was confirmed with datasets of CHiME-7 Task2. However, a baseline training recipe was used for rigorous control experiments on the training objective functions, but it was not optimal for Re2Re. In this paper, we clarify how the source-to-noise ratio during remixing and the number of training epochs affect the performance. | |
| キーワード | （和） | Remixed2Remixed (Re2Re) / 実環境音声強調 / ドメイン適用 / 自己蒸留 / Noise2Noise学習 / / / |
| （英） | Remixed2Remixed (Re2Re) / real-world speech enhancement / domain adaptation / self-distillation / Noise2Noise learning / / / | |
| 文献情報 | 信学技報, vol. 123, no. 403, SP2023-77, pp. 202-207, 2024年2月. | |
| 資料番号 | SP2023-77 | |
| 発行日 | 2024-02-22 (EA, SIP, SP) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | EA2023-95 SIP2023-142 SP2023-77 |
|
| 研究会情報 | |
| 研究会 | SIP SP EA IPSJ-SLP |
| 開催期間 | 2024-02-29 - 2024-03-01 |
| 開催地（和） | 沖縄産業支援センター |
| 開催地（英） | |
| テーマ（和） | 音声，応用／電気音響, 信号処理，一般 |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | SP |
| 会議コード | 2024-02-SIP-SP-EA-SLP |
| 本文の言語 | 日本語 |
| タイトル（和） | Remixed2Remixedを用いた音声強調のモデル学習法の改善 |
| サブタイトル（和） | |
| タイトル（英） | Improving training recipe of Remixed2Remixed for speech enhancement |
| サブタイトル（英） | |
| キーワード(1)（和/英） | Remixed2Remixed (Re2Re) / Remixed2Remixed (Re2Re) |
| キーワード(2)（和/英） | 実環境音声強調 / real-world speech enhancement |
| キーワード(3)（和/英） | ドメイン適用 / domain adaptation |
| キーワード(4)（和/英） | 自己蒸留 / self-distillation |
| キーワード(5)（和/英） | Noise2Noise学習 / Noise2Noise learning |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 李 莉 / Li Li / リィ リィ |
| 第1著者 所属（和/英） | 株式会社サイバーエージェント (略称： サイバーエージェント) CyberAgent, Inc. (略称： CyberAgent) |
| 第2著者 氏名（和/英/ヨミ） | 関 翔悟 / Shogo Seki / セキ ショウゴ |
| 第2著者 所属（和/英） | 株式会社サイバーエージェント (略称： サイバーエージェント) CyberAgent, Inc. (略称： CyberAgent) |
| 講演者 | 第1著者 |
| 発表日時 | 2024-03-01 09:30:00 |
| 発表時間 | 60分 |
| 申込先研究会 | SP |
| 資料番号 | EA2023-95, SIP2023-142, SP2023-77 |
| 巻番号（vol） | vol.123 |
| 号番号（no） | no.401(EA), no.402(SIP), no.403(SP) |
| ページ範囲 | pp.202-207 |
| ページ数 | 6 |
| 発行日 | 2024-02-22 (EA, SIP, SP) |
[研究会発表申込システムのトップページに戻る]