| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2021-03-05 09:45 Improved Speech Separation Performance from Monaural Mixed Speech Based on Deep Embedding Network ○Shaoxiang Dang・Tetsuya Matsumoto・Hiroaki Kudo（Nagoya Univ.）・Yoshinori Takeuchi（Daido Univ.）  PRMU2020-85 |
|
| 抄録 | （和） | 音声分離は，複数の話者が同時に話している状況での発話の分離である．これに対して，deep clustering (DC)の手法としてdeep embedding network を用いることが提案されている．オーディオデータを低次元多様体に埋め込むことで，同様の性質を持つデータは，その空間で密に分布しており，クラスタリングアルゴリズムによって，分かれて分布するデータを容易に分離することができる．このモデルは，話者についてアノテートされたデータを示すbinary mask で構成されたideal affinity matrix によって学習される．しかし，binary mask の利用が，混合スペクトログラム内の個々のビンに対して，対応するマスク内の同じ位置のビンに０か１を割り当てることになり，システム全体としてボトルネックになる．ここでは，より正確なマスクを使用することによってbinary mask の欠点について改善を行う．deep embedding network を拡張し二段階処理による方法を提案する．第一段階でDCを行い，第二段階でpermutation 問題を避けるためのpermutation invariant training の処理を行った．実験結果として，平均で，SNRで1.55dB，SDRで4.45dB，SDRiで4.41dB，STOIで0.16，PESQで0.3，元のDCの値より，向上が見られた．提案手法により，DCで生じたスペクトルグラム内の欠落部分を修復することも見られた． |
| （英） | Speech separation refers to the separation of utterances in which multiple people are speaking simultaneously. The idea of deep clustering (DC) is put forward by using a deep embedding network to embed audio data in the underlying manifold, and data with similar property gathers tightly in the embedding space. Then this model uses a clustering algorithm because the clustering algorithm can easily separate distributed data. Regarding the learning process, the model is supervised by an ideal affinity matrix constructed of binary masks of annotation data. However, the binary mask gives a bottleneck to the entire system since the same position of bins in masks are assigned to 0 or 1 according to the contribution of individual utterances to mixed spectrograms. Thus, we propose an extended two-stage version of network based on the deep embedding. The network can eliminate the shortcomings by using various more accurate masks. We employ DC as our first stage, and conduct a permutation invariant training approach to prevent permutation problem in the second stage. As a result, the results according to our experiment outperforms the original DC model by 1.55dB in SNR by 4.45dB in SDR, 4.41dB in SDRi, 0.16 in STOI, and 0.3 in PESQ on average. We also observe that the proposed method can recover the defects in the spectrograms brought in by DC. | |
| キーワード | （和） | 音声分離 / deep embedding network / モノラル音声分離 / permutation invariant training / / / / |
| （英） | speech separation / deep embedding network / monaural speech separation / permutation invariant training / / / / | |
| 文献情報 | 信学技報, vol. 120, no. 409, PRMU2020-85, pp. 91-96, 2021年3月. | |
| 資料番号 | PRMU2020-85 | |
| 発行日 | 2021-02-25 (PRMU) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | PRMU2020-85 |
|
| 研究会情報 | |
| 研究会 | PRMU IPSJ-CVIM |
| 開催期間 | 2021-03-04 - 2021-03-05 |
| 開催地（和） | オンライン開催 |
| 開催地（英） | Online |
| テーマ（和） | 特殊な環境下におけるCV・ パターン認識 |
| テーマ（英） | Computer Vision and Pattern Recognition for specific environment |
| 講演論文情報の詳細 | |
| 申込み研究会 | PRMU |
| 会議コード | 2021-03-PRMU-CVIM |
| 本文の言語 | 英語 |
| タイトル（和） | |
| サブタイトル（和） | |
| タイトル（英） | Improved Speech Separation Performance from Monaural Mixed Speech Based on Deep Embedding Network |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 音声分離 / speech separation |
| キーワード(2)（和/英） | deep embedding network / deep embedding network |
| キーワード(3)（和/英） | モノラル音声分離 / monaural speech separation |
| キーワード(4)（和/英） | permutation invariant training / permutation invariant training |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 党 少翔 / Shaoxiang Dang / トウ ショウショウ |
| 第1著者 所属（和/英） | 名古屋大学 (略称： 名大) Nagoya University (略称： Nagoya Univ.) |
| 第2著者 氏名（和/英/ヨミ） | 松本 哲也 / Tetsuya Matsumoto / マツモト テツヤ |
| 第2著者 所属（和/英） | 名古屋大学 (略称： 名大) Nagoya University (略称： Nagoya Univ.) |
| 第3著者 氏名（和/英/ヨミ） | 工藤 博章 / Hiroaki Kudo / クドウ ヒロアキ |
| 第3著者 所属（和/英） | 名古屋大学 (略称： 名大) Nagoya University (略称： Nagoya Univ.) |
| 第4著者 氏名（和/英/ヨミ） | 竹内 義則 / Yoshinori Takeuchi / タケウチ ヨシノリ |
| 第4著者 所属（和/英） | 大同大学 (略称： 大同大) Daido University (略称： Daido Univ.) |
| 第5著者 氏名（和/英/ヨミ） | / / |
| 第5著者 所属（和/英） | (略称： ) (略称： ) |
| 第6著者 氏名（和/英/ヨミ） | / / |
| 第6著者 所属（和/英） | (略称： ) (略称： ) |
| 第7著者 氏名（和/英/ヨミ） | / / |
| 第7著者 所属（和/英） | (略称： ) (略称： ) |
| 第8著者 氏名（和/英/ヨミ） | / / |
| 第8著者 所属（和/英） | (略称： ) (略称： ) |
| 第9著者 氏名（和/英/ヨミ） | / / |
| 第9著者 所属（和/英） | (略称： ) (略称： ) |
| 第10著者 氏名（和/英/ヨミ） | / / |
| 第10著者 所属（和/英） | (略称： ) (略称： ) |
| 第11著者 氏名（和/英/ヨミ） | / / |
| 第11著者 所属（和/英） | (略称： ) (略称： ) |
| 第12著者 氏名（和/英/ヨミ） | / / |
| 第12著者 所属（和/英） | (略称： ) (略称： ) |
| 第13著者 氏名（和/英/ヨミ） | / / |
| 第13著者 所属（和/英） | (略称： ) (略称： ) |
| 第14著者 氏名（和/英/ヨミ） | / / |
| 第14著者 所属（和/英） | (略称： ) (略称： ) |
| 第15著者 氏名（和/英/ヨミ） | / / |
| 第15著者 所属（和/英） | (略称： ) (略称： ) |
| 第16著者 氏名（和/英/ヨミ） | / / |
| 第16著者 所属（和/英） | (略称： ) (略称： ) |
| 第17著者 氏名（和/英/ヨミ） | / / |
| 第17著者 所属（和/英） | (略称： ) (略称： ) |
| 第18著者 氏名（和/英/ヨミ） | / / |
| 第18著者 所属（和/英） | (略称： ) (略称： ) |
| 講演者 | 第1著者 |
| 発表日時 | 2021-03-05 09:45:00 |
| 発表時間 | 15分 |
| 申込先研究会 | PRMU |
| 資料番号 | PRMU2020-85 |
| 巻番号（vol） | vol.120 |
| 号番号（no） | no.409 |
| ページ範囲 | pp.91-96 |
| ページ数 | 6 |
| 発行日 | 2021-02-25 (PRMU) |
[研究会発表申込システムのトップページに戻る]