| 講演抄録/キーワード |
| 講演名 |
2026-06-05 14:00
[ポスター講演]擬似空間埋め込みを用いた単一チャンネル音声分離 ○二通大地・篠田浩一(Science Tokyo) SP2026-21 |
| 抄録 |
(和) |
単一チャンネル音声分離では,推論時にチャンネル間の空間的手掛かりを直接利用できず,雑音・残響下で性能が低下しやすい.本稿では,訓練時のみ利用可能なマルチチャンネル混合音を特権情報として用い,単一チャンネル入力から擬似空間埋め込みを推定する手法を提案する.提案手法では,単一チャンネル用およびマルチチャンネル用空間エンコーダーをトリプレット対照学習により事前学習し,同一空間条件の埋め込みを近づけ,異なる空間条件の埋め込みを離すことで,発話内容に依存しにくい空間表現を学習する.事前学習後,空間エンコーダーをTF-Locoformerと同時にファインチューニングし,MHCAとFiLMを組み合わせたFusion Moduleにより,時間周波数特徴量を擬似空間埋め込みで条件付ける.WHAMR!を用いて評価を行い,SI-SNRiがSmallサイズで17.4 dBから17.7 dBへ,Mediumサイズで18.6 dBから18.9 dBへ向上した. |
| (英) |
Single-channel speech separation often degrades in noisy and reverberant environments because inter-channel spatial cues cannot be directly exploited at inference. This paper proposes a method for estimating pseudo-spatial embeddings from a single-channel input by using multi-channel mixtures available only during training as privileged information. Single-channel and multi-channel spatial encoders are pretrained with triplet contrastive learning so that embeddings with the same spatial condition are pulled together and those with different spatial conditions are pushed apart, learning spatial representations that are less dependent on speech content. After pretraining, the spatial encoder is fine-tuned jointly with TF-Locoformer, and a Fusion Module combining MHCA and FiLM conditions time-frequency features on the pseudo-spatial embeddings. On WHAMR!, SI-SNRi improves from 17.4 dB to 17.7 dB with the Small model size and from 18.6 dB to 18.9 dB with the Medium model size. |
| キーワード |
(和) |
音声分離 / 対照学習 / 空間埋め込み / 特権情報 / FiLM / / / |
| (英) |
speech separation / contrastive learning / spatial embeddin / privileged information / FiLM / / / |
| 文献情報 |
信学技報, vol. 126, no. 58, SP2026-21, pp. 113-118, 2026年6月. |
| 資料番号 |
SP2026-21 |
| 発行日 |
2026-05-29 (SP) |
| ISSN |
Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
| PDFダウンロード |
SP2026-21 |