| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2023-02-28 15:55 音響イベント定位・検出のための空間情報付き映像・音響信号を用いた自己教師あり学習 ○藤田陽斗（京大）・坂東宜昭（産総研）・井本桂右（同志社大/産総研）・大西正輝（産総研）・吉井和佳（京大）  EA2022-89 SIP2022-133 SP2022-53 |
|
| 抄録 | （和） | 本稿では，多チャネル音響信号に対する音響イベント定位・検出 (SELD) のための教師なし事前学習法について述べる．SELDタスクでは，音響イベントの種類・方向・発生時刻を推定する深層ニューラルネットワーク (DNN) を教師あり学習する枠組みが近年の主流である．しかし，学習データの作成には膨大な手間がかかり，推定精度や汎化性能の改善には限界があった．そこで本研究では，インターネット上で多数公開されている空間情報付き仮想現実 (VR) コンテンツを利用して，その全周囲映像と一次アンビソニックス音響信号からDNNを予め教師なし学習する方法を提案する．この種のコンテンツでは，音源の方向・種類・発生時刻は，映像内の音源の位置・見た目・時間変化に対応していると考えられる．そのため，各方向に対応する音響特徴量と当該方向の局所的な映像特徴量とが， 同じコンテンツの同じ方向由来（正例）であれば近く，そうでない（負例）なら遠くなるよう対照学習することで，音響・映像内に共起するイベントの種類や方向に関する特徴量抽出器が得られる．このようにして得られた音響特徴量抽出器にSELD用の出力層を追加したDNNを構成し，少量の学習データを用いて全体をファインチューニングする． 100時間の空間情報付き映像・音響信号を用いて事前学習した音響特徴抽出器をSELD用のSTARSS22データセットに転移学習し，提案法の有効性を評価した． |
| （英） | This paper describes an unsupervised pre-training method for sound event localization and detection (SELD) on multi-channel acoustic signals. The prevailing approach to SELD tasks involves training deep neural networks (DNNs) through supervised learning to estimate the activation, class, and direction of sound events. However, creating training data requires a significant amount of effort, and there are limitations to improving estimation accuracy and generalization performance. To address these issues, this study proposes a method of pre-training DNNs using spatially-informed virtual reality (VR) content that is publicly available on the internet. By using the VR content's equirectangular 360 degrees images and first-order ambisonics (FOA) signals, the DNN can be pre-trained in an unsupervised manner. In this type of content, it is believed that the activation, class, and direction of sound sources correspond to the temporal changes, appearance, and position of sound sources in the images. Thus, by contrastive learning where the audio embeddings for each direction and the local visual embeddings for the corresponding direction are close if they come from the same content and direction (positive example), and far away if they do not (negative example), the feature latent feature space for event class and direction in sound and images can be obtained. Using the audio feature extractor, a DNN for SELD with an output layer was constructed and fine-tuned using a small amount of training data. The effectiveness of the proposed method was evaluated by transferring the pre-trained audio feature extractor to the SELD dataset STARSS22, using 100 hours of spatially-informed video and acoustic signals for pre-training. |
|
| キーワード | （和） | 音響イベント定位・検出 / 視聴覚信号処理 / 自己教師あり学習 / 対照学習 / / / / |
| （英） | Sound event localization and detection / Audio-visual learning / Self-supervised learning / Contrastive learning / / / / | |
| 文献情報 | 信学技報, vol. 122, no. 389, SP2022-53, pp. 78-82, 2023年2月. | |
| 資料番号 | SP2022-53 | |
| 発行日 | 2023-02-21 (EA, SIP, SP) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | EA2022-89 SIP2022-133 SP2022-53 |
|
| 研究会情報 | |
| 研究会 | SP IPSJ-SLP EA SIP |
| 開催期間 | 2023-02-28 - 2023-03-01 |
| 開催地（和） | 沖縄県立博物館・美術館 |
| 開催地（英） | |
| テーマ（和） | 音声，応用／電気音響, 信号処理，一般 |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | SP |
| 会議コード | 2023-02-SP-SLP-EA-SIP |
| 本文の言語 | 日本語 |
| タイトル（和） | 音響イベント定位・検出のための空間情報付き映像・音響信号を用いた自己教師あり学習 |
| サブタイトル（和） | |
| タイトル（英） | Self-Supervised Learning With Spatial Audio-Visual Recording for Sound Event Localization and Detection |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 音響イベント定位・検出 / Sound event localization and detection |
| キーワード(2)（和/英） | 視聴覚信号処理 / Audio-visual learning |
| キーワード(3)（和/英） | 自己教師あり学習 / Self-supervised learning |
| キーワード(4)（和/英） | 対照学習 / Contrastive learning |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 藤田 陽斗 / Yoto Fujita / フジタ ヨウト |
| 第1著者 所属（和/英） | 京都大学 (略称： 京大) Kyoto University (略称： Kyoto Univ.) |
| 第2著者 氏名（和/英/ヨミ） | 坂東 宜昭 / Yoshiaki Bando / バンドウ ヨシアキ |
| 第2著者 所属（和/英） | 産業総合研究所 (略称： 産総研) National Institute of Advanced Industrial Science and Technology (略称： AIST) |
| 第3著者 氏名（和/英/ヨミ） | 井本 桂右 / Keisuke Imoto / イモトケ イスケ |
| 第3著者 所属（和/英） | 同志社大学/産業技術総合研究所 (略称： 同志社大/産総研) Doshisha University/National Institute of Advanced Industrial Science and Technology (略称： Doshisha Univ./AIST) |
| 第4著者 氏名（和/英/ヨミ） | 大西 正輝 / Masaki Onihsi / オオニシ マサキ |
| 第4著者 所属（和/英） | 産業総合研究所 (略称： 産総研) National Institute of Advanced Industrial Science and Technology (略称： AIST) |
| 第5著者 氏名（和/英/ヨミ） | 吉井 和佳 / Yoshii Kazuyoshi / ヨシイ カズヨシ |
| 第5著者 所属（和/英） | 京都大学 (略称： 京大) Kyoto University (略称： Kyoto Univ.) |
| 講演者 | 第1著者 |
| 発表日時 | 2023-02-28 15:55:00 |
| 発表時間 | 20分 |
| 申込先研究会 | SP |
| 資料番号 | EA2022-89, SIP2022-133, SP2022-53 |
| 巻番号（vol） | vol.122 |
| 号番号（no） | no.387(EA), no.388(SIP), no.389(SP) |
| ページ範囲 | pp.78-82 |
| ページ数 | 5 |
| 発行日 | 2023-02-21 (EA, SIP, SP) |
[研究会発表申込システムのトップページに戻る]