| 講演抄録/キーワード |
| 講演名 |
2024-03-01 16:35
定位的頭蓋内脳波からの傾聴メロディの再合成 ○稲葉湧大・熊谷優惟子・吉村直己・古明地秀治(東京農工大)・三橋 匠・飯村康司・鈴木皓晴・菅野秀宜(順天堂大)・田中聡久(東京農工大) EA2023-129 SIP2023-176 SP2023-111 |
| 抄録 |
(和) |
頭蓋内に電極を留置し計測した脳波から,傾聴中の音楽を推定する問題は挑戦的である.本稿では,定位的頭蓋内脳波(SEEG)と呼ばれる方法で電極を留置したてんかん患者に対して,4 秒程度の短いメロディを聴かせた.この傾聴中のSEEGから,BLSTMまたはTransformerを用いて,聞いている音楽のログメルスペクトログラムのデコードを試みた.教師信号である傾聴音楽のログメルスペクトログラムとの MSE loss を評価指標として,チャンスレベルとして入力をランダムな信号とした場合の推論結果と比較した.2 要因分散分析の結果,MSE loss はチャンスレベルと比較して有意に小さかった.また,2つの推定モデル(BLSTMまたはTransformer)の間には有意差は認められなかった.さらに、MSEが小さい推定ログメルスペクトログラムから音響信号の再構成したところ,傾聴させたメロディを主観的に認識できた. |
| (英) |
Estimating perceived music from intracranial electroencephalogram measured with implanted electrodes is challenging. In this study, we recorded stereo electroencephalogram (SEEG) during music perception and attempted to estimate the log-mel spectrogram of short melodies, approximately 4 seconds in duration. The mean squared error (MSE) loss was calculated from the estimated log-mel spectrogram and ground truth labels, and the results were compared with those obtained when the input was a random signal. The results of a two-way analysis of variance revealed a significant reduction in MSE loss compared to chance level. However, no significant differences were observed for the encoder type or interaction. Furthermore, reconstruction of the acoustic signal from the estimated log-mel spectrogram with low MSE allowed for subjective recognition of the heard melody. |
| キーワード |
(和) |
メロディ / 定位的頭蓋内脳波 / ブレインコンピュータインタフェース / BLSTM / Transformer / / / |
| (英) |
melody / stereo electroencephalogram / brain-computer interface / BLSTM / Transformer / / / |
| 文献情報 |
信学技報, vol. 123, no. 402, SIP2023-176, pp. 400-405, 2024年2月. |
| 資料番号 |
SIP2023-176 |
| 発行日 |
2024-02-22 (EA, SIP, SP) |
| ISSN |
Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
| PDFダウンロード |
EA2023-129 SIP2023-176 SP2023-111 |