| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2025-03-04 13:25 ［ポスター講演］Transformerを用いた頭蓋内脳波からの想像音声合成 ○古明地秀治・重見 開（東京農工大）・三橋 匠・飯村康司・鈴木皓晴・菅野秀宜（順天堂大）・篠田浩一（科学大）・矢田部浩平・田中聡久（東京農工大）  EA2024-148 SIP2024-183 SP2024-89 |
|
| 抄録 | （和） | 音声ブレイン・コンピュータインタフェース（Brain--Computer Interface; BCI）は，失語症，脳卒中，筋萎縮性側索硬化症などの脳障害により言語機能が失われた患者のコミュニケーション支援ツールとして期待されている． 音声BCIの実現のためには，従来，頭蓋内電極で計測した脳波（頭蓋内脳波）で学習した機械学習モデルが導入されている． しかし，機械学習モデルの学習に用いられる頭蓋内脳波のデータは限られている． そこで本研究では，限られた学習データのもとで高品質な音声を合成することを目指し，学習済みのニューラルボコーダを使用する方式を提案する． 具体的には，頭蓋内脳波から対数メルスペクトログラムを推定するように学習したTransformerデコーダと，その対数メルスペクトログラムを入力として高品質な音声信号を合成するニューラルボコーダ ``Parallel WaveGAN'' を学習済みモデルとして用いた． 実験には，難治性てんかん患者13名から記録したElectrocorticogram (ECoG) 信号を使用した． その結果，想像時脳波から合成された音声は，Pearson相関係数が0.85から0.95と高い品質を示し、本方式の妥当性が確認された． |
| （英） | A speech brain--computer interface (BCI) is expected to serve as a communication support tool for patients who have lost language functions due to brain disorders such as aphasia, stroke, and amyotrophic lateral sclerosis. Machine learning models trained using intracranial electrodes have been previously introduced to realize a speech BCI. However, the data used to train machine learning models are limited. Therefore, this study proposes a method to synthesize high-quality speech with limited training data using a pre-trained neural vocoder. Specifically, we used a Transformer decoder trained to estimate log-mel spectrograms from an invasive electrocorticogram (ECoG) and a pre-trained neural vocoder, ``Parallel WaveGAN,'' to synthesize high-quality speech signals from these log-mel spectrograms. The experiments used ECoG signals recorded from 13 patients with intractable epilepsy. As a result, the speech synthesized from covert speech showed a high Pearson correlation coefficient ranging from 0.85 to 0.95, confirming the validity of the proposed method. |
|
| キーワード | （和） | 音声合成 / 頭蓋内脳波 / 音声ブレイン・コンピュータインタフェース (音声BCI) / Transformer / ニューラルボコーダ / / / |
| （英） | Speech synthesis / Electrocorticogram (ECoG) / Speech brain--computer interface (Speech BCI) / Transformer / Neural vocoder / / / | |
| 文献情報 | 信学技報, vol. 124, no. 390, SIP2024-183, pp. 429-434, 2025年3月. | |
| 資料番号 | SIP2024-183 | |
| 発行日 | 2025-02-23 (EA, SIP, SP) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | EA2024-148 SIP2024-183 SP2024-89 |
|
| 研究会情報 | |
| 研究会 | EA SIP SP IPSJ-SLP |
| 開催期間 | 2025-03-02 - 2025-03-04 |
| 開催地（和） | 沖縄県青年会館 |
| 開催地（英） | |
| テーマ（和） | 応用／電気音響, 信号処理，音声，一般 |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | SIP |
| 会議コード | 2025-03-EA-SIP-SP-SLP |
| 本文の言語 | 日本語 |
| タイトル（和） | Transformerを用いた頭蓋内脳波からの想像音声合成 |
| サブタイトル（和） | |
| タイトル（英） | Speech Synthesis from Electrocorticogram During Imagined Speech Using a Transformer-Based Decoder |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 音声合成 / Speech synthesis |
| キーワード(2)（和/英） | 頭蓋内脳波 / Electrocorticogram (ECoG) |
| キーワード(3)（和/英） | 音声ブレイン・コンピュータインタフェース (音声BCI) / Speech brain--computer interface (Speech BCI) |
| キーワード(4)（和/英） | Transformer / Transformer |
| キーワード(5)（和/英） | ニューラルボコーダ / Neural vocoder |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 古明地 秀治 / Shuji Komeiji / コメイジ シュウジ |
| 第1著者 所属（和/英） | 東京農工大学 (略称： 東京農工大) Tokyo University of Agriculture and Technology (略称： TUAT) |
| 第2著者 氏名（和/英/ヨミ） | 重見 開 / Kai Shigemi / シゲミ カイ |
| 第2著者 所属（和/英） | 東京農工大学 (略称： 東京農工大) Tokyo University of Agriculture and Technology (略称： TUAT) |
| 第3著者 氏名（和/英/ヨミ） | 三橋 匠 / Takumi Mitsuhashi / ミツハシ タクミ |
| 第3著者 所属（和/英） | 順天堂大学 (略称： 順天堂大) Juntendo University (略称： Juntendou Univ.) |
| 第4著者 氏名（和/英/ヨミ） | 飯村 康司 / Yasushi Iimura / イイムラ ヤスシ |
| 第4著者 所属（和/英） | 順天堂大学 (略称： 順天堂大) Juntendo University (略称： Juntendou Univ.) |
| 第5著者 氏名（和/英/ヨミ） | 鈴木 皓晴 / Hiroharu Suzuki / スズキ ヒロハル |
| 第5著者 所属（和/英） | 順天堂大学 (略称： 順天堂大) Juntendo University (略称： Juntendou Univ.) |
| 第6著者 氏名（和/英/ヨミ） | 菅野 秀宜 / Hidenori Sugano / スガノ ヒデノリ |
| 第6著者 所属（和/英） | 順天堂大学 (略称： 順天堂大) Juntendo University (略称： Juntendou Univ.) |
| 第7著者 氏名（和/英/ヨミ） | 篠田 浩一 / Koichi Shinoda / シノダ コウイチ |
| 第7著者 所属（和/英） | 東京科学大学 (略称： 科学大) Institute of Science Tokyo (略称： Science Tokyo) |
| 第8著者 氏名（和/英/ヨミ） | 矢田部 浩平 / Kohei Yatabe / ヤタベ コウヘイ |
| 第8著者 所属（和/英） | 東京農工大学 (略称： 東京農工大) Tokyo University of Agriculture and Technology (略称： TUAT) |
| 第9著者 氏名（和/英/ヨミ） | 田中 聡久 / Toshihisa Tanaka / タナカ トシヒサ |
| 第9著者 所属（和/英） | 東京農工大学 (略称： 東京農工大) Tokyo University of Agriculture and Technology (略称： TUAT) |
| 講演者 | 第1著者 |
| 発表日時 | 2025-03-04 13:25:00 |
| 発表時間 | 80分 |
| 申込先研究会 | SIP |
| 資料番号 | EA2024-148, SIP2024-183, SP2024-89 |
| 巻番号（vol） | vol.124 |
| 号番号（no） | no.389(EA), no.390(SIP), no.391(SP) |
| ページ範囲 | pp.429-434 |
| ページ数 | 6 |
| 発行日 | 2025-02-23 (EA, SIP, SP) |
[研究会発表申込システムのトップページに戻る]