| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2021-03-04 16:10 頭蓋内脳波からのエンコーダ・デコーダモデルによる想像音声推定 ○林 恒太朗・古明地秀治（東京農工大）・三橋 匠・飯村康司・鈴木皓晴・菅野秀宣（順天堂大）・篠田浩一（東工大）・田中聡久（東京農工大）  EA2020-87 SIP2020-118 SP2020-52 |
|
| 抄録 | （和） | 近年の信号処理・機械学習技術の進展によって，発声時や傾聴時の音声を頭蓋内脳波から推定したり再構成することが可能になりつつある．一方で，想像している発話の推定は，脳波と正解ラベルの同期を取るのが困難であることもあり，めぼしい成果が出ていないのが現状である．本稿では，想像音声と脳波が適切に同期していれば，発声や傾聴時脳波の場合と同様に，脳波から音声をデコーディングできるという仮説を立てた．そこで，短い文が映し出された画面を実験参加者に呈示し，文字の色を１文字ずつハイライトすることで，想像時のタイミングや想像速度を制御できる実験を設計した．その上で，音声想像，音声傾聴，発声の3種類タスクを課し，そのときの頭蓋内脳波を記録した．さらに，傾聴タスクでは呈示した音声，発声タスクでは実験参加者の発話を記録した．計測した頭蓋内脳波に対して，発声または傾聴時の音声のメルケプストラム係数をもちいたエンコーダ・デコーダモデルによって，想像音声を学習・推論した．想像時の頭蓋内脳波からデコーディングした文の文字誤り率は，最良で約17%を達成した． |
| （英） | Recent advances in signal processing and machine learning technologies have made it possible to estimate and reconstruct speech or text during speaking and listening from invasive electrocorticogram (ECoG). Meanwhile, the estimation of imagined speech has not been successful due to the difficulty in synchronizing the ECoG with the target label. In this paper, we hypothesize that if imagined speech and ECoG are adequately synchronized, speech can be decoded from ECoG as in the case of ECoG during speaking and listening. We designed an experiment in which participants were presented with a screen on which short sentences were projected, and by highlighting the colors of the letters one by one, the timing and speed of imagination could be controlled. The ECoG was recorded during the three tasks of imagining speech, listening to speech, and speaking. Moreover, we recorded the speech presented in the listening task and the participants' speech in the speaking task. From the measured ECoG, we built an encoder-decoder model using the Mel cepstrum coefficients of the speech during the speaking and listening tasks to infer the imagined speech. The best character error rate of about 17% was achieved for sentences decoded from the imagined ECoG. | |
| キーワード | （和） | 頭蓋内脳波 / 音声想像 / ブレイン・コンピュータ・インタフェース / エンコーダ・デコーダモデル / / / / |
| （英） | Electrocorticogram (ECoG) / Imaginary speech / Brain-computer interface (BCI) / Encoder-decoder model / / / / | |
| 文献情報 | 信学技報, vol. 120, no. 398, SIP2020-118, pp. 164-169, 2021年3月. | |
| 資料番号 | SIP2020-118 | |
| 発行日 | 2021-02-24 (EA, SIP, SP) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | EA2020-87 SIP2020-118 SP2020-52 |
|
| 研究会情報 | |
| 研究会 | EA US SP SIP IPSJ-SLP |
| 開催期間 | 2021-03-03 - 2021-03-04 |
| 開催地（和） | オンライン開催 |
| 開催地（英） | Online |
| テーマ（和） | 音声,応用／電気音響,信号処理，超音波，一般 |
| テーマ（英） | Speech, Engineering/Electro Acoustics, Signal Processing, Ultrasonics, and Related Topics |
| 講演論文情報の詳細 | |
| 申込み研究会 | SIP |
| 会議コード | 2021-03-EA-US-SP-SIP-SLP |
| 本文の言語 | 日本語 |
| タイトル（和） | 頭蓋内脳波からのエンコーダ・デコーダモデルによる想像音声推定 |
| サブタイトル（和） | |
| タイトル（英） | Estimation of imagined speech from electrocorticogram with an encoder-decoder model |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 頭蓋内脳波 / Electrocorticogram (ECoG) |
| キーワード(2)（和/英） | 音声想像 / Imaginary speech |
| キーワード(3)（和/英） | ブレイン・コンピュータ・インタフェース / Brain-computer interface (BCI) |
| キーワード(4)（和/英） | エンコーダ・デコーダモデル / Encoder-decoder model |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 林 恒太朗 / Kotaro Hayashi / ハヤシ コウタロウ |
| 第1著者 所属（和/英） | 東京農工大学 (略称： 東京農工大) Tokyo University of Agriculture and Technology (略称： TUAT) |
| 第2著者 氏名（和/英/ヨミ） | 古明地 秀治 / Shuji Komeiji / コメイジ シュウジ |
| 第2著者 所属（和/英） | 東京農工大学 (略称： 東京農工大) Tokyo University of Agriculture and Technology (略称： TUAT) |
| 第3著者 氏名（和/英/ヨミ） | 三橋 匠 / Takumi Mitsuhashi / ミツハシ タクミ |
| 第3著者 所属（和/英） | 順天堂大学 (略称： 順天堂大) Juntendo University (略称： Juntendo Univ.) |
| 第4著者 氏名（和/英/ヨミ） | 飯村 康司 / Yasushi Iimura / イイムラ ヤスシ |
| 第4著者 所属（和/英） | 順天堂大学 (略称： 順天堂大) Juntendo University (略称： Juntendo Univ.) |
| 第5著者 氏名（和/英/ヨミ） | 鈴木 皓晴 / Hiroharu Suzuki / スズキ ヒロハル |
| 第5著者 所属（和/英） | 順天堂大学 (略称： 順天堂大) Juntendo University (略称： Juntendo Univ.) |
| 第6著者 氏名（和/英/ヨミ） | 菅野 秀宣 / Hidenori Sugano / スガノ ヒデノリ |
| 第6著者 所属（和/英） | 順天堂大学 (略称： 順天堂大) Juntendo University (略称： Juntendo Univ.) |
| 第7著者 氏名（和/英/ヨミ） | 篠田 浩一 / Koichi Shinoda / シノダ コウイチ |
| 第7著者 所属（和/英） | 東京工業大学 (略称： 東工大) Tokyo Institute of Technology (略称： TokyoTech) |
| 第8著者 氏名（和/英/ヨミ） | 田中 聡久 / Toshihisa Tanaka / タナカ トシヒサ |
| 第8著者 所属（和/英） | 東京農工大学 (略称： 東京農工大) Tokyo University of Agriculture and Technology (略称： TUAT) |
| 第9著者 氏名（和/英/ヨミ） | / / |
| 第9著者 所属（和/英） | (略称： ) (略称： ) |
| 第10著者 氏名（和/英/ヨミ） | / / |
| 第10著者 所属（和/英） | (略称： ) (略称： ) |
| 第11著者 氏名（和/英/ヨミ） | / / |
| 第11著者 所属（和/英） | (略称： ) (略称： ) |
| 第12著者 氏名（和/英/ヨミ） | / / |
| 第12著者 所属（和/英） | (略称： ) (略称： ) |
| 第13著者 氏名（和/英/ヨミ） | / / |
| 第13著者 所属（和/英） | (略称： ) (略称： ) |
| 第14著者 氏名（和/英/ヨミ） | / / |
| 第14著者 所属（和/英） | (略称： ) (略称： ) |
| 第15著者 氏名（和/英/ヨミ） | / / |
| 第15著者 所属（和/英） | (略称： ) (略称： ) |
| 第16著者 氏名（和/英/ヨミ） | / / |
| 第16著者 所属（和/英） | (略称： ) (略称： ) |
| 第17著者 氏名（和/英/ヨミ） | / / |
| 第17著者 所属（和/英） | (略称： ) (略称： ) |
| 第18著者 氏名（和/英/ヨミ） | / / |
| 第18著者 所属（和/英） | (略称： ) (略称： ) |
| 講演者 | 第1著者 |
| 発表日時 | 2021-03-04 16:10:00 |
| 発表時間 | 25分 |
| 申込先研究会 | SIP |
| 資料番号 | EA2020-87, SIP2020-118, SP2020-52 |
| 巻番号（vol） | vol.120 |
| 号番号（no） | no.397(EA), no.398(SIP), no.399(SP) |
| ページ範囲 | pp.164-169 |
| ページ数 | 6 |
| 発行日 | 2021-02-24 (EA, SIP, SP) |
[研究会発表申込システムのトップページに戻る]