| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2022-03-02 13:25 ［ポスター講演］頭蓋内脳波からのTransformerモデルによるテキストデコーディング ○古明地秀治・重見 開（東京農工大）・三橋 匠・飯村康司・鈴木皓晴・菅野秀宣（順天堂大）・篠田浩一（東工大）・田中聡久（東京農工大）  EA2021-87 SIP2021-114 SP2021-72 |
|
| 抄録 | （和） | 侵襲的brain–machine interface （BMI） は，人間の脳から直接脳波を取得することで，音声コミュニケーションを実現する技術として期待されている．本稿では，Transformerエンコーダを取り入れたsequence-to-sequence（Seq2seq）モデル（Transformer Seq2seq）により，文発声時の頭蓋内脳波からテキストをデコードする．Transformerは，自然言語処理や音声認識の分野で実績のあるニューラルネットモデルであり，入出力系列間の長期的な依存関係を学習する．てんかん治療のため頭蓋内に電極を留置した7名による文発声時における頭蓋内脳波を計測し，TransformerSeq2seqモデルにより発声テキストのデコーディングを試みた．その結果，実験参加者の中で最も高い文節誤り率は16.4%を達成した．また，このモデルによると全参加者の文節誤り率の中央値（±標準偏差）は31.3（±10.0%）であった．このことは，頭蓋内脳波からのテキストデコーディングに，Transformerが有効であることを示している． |
| （英） | Invasive brain-machine interfaces (BMIs) are a promising neurotechnology for achieving direct speech communication from a human brain but face many challenges. This paper measured the invasive electrocorticogram (ECoG) signals from seven participating epilepsy patients as they spoke a sentence consisting of multiple phrases. A Transformer encoder was incorporated into a “sequence-to-sequence” model (Transformer Seq2seq) to decode spoken sentences from the ECoG. A Transformer is a successful neural network model for natural language processing and automatic speech recognition. The decoding test revealed that the use of the Transformer model achieved a minimum phrase error rate of 16.4% for one best participant; moreover, the median (±standard deviation) of PER for the Transformer Seq2seq across seven participants was31.3% (±10.0%). This result showed that the Transformer Seq2seq effectively decoded from ECoG. | |
| キーワード | （和） | 頭蓋内脳波 / Brain--machine interface / Transformer エンコーダ / sequence to sequence / / / / |
| （英） | Electrocorticography / Brain--machine interface / Transformer encoder / Sequence to sequence / / / / | |
| 文献情報 | 信学技報, vol. 121, no. 384, SIP2021-114, pp. 146-151, 2022年3月. | |
| 資料番号 | SIP2021-114 | |
| 発行日 | 2022-02-22 (EA, SIP, SP) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | EA2021-87 SIP2021-114 SP2021-72 |
|
| 研究会情報 | |
| 研究会 | EA SIP SP IPSJ-SLP |
| 開催期間 | 2022-03-01 - 2022-03-02 |
| 開催地（和） | 沖縄県立博物館・美術館 |
| 開催地（英） | |
| テーマ（和） | 応用／電気音響, 信号処理，音声，一般 |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | SIP |
| 会議コード | 2022-03-EA-SIP-SP-SLP |
| 本文の言語 | 日本語 |
| タイトル（和） | 頭蓋内脳波からのTransformerモデルによるテキストデコーディング |
| サブタイトル（和） | |
| タイトル（英） | Transformer-based Text Decoding using Electrocorticography |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 頭蓋内脳波 / Electrocorticography |
| キーワード(2)（和/英） | Brain--machine interface / Brain--machine interface |
| キーワード(3)（和/英） | Transformer エンコーダ / Transformer encoder |
| キーワード(4)（和/英） | sequence to sequence / Sequence to sequence |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 古明地 秀治 / Shuji Komeiji / コメイジ シュウジ |
| 第1著者 所属（和/英） | 東京農工大学 (略称： 東京農工大) Tokyo University of Agriculture and Technology (略称： TUAT) |
| 第2著者 氏名（和/英/ヨミ） | 重見 開 / Kai Shigemi / シゲミ カイ |
| 第2著者 所属（和/英） | 東京農工大学 (略称： 東京農工大) Tokyo University of Agriculture and Technology (略称： TUAT) |
| 第3著者 氏名（和/英/ヨミ） | 三橋 匠 / Takumi Mitsuhashi / ミツハシ タクミ |
| 第3著者 所属（和/英） | 順天堂大学 (略称： 順天堂大) Juntendo University (略称： Juntendo Univ.) |
| 第4著者 氏名（和/英/ヨミ） | 飯村 康司 / Yasushi Iimura / イイムラ ヤスシ |
| 第4著者 所属（和/英） | 順天堂大学 (略称： 順天堂大) Juntendo University (略称： Juntendo Univ.) |
| 第5著者 氏名（和/英/ヨミ） | 鈴木 皓晴 / Hiroharu Suzuki / スズキ ヒロハル |
| 第5著者 所属（和/英） | 順天堂大学 (略称： 順天堂大) Juntendo University (略称： Juntendo Univ.) |
| 第6著者 氏名（和/英/ヨミ） | 菅野 秀宣 / Hidenori Sugano / スガノ ヒデノリ |
| 第6著者 所属（和/英） | 順天堂大学 (略称： 順天堂大) Juntendo University (略称： Juntendo Univ.) |
| 第7著者 氏名（和/英/ヨミ） | 篠田 浩一 / Koichi Shinoda / シノダ コウイチ |
| 第7著者 所属（和/英） | 東京工業大学 (略称： 東工大) Tokyo Institute of Technology (略称： Tokyo Tech) |
| 第8著者 氏名（和/英/ヨミ） | 田中 聡久 / Toshihisa Tanaka / タナカ トシヒサ |
| 第8著者 所属（和/英） | 東京農工大学 (略称： 東京農工大) Tokyo University of Agriculture and Technology (略称： TUAT) |
| 第9著者 氏名（和/英/ヨミ） | / / |
| 第9著者 所属（和/英） | (略称： ) (略称： ) |
| 第10著者 氏名（和/英/ヨミ） | / / |
| 第10著者 所属（和/英） | (略称： ) (略称： ) |
| 第11著者 氏名（和/英/ヨミ） | / / |
| 第11著者 所属（和/英） | (略称： ) (略称： ) |
| 第12著者 氏名（和/英/ヨミ） | / / |
| 第12著者 所属（和/英） | (略称： ) (略称： ) |
| 第13著者 氏名（和/英/ヨミ） | / / |
| 第13著者 所属（和/英） | (略称： ) (略称： ) |
| 第14著者 氏名（和/英/ヨミ） | / / |
| 第14著者 所属（和/英） | (略称： ) (略称： ) |
| 第15著者 氏名（和/英/ヨミ） | / / |
| 第15著者 所属（和/英） | (略称： ) (略称： ) |
| 第16著者 氏名（和/英/ヨミ） | / / |
| 第16著者 所属（和/英） | (略称： ) (略称： ) |
| 第17著者 氏名（和/英/ヨミ） | / / |
| 第17著者 所属（和/英） | (略称： ) (略称： ) |
| 第18著者 氏名（和/英/ヨミ） | / / |
| 第18著者 所属（和/英） | (略称： ) (略称： ) |
| 講演者 | 第1著者 |
| 発表日時 | 2022-03-02 13:25:00 |
| 発表時間 | 120分 |
| 申込先研究会 | SIP |
| 資料番号 | EA2021-87, SIP2021-114, SP2021-72 |
| 巻番号（vol） | vol.121 |
| 号番号（no） | no.383(EA), no.384(SIP), no.385(SP) |
| ページ範囲 | pp.146-151 |
| ページ数 | 6 |
| 発行日 | 2022-02-22 (EA, SIP, SP) |
[研究会発表申込システムのトップページに戻る]