お知らせ 研究会の開催と会場に参加される皆様へのお願い(2022年6月開催~)
電子情報通信学会 研究会発表申込システム
講演論文 詳細
技報閲覧サービス
[ログイン]
技報アーカイブ
 トップに戻る 前のページに戻る   [Japanese] / [English] 

講演抄録/キーワード
講演名 2022-03-02 13:25
[ポスター講演]頭蓋内脳波からのTransformerモデルによるテキストデコーディング
古明地秀治重見 開東京農工大)・三橋 匠飯村康司鈴木皓晴菅野秀宣順天堂大)・篠田浩一東工大)・田中聡久東京農工大EA2021-87 SIP2021-114 SP2021-72
抄録 (和) 侵襲的brain–machine interface (BMI) は,人間の脳から直接脳波を取得することで,音声コミュニケーションを実現する技術として期待されている.本稿では,Transformerエンコーダを取り入れたsequence-to-sequence(Seq2seq)モデル(Transformer Seq2seq)により,文発声時の頭蓋内脳波からテキストをデコードする.Transformerは,自然言語処理や音声認識の分野で実績のあるニューラルネットモデルであり,入出力系列間の長期的な依存関係を学習する.てんかん治療のため頭蓋内に電極を留置した7名による文発声時における頭蓋内脳波を計測し,TransformerSeq2seqモデルにより発声テキストのデコーディングを試みた.その結果,実験参加者の中で最も高い文節誤り率は16.4%を達成した.また,このモデルによると全参加者の文節誤り率の中央値(±標準偏差)は31.3(±10.0%)であった.このことは,頭蓋内脳波からのテキストデコーディングに,Transformerが有効であることを示している. 
(英) Invasive brain-machine interfaces (BMIs) are a promising neurotechnology for achieving direct speech communication from a human brain but face many challenges. This paper measured the invasive electrocorticogram (ECoG) signals from seven participating epilepsy patients as they spoke a sentence consisting of multiple phrases. A Transformer encoder was incorporated into a “sequence-to-sequence” model (Transformer Seq2seq) to decode spoken sentences from the ECoG. A Transformer is a successful neural network model for natural language processing and automatic speech recognition. The decoding test revealed that the use of the Transformer model achieved a minimum phrase error rate of 16.4% for one best participant; moreover, the median (±standard deviation) of PER for the Transformer Seq2seq across seven participants was31.3% (±10.0%). This result showed that the Transformer Seq2seq effectively decoded from ECoG.
キーワード (和) 頭蓋内脳波 / Brain--machine interface / Transformer エンコーダ / sequence to sequence / / / /  
(英) Electrocorticography / Brain--machine interface / Transformer encoder / Sequence to sequence / / / /  
文献情報 信学技報, vol. 121, no. 384, SIP2021-114, pp. 146-151, 2022年3月.
資料番号 SIP2021-114 
発行日 2022-02-22 (EA, SIP, SP) 
ISSN Print edition: ISSN 0913-5685  Online edition: ISSN 2432-6380
著作権に
ついて
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034)
PDFダウンロード EA2021-87 SIP2021-114 SP2021-72

研究会情報
研究会 EA SIP SP IPSJ-SLP  
開催期間 2022-03-01 - 2022-03-02 
開催地(和) 沖縄県立博物館・美術館 
開催地(英)  
テーマ(和) 応用/電気音響, 信号処理,音声,一般 
テーマ(英)  
講演論文情報の詳細
申込み研究会 SIP 
会議コード 2022-03-EA-SIP-SP-SLP 
本文の言語 日本語 
タイトル(和) 頭蓋内脳波からのTransformerモデルによるテキストデコーディング 
サブタイトル(和)  
タイトル(英) Transformer-based Text Decoding using Electrocorticography 
サブタイトル(英)  
キーワード(1)(和/英) 頭蓋内脳波 / Electrocorticography  
キーワード(2)(和/英) Brain--machine interface / Brain--machine interface  
キーワード(3)(和/英) Transformer エンコーダ / Transformer encoder  
キーワード(4)(和/英) sequence to sequence / Sequence to sequence  
キーワード(5)(和/英) /  
キーワード(6)(和/英) /  
キーワード(7)(和/英) /  
キーワード(8)(和/英) /  
第1著者 氏名(和/英/ヨミ) 古明地 秀治 / Shuji Komeiji / コメイジ シュウジ
第1著者 所属(和/英) 東京農工大学 (略称: 東京農工大)
Tokyo University of Agriculture and Technology (略称: TUAT)
第2著者 氏名(和/英/ヨミ) 重見 開 / Kai Shigemi / シゲミ カイ
第2著者 所属(和/英) 東京農工大学 (略称: 東京農工大)
Tokyo University of Agriculture and Technology (略称: TUAT)
第3著者 氏名(和/英/ヨミ) 三橋 匠 / Takumi Mitsuhashi / ミツハシ タクミ
第3著者 所属(和/英) 順天堂大学 (略称: 順天堂大)
Juntendo University (略称: Juntendo Univ.)
第4著者 氏名(和/英/ヨミ) 飯村 康司 / Yasushi Iimura / イイムラ ヤスシ
第4著者 所属(和/英) 順天堂大学 (略称: 順天堂大)
Juntendo University (略称: Juntendo Univ.)
第5著者 氏名(和/英/ヨミ) 鈴木 皓晴 / Hiroharu Suzuki / スズキ ヒロハル
第5著者 所属(和/英) 順天堂大学 (略称: 順天堂大)
Juntendo University (略称: Juntendo Univ.)
第6著者 氏名(和/英/ヨミ) 菅野 秀宣 / Hidenori Sugano / スガノ ヒデノリ
第6著者 所属(和/英) 順天堂大学 (略称: 順天堂大)
Juntendo University (略称: Juntendo Univ.)
第7著者 氏名(和/英/ヨミ) 篠田 浩一 / Koichi Shinoda / シノダ コウイチ
第7著者 所属(和/英) 東京工業大学 (略称: 東工大)
Tokyo Institute of Technology (略称: Tokyo Tech)
第8著者 氏名(和/英/ヨミ) 田中 聡久 / Toshihisa Tanaka / タナカ トシヒサ
第8著者 所属(和/英) 東京農工大学 (略称: 東京農工大)
Tokyo University of Agriculture and Technology (略称: TUAT)
第9著者 氏名(和/英/ヨミ) / /
第9著者 所属(和/英) (略称: )
(略称: )
第10著者 氏名(和/英/ヨミ) / /
第10著者 所属(和/英) (略称: )
(略称: )
第11著者 氏名(和/英/ヨミ) / /
第11著者 所属(和/英) (略称: )
(略称: )
第12著者 氏名(和/英/ヨミ) / /
第12著者 所属(和/英) (略称: )
(略称: )
第13著者 氏名(和/英/ヨミ) / /
第13著者 所属(和/英) (略称: )
(略称: )
第14著者 氏名(和/英/ヨミ) / /
第14著者 所属(和/英) (略称: )
(略称: )
第15著者 氏名(和/英/ヨミ) / /
第15著者 所属(和/英) (略称: )
(略称: )
第16著者 氏名(和/英/ヨミ) / /
第16著者 所属(和/英) (略称: )
(略称: )
第17著者 氏名(和/英/ヨミ) / /
第17著者 所属(和/英) (略称: )
(略称: )
第18著者 氏名(和/英/ヨミ) / /
第18著者 所属(和/英) (略称: )
(略称: )
第19著者 氏名(和/英/ヨミ) / /
第19著者 所属(和/英) (略称: )
(略称: )
第20著者 氏名(和/英/ヨミ) / /
第20著者 所属(和/英) (略称: )
(略称: )
講演者 第1著者 
発表日時 2022-03-02 13:25:00 
発表時間 120分 
申込先研究会 SIP 
資料番号 EA2021-87, SIP2021-114, SP2021-72 
巻番号(vol) vol.121 
号番号(no) no.383(EA), no.384(SIP), no.385(SP) 
ページ範囲 pp.146-151 
ページ数
発行日 2022-02-22 (EA, SIP, SP) 


[研究会発表申込システムのトップページに戻る]

[電子情報通信学会ホームページ]


IEICE / 電子情報通信学会