お知らせ 2023年度・2024年度 学生員 会費割引キャンペーン実施中です
お知らせ 技術研究報告と和文論文誌Cの同時投稿施策(掲載料1割引き)について
お知らせ 電子情報通信学会における研究会開催について
お知らせ NEW 参加費の返金について
電子情報通信学会 研究会発表申込システム
講演論文 詳細
技報閲覧サービス
[ログイン]
技報アーカイブ
 トップに戻る 前のページに戻る   [Japanese] / [English] 

講演抄録/キーワード
講演名 2023-05-18 17:35
Attention機構を用いた無線信号ガイド付き画像修復
陳 誠太田翔己西尾理志東工大)・メフディ ベニスオウル大)・パーク ジホンディーキン大)・モハメド ワヒブ理研SeMI2023-6
抄録 (和) 本論文では、チャネル状態情報(CSI)とトランスフォーマーアーキテクチャを組み合わせた新しい画像インペインティング法を提案する。CSIの振幅が画像データを補完する視覚情報を提供することができ、それをインペインティングプロセスに取り入れることで、より良い結果を導くことができることを示す。我々のモデルは、ImageNet-22kで事前学習され、その後ImageNet-1kで微調整されたSwin Transformerアーキテクチャと、インペイントイメージを生成するデコーダに基づくものである。実験結果は、我々の提案モデルが、画像とRSSIを用いた最新のマルチモーダルインペイント法であるRF-Inpainterを上回る性能を持つことを示している。本手法は、より高いPSNRとSSIMスコアを達成し、より詳細な情報を持つインペイントイメージを生成する。本研究は、CSIを画像インペイントプロセスに組み込むことの可能性を示し、コンピュータビジョンアプリケーションにおけるマルチモーダルデータの利用について新たな可能性を開くものである。 
(英) This paper proposes a novel image inpainting method that combines channel state information (CSI) and transformer architecture, showing that the amplitude of CSI can provide visual information that complements the image data and that incorporating it into the inpainting process can lead to better results We show that incorporating it into the inpainting process can lead to better results. Our model is based on the Swin Transformer architecture, which is pre-trained on ImageNet-22k and subsequently fine-tuned on ImageNet-1k, and a decoder that generates inpainting images. Experimental results show that our proposed model outperforms RF-Inpainter, a state-of-the-art multimodal inpainting method using images and RSSI. Our method achieves higher PSNR and SSIM scores and produces inpainterd images with more detailed information. This study demonstrates the feasibility of incorporating CSI into the image inpainting process and opens new possibilities for the use of multimodal data in computer vision applications.
キーワード (和) 画像修復 / 深層学習 / チャネル状態情報 / トランスフォーマー / ワイヤレスセンシング / / /  
(英) Image inpainting / Deep Learning / Channel State Information / Transformer / Wireless Sensing / / /  
文献情報 信学技報, vol. 123, no. 31, SeMI2023-6, pp. 23-25, 2023年5月.
資料番号 SeMI2023-6 
発行日 2023-05-11 (SeMI) 
ISSN Online edition: ISSN 2432-6380
著作権に
ついて
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034)
PDFダウンロード SeMI2023-6

研究会情報
研究会 SeMI IPSJ-ITS IPSJ-MBL IPSJ-DPS  
開催期間 2023-05-18 - 2023-05-19 
開催地(和) 沖縄科学技術大学院大学(OIST) 
開催地(英) Okinawa Institute of Science and Technology (OIST) 
テーマ(和) センサネットワーク,モバイルインテリジェンス,分散コンピューティング,ITS,スマートコミュニティ,モバイルコンピューティング,パーベイシブシステム,一般 
テーマ(英)  
講演論文情報の詳細
申込み研究会 SeMI 
会議コード 2023-05-SeMI-ITS-MBL-DPS 
本文の言語 日本語 
タイトル(和) Attention機構を用いた無線信号ガイド付き画像修復 
サブタイトル(和)  
タイトル(英) Wireless Signal-guided Image Inpainting with Attention Mechanism 
サブタイトル(英)  
キーワード(1)(和/英) 画像修復 / Image inpainting  
キーワード(2)(和/英) 深層学習 / Deep Learning  
キーワード(3)(和/英) チャネル状態情報 / Channel State Information  
キーワード(4)(和/英) トランスフォーマー / Transformer  
キーワード(5)(和/英) ワイヤレスセンシング / Wireless Sensing  
キーワード(6)(和/英) /  
キーワード(7)(和/英) /  
キーワード(8)(和/英) /  
第1著者 氏名(和/英/ヨミ) 陳 誠 / Cheng Chen / チン チェン
第1著者 所属(和/英) 東京工業大学 (略称: 東工大)
Tokyo Institute of Technology (略称: Tokyo Tech)
第2著者 氏名(和/英/ヨミ) 太田 翔己 / Shoki Ohta / オオタ ショウキ
第2著者 所属(和/英) 東京工業大学 (略称: 東工大)
Tokyo Institute of Technology (略称: Tokyo Tech)
第3著者 氏名(和/英/ヨミ) 西尾 理志 / Takayuki Nishio / ニシオ タカユキ
第3著者 所属(和/英) 東京工業大学 (略称: 東工大)
Tokyo Institute of Technology (略称: Tokyo Tech)
第4著者 氏名(和/英/ヨミ) メフディ ベニス / Mehdi Bennis / メフディ ベニス
第4著者 所属(和/英) オウル大学 (略称: オウル大)
University of Oulu (略称: Univ. Oulu)
第5著者 氏名(和/英/ヨミ) パーク ジホン / Jihong Park / パーク ジホン
第5著者 所属(和/英) ディーキン大学 (略称: ディーキン大)
Deakin University (略称: Deakin Univ.)
第6著者 氏名(和/英/ヨミ) モハメド ワヒブ / Mohamed Wahib / モハメド ワヒブ
第6著者 所属(和/英) 理化学研究所 (略称: 理研)
RIKEN (略称: RIKEN)
第7著者 氏名(和/英/ヨミ) / /
第7著者 所属(和/英) (略称: )
(略称: )
第8著者 氏名(和/英/ヨミ) / /
第8著者 所属(和/英) (略称: )
(略称: )
第9著者 氏名(和/英/ヨミ) / /
第9著者 所属(和/英) (略称: )
(略称: )
第10著者 氏名(和/英/ヨミ) / /
第10著者 所属(和/英) (略称: )
(略称: )
第11著者 氏名(和/英/ヨミ) / /
第11著者 所属(和/英) (略称: )
(略称: )
第12著者 氏名(和/英/ヨミ) / /
第12著者 所属(和/英) (略称: )
(略称: )
第13著者 氏名(和/英/ヨミ) / /
第13著者 所属(和/英) (略称: )
(略称: )
第14著者 氏名(和/英/ヨミ) / /
第14著者 所属(和/英) (略称: )
(略称: )
第15著者 氏名(和/英/ヨミ) / /
第15著者 所属(和/英) (略称: )
(略称: )
第16著者 氏名(和/英/ヨミ) / /
第16著者 所属(和/英) (略称: )
(略称: )
第17著者 氏名(和/英/ヨミ) / /
第17著者 所属(和/英) (略称: )
(略称: )
第18著者 氏名(和/英/ヨミ) / /
第18著者 所属(和/英) (略称: )
(略称: )
第19著者 氏名(和/英/ヨミ) / /
第19著者 所属(和/英) (略称: )
(略称: )
第20著者 氏名(和/英/ヨミ) / /
第20著者 所属(和/英) (略称: )
(略称: )
講演者 第1著者 
発表日時 2023-05-18 17:35:00 
発表時間 15分 
申込先研究会 SeMI 
資料番号 SeMI2023-6 
巻番号(vol) vol.123 
号番号(no) no.31 
ページ範囲 pp.23-25 
ページ数
発行日 2023-05-11 (SeMI) 


[研究会発表申込システムのトップページに戻る]

[電子情報通信学会ホームページ]


IEICE / 電子情報通信学会