| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2023-05-18 17:35 Attention機構を用いた無線信号ガイド付き画像修復 ○陳 誠・太田翔己・西尾理志（東工大）・メフディ ベニス（オウル大）・パーク ジホン（ディーキン大）・モハメド ワヒブ（理研）  SeMI2023-6 |
|
| 抄録 | （和） | 本論文では、チャネル状態情報（CSI）とトランスフォーマーアーキテクチャを組み合わせた新しい画像インペインティング法を提案する。CSIの振幅が画像データを補完する視覚情報を提供することができ、それをインペインティングプロセスに取り入れることで、より良い結果を導くことができることを示す。我々のモデルは、ImageNet-22kで事前学習され、その後ImageNet-1kで微調整されたSwin Transformerアーキテクチャと、インペイントイメージを生成するデコーダに基づくものである。実験結果は、我々の提案モデルが、画像とRSSIを用いた最新のマルチモーダルインペイント法であるRF-Inpainterを上回る性能を持つことを示している。本手法は、より高いPSNRとSSIMスコアを達成し、より詳細な情報を持つインペイントイメージを生成する。本研究は、CSIを画像インペイントプロセスに組み込むことの可能性を示し、コンピュータビジョンアプリケーションにおけるマルチモーダルデータの利用について新たな可能性を開くものである。 |
| （英） | This paper proposes a novel image inpainting method that combines channel state information (CSI) and transformer architecture, showing that the amplitude of CSI can provide visual information that complements the image data and that incorporating it into the inpainting process can lead to better results We show that incorporating it into the inpainting process can lead to better results. Our model is based on the Swin Transformer architecture, which is pre-trained on ImageNet-22k and subsequently fine-tuned on ImageNet-1k, and a decoder that generates inpainting images. Experimental results show that our proposed model outperforms RF-Inpainter, a state-of-the-art multimodal inpainting method using images and RSSI. Our method achieves higher PSNR and SSIM scores and produces inpainterd images with more detailed information. This study demonstrates the feasibility of incorporating CSI into the image inpainting process and opens new possibilities for the use of multimodal data in computer vision applications. | |
| キーワード | （和） | 画像修復 / 深層学習 / チャネル状態情報 / トランスフォーマー / ワイヤレスセンシング / / / |
| （英） | Image inpainting / Deep Learning / Channel State Information / Transformer / Wireless Sensing / / / | |
| 文献情報 | 信学技報, vol. 123, no. 31, SeMI2023-6, pp. 23-25, 2023年5月. | |
| 資料番号 | SeMI2023-6 | |
| 発行日 | 2023-05-11 (SeMI) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | SeMI2023-6 |
|
| 研究会情報 | |
| 研究会 | SeMI IPSJ-ITS IPSJ-MBL IPSJ-DPS |
| 開催期間 | 2023-05-18 - 2023-05-19 |
| 開催地（和） | 沖縄科学技術大学院大学（OIST） |
| 開催地（英） | Okinawa Institute of Science and Technology (OIST) |
| テーマ（和） | センサネットワーク，モバイルインテリジェンス，分散コンピューティング，ITS，スマートコミュニティ，モバイルコンピューティング，パーベイシブシステム，一般 |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | SeMI |
| 会議コード | 2023-05-SeMI-ITS-MBL-DPS |
| 本文の言語 | 日本語 |
| タイトル（和） | Attention機構を用いた無線信号ガイド付き画像修復 |
| サブタイトル（和） | |
| タイトル（英） | Wireless Signal-guided Image Inpainting with Attention Mechanism |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 画像修復 / Image inpainting |
| キーワード(2)（和/英） | 深層学習 / Deep Learning |
| キーワード(3)（和/英） | チャネル状態情報 / Channel State Information |
| キーワード(4)（和/英） | トランスフォーマー / Transformer |
| キーワード(5)（和/英） | ワイヤレスセンシング / Wireless Sensing |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 陳 誠 / Cheng Chen / チン チェン |
| 第1著者 所属（和/英） | 東京工業大学 (略称： 東工大) Tokyo Institute of Technology (略称： Tokyo Tech) |
| 第2著者 氏名（和/英/ヨミ） | 太田 翔己 / Shoki Ohta / オオタ ショウキ |
| 第2著者 所属（和/英） | 東京工業大学 (略称： 東工大) Tokyo Institute of Technology (略称： Tokyo Tech) |
| 第3著者 氏名（和/英/ヨミ） | 西尾 理志 / Takayuki Nishio / ニシオ タカユキ |
| 第3著者 所属（和/英） | 東京工業大学 (略称： 東工大) Tokyo Institute of Technology (略称： Tokyo Tech) |
| 第4著者 氏名（和/英/ヨミ） | メフディ ベニス / Mehdi Bennis / メフディ ベニス |
| 第4著者 所属（和/英） | オウル大学 (略称： オウル大) University of Oulu (略称： Univ. Oulu) |
| 第5著者 氏名（和/英/ヨミ） | パーク ジホン / Jihong Park / パーク ジホン |
| 第5著者 所属（和/英） | ディーキン大学 (略称： ディーキン大) Deakin University (略称： Deakin Univ.) |
| 第6著者 氏名（和/英/ヨミ） | モハメド ワヒブ / Mohamed Wahib / モハメド ワヒブ |
| 第6著者 所属（和/英） | 理化学研究所 (略称： 理研) RIKEN (略称： RIKEN) |
| 第7著者 氏名（和/英/ヨミ） | / / |
| 第7著者 所属（和/英） | (略称： ) (略称： ) |
| 第8著者 氏名（和/英/ヨミ） | / / |
| 第8著者 所属（和/英） | (略称： ) (略称： ) |
| 第9著者 氏名（和/英/ヨミ） | / / |
| 第9著者 所属（和/英） | (略称： ) (略称： ) |
| 第10著者 氏名（和/英/ヨミ） | / / |
| 第10著者 所属（和/英） | (略称： ) (略称： ) |
| 第11著者 氏名（和/英/ヨミ） | / / |
| 第11著者 所属（和/英） | (略称： ) (略称： ) |
| 第12著者 氏名（和/英/ヨミ） | / / |
| 第12著者 所属（和/英） | (略称： ) (略称： ) |
| 第13著者 氏名（和/英/ヨミ） | / / |
| 第13著者 所属（和/英） | (略称： ) (略称： ) |
| 第14著者 氏名（和/英/ヨミ） | / / |
| 第14著者 所属（和/英） | (略称： ) (略称： ) |
| 第15著者 氏名（和/英/ヨミ） | / / |
| 第15著者 所属（和/英） | (略称： ) (略称： ) |
| 第16著者 氏名（和/英/ヨミ） | / / |
| 第16著者 所属（和/英） | (略称： ) (略称： ) |
| 第17著者 氏名（和/英/ヨミ） | / / |
| 第17著者 所属（和/英） | (略称： ) (略称： ) |
| 第18著者 氏名（和/英/ヨミ） | / / |
| 第18著者 所属（和/英） | (略称： ) (略称： ) |
| 講演者 | 第1著者 |
| 発表日時 | 2023-05-18 17:35:00 |
| 発表時間 | 15分 |
| 申込先研究会 | SeMI |
| 資料番号 | SeMI2023-6 |
| 巻番号（vol） | vol.123 |
| 号番号（no） | no.31 |
| ページ範囲 | pp.23-25 |
| ページ数 | 3 |
| 発行日 | 2023-05-11 (SeMI) |
[研究会発表申込システムのトップページに戻る]