講演抄録/キーワード |
講演名 |
2023-05-18 17:35
Attention機構を用いた無線信号ガイド付き画像修復 ○陳 誠・太田翔己・西尾理志(東工大)・メフディ ベニス(オウル大)・パーク ジホン(ディーキン大)・モハメド ワヒブ(理研) SeMI2023-6 |
抄録 |
(和) |
本論文では、チャネル状態情報(CSI)とトランスフォーマーアーキテクチャを組み合わせた新しい画像インペインティング法を提案する。CSIの振幅が画像データを補完する視覚情報を提供することができ、それをインペインティングプロセスに取り入れることで、より良い結果を導くことができることを示す。我々のモデルは、ImageNet-22kで事前学習され、その後ImageNet-1kで微調整されたSwin Transformerアーキテクチャと、インペイントイメージを生成するデコーダに基づくものである。実験結果は、我々の提案モデルが、画像とRSSIを用いた最新のマルチモーダルインペイント法であるRF-Inpainterを上回る性能を持つことを示している。本手法は、より高いPSNRとSSIMスコアを達成し、より詳細な情報を持つインペイントイメージを生成する。本研究は、CSIを画像インペイントプロセスに組み込むことの可能性を示し、コンピュータビジョンアプリケーションにおけるマルチモーダルデータの利用について新たな可能性を開くものである。 |
(英) |
This paper proposes a novel image inpainting method that combines channel state information (CSI) and transformer architecture, showing that the amplitude of CSI can provide visual information that complements the image data and that incorporating it into the inpainting process can lead to better results We show that incorporating it into the inpainting process can lead to better results. Our model is based on the Swin Transformer architecture, which is pre-trained on ImageNet-22k and subsequently fine-tuned on ImageNet-1k, and a decoder that generates inpainting images. Experimental results show that our proposed model outperforms RF-Inpainter, a state-of-the-art multimodal inpainting method using images and RSSI. Our method achieves higher PSNR and SSIM scores and produces inpainterd images with more detailed information. This study demonstrates the feasibility of incorporating CSI into the image inpainting process and opens new possibilities for the use of multimodal data in computer vision applications. |
キーワード |
(和) |
画像修復 / 深層学習 / チャネル状態情報 / トランスフォーマー / ワイヤレスセンシング / / / |
(英) |
Image inpainting / Deep Learning / Channel State Information / Transformer / Wireless Sensing / / / |
文献情報 |
信学技報, vol. 123, no. 31, SeMI2023-6, pp. 23-25, 2023年5月. |
資料番号 |
SeMI2023-6 |
発行日 |
2023-05-11 (SeMI) |
ISSN |
Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
SeMI2023-6 |