| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2023-05-18 13:30 知覚的品質向上のための拡散モデルを用いた画像調和 ○成木太音・浮田宗伯（豊田工大）  PRMU2023-1 |
|
| 抄録 | （和） | 画像調和は、画像を合成した際に発生する色味の違和感を解消するタスクである。しかし、従来の画像調和データセットでは、違和感という知覚的な側面を考慮することができておらず、GTとの差分のみでモデルを学習・評価していた。このため、生成画像が違和感の無いものだったとしても、GTとの差分が大きければ、学習不十分な画像として扱われてしまっていた。 ここで、近年注目を集める生成モデルに拡散モデルがある。拡散モデルは、ノイズ画像から複数回のステップに渡って徐々にノイズを取り除いていき画像を生成するモデルであり、この徐々に復元していく生成過程と安定的な目的関数により、他の生成モデルに比べて生成画像の品質と多様性が高いことで知られている。また、DPSという手法では拡散モデルに逆問題を応用することで、所定の条件を満たすような画像をゼロショットで復元することができる。 提案手法では、DPSにおいて画像勾配とVGG特徴量による制約を掛けて画像を生成することで、前景のテクスチャを保持しつつ品質の高い画像調和を行う。さらに、リバースプロセスの各ステップに置いて制約を徐々に大きくすることで、より安定的な復元を実現する。 |
| （英） | Image harmonization is the task of eliminating the discomfort of color tones that occurs when images are composited. However, conventional image harmonization datasets were not able to take into account the perceptual aspect of discomfort, and models were learned and evaluated only by the difference from the GT. For this reason, even if the generated image was not uncomfortable, if the difference from the GT was large, it was treated as an insufficiently trained image. Recently, the diffusion model has been attracting attention. The diffusion model generates images by gradually removing noise from a noisy image over multiple steps, and is known for its higher quality and diversity of generated images compared to other generative models due to this gradually restoring generative process and stable objective function. In addition, the method called DPS applies an inverse problem to the diffusion model to restore an image in zero shots such that it satisfies a given condition. In the proposed method, the image is generated by applying constraints based on image gradients and VGG features in DPS, which results in image harmonization with high quality while preserving foreground textures. Furthermore, by gradually increasing the constraints at each step of the reverse process, the restoration is performed with higher perceptual quality. |
|
| キーワード | （和） | 画像調和 / 拡散モデル / 逆問題 / / / / / |
| （英） | Image harmonization / Diffusion model / Inverse problem / / / / / | |
| 文献情報 | 信学技報, vol. 123, no. 30, PRMU2023-1, pp. 1-5, 2023年5月. | |
| 資料番号 | PRMU2023-1 | |
| 発行日 | 2023-05-11 (PRMU) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | PRMU2023-1 |
|
| 研究会情報 | |
| 研究会 | PRMU IPSJ-CVIM |
| 開催期間 | 2023-05-18 - 2023-05-19 |
| 開催地（和） | 名古屋工業大学 |
| 開催地（英） | |
| テーマ（和） | NeRF等のニューラルシーン表現 |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | PRMU |
| 会議コード | 2023-05-PRMU-CVIM |
| 本文の言語 | 日本語 |
| タイトル（和） | 知覚的品質向上のための拡散モデルを用いた画像調和 |
| サブタイトル（和） | |
| タイトル（英） | Image Harmonization Using Diffusion Model for Perceptual Quality Improvement |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 画像調和 / Image harmonization |
| キーワード(2)（和/英） | 拡散モデル / Diffusion model |
| キーワード(3)（和/英） | 逆問題 / Inverse problem |
| キーワード(4)（和/英） | / |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 成木 太音 / Taito Naruki / ナルキ タイト |
| 第1著者 所属（和/英） | 豊田工業大学 (略称： 豊田工大) Toyota Technological Institute (略称： TTI) |
| 第2著者 氏名（和/英/ヨミ） | 浮田 宗伯 / Norimichi Ukita / ウキタ ノリミチ |
| 第2著者 所属（和/英） | 豊田工業大学 (略称： 豊田工大) Toyota Technological Institute (略称： TTI) |
| 第3著者 氏名（和/英/ヨミ） | / / |
| 第3著者 所属（和/英） | (略称： ) (略称： ) |
| 第4著者 氏名（和/英/ヨミ） | / / |
| 第4著者 所属（和/英） | (略称： ) (略称： ) |
| 第5著者 氏名（和/英/ヨミ） | / / |
| 第5著者 所属（和/英） | (略称： ) (略称： ) |
| 第6著者 氏名（和/英/ヨミ） | / / |
| 第6著者 所属（和/英） | (略称： ) (略称： ) |
| 第7著者 氏名（和/英/ヨミ） | / / |
| 第7著者 所属（和/英） | (略称： ) (略称： ) |
| 第8著者 氏名（和/英/ヨミ） | / / |
| 第8著者 所属（和/英） | (略称： ) (略称： ) |
| 第9著者 氏名（和/英/ヨミ） | / / |
| 第9著者 所属（和/英） | (略称： ) (略称： ) |
| 第10著者 氏名（和/英/ヨミ） | / / |
| 第10著者 所属（和/英） | (略称： ) (略称： ) |
| 第11著者 氏名（和/英/ヨミ） | / / |
| 第11著者 所属（和/英） | (略称： ) (略称： ) |
| 第12著者 氏名（和/英/ヨミ） | / / |
| 第12著者 所属（和/英） | (略称： ) (略称： ) |
| 第13著者 氏名（和/英/ヨミ） | / / |
| 第13著者 所属（和/英） | (略称： ) (略称： ) |
| 第14著者 氏名（和/英/ヨミ） | / / |
| 第14著者 所属（和/英） | (略称： ) (略称： ) |
| 第15著者 氏名（和/英/ヨミ） | / / |
| 第15著者 所属（和/英） | (略称： ) (略称： ) |
| 第16著者 氏名（和/英/ヨミ） | / / |
| 第16著者 所属（和/英） | (略称： ) (略称： ) |
| 第17著者 氏名（和/英/ヨミ） | / / |
| 第17著者 所属（和/英） | (略称： ) (略称： ) |
| 第18著者 氏名（和/英/ヨミ） | / / |
| 第18著者 所属（和/英） | (略称： ) (略称： ) |
| 講演者 | 第1著者 |
| 発表日時 | 2023-05-18 13:30:00 |
| 発表時間 | 15分 |
| 申込先研究会 | PRMU |
| 資料番号 | PRMU2023-1 |
| 巻番号（vol） | vol.123 |
| 号番号（no） | no.30 |
| ページ範囲 | pp.1-5 |
| ページ数 | 5 |
| 発行日 | 2023-05-11 (PRMU) |
[研究会発表申込システムのトップページに戻る]