| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2023-11-17 14:40 潜在拡散モデルを用いた文書画像の歪み補正と再照明 ○今林颯大・ハオ グオチン・飯塚里志・福井和広（筑波大）  PRMU2023-36 |
|
| 抄録 | （和） | 本研究では，潜在拡散モデルを用いて文書画像の歪み補正と再照明を行い，その視認性を向上させる手法 を提案する. 文書画像は撮影条件によって折り目や傾きといった歪みや，影が写り込む場合がある．これらの歪みや影 は，視認性の低下やOCR(Optical Character Recognition) において大きな問題となる可能性がある．近年では，畳み込 みニューラルネットワークを用いて歪み補正や再照明を行う手法が提案されているが，幾何変形を伴う画像変換を扱 うのは難しく，複雑な歪みの補正や高精度の再照明は未だに困難である．本研究では，これらの問題を解決するため に潜在拡散モデルを用いた，文書画像の歪み補正と再照明を行う手法を提案する．提案手法では，歪みや影を含んだ 劣化画像をピクセル空間から潜在空間へ変換し，ガウシアンノイズと連結させる．その後，ノイズ除去ネットワーク によりノイズを取り除く処理を繰り返すことで，完全にノイズを除去した潜在表現を生成する．最後に，生成された 潜在表現をピクセル空間に変換し，歪み補正と再照明を行った出力画像を得る．拡散モデルは生成品質が高く，最尤 推定によって学習するため多様なデータの生成が可能であり，かつ安定して学習させることができる．また，部分情 報から残りを復元することや，条件付きで生成を制御することもできるため，劣化画像を条件として歪み補正と再照 明を行った画像の生成が可能となる．この手法により，実際の文書画像の多様な場面においても高品質な結果を実現 し，幅広い応用可能性を持つことが期待される． |
| （英） | This study proposes a method to improve the visibility of document images by correcting distortions and re-illuminating them using a latent diffusion model. Document images often suffer from folds, tilt, and shadows. Such distortions and shadows significantly diminish image visibility, posing a challenge for optical character recognition (OCR) tasks. Recent methods using convolutional neural networks have attempted to correct distortions and re-illuminate, but image transformations involving geometric deformations are difficult, and it is still difficult to correct distortions and re-illuminate with high accuracy. In this study, we propose a method for correcting distortion and re-illumination of document images using a latent diffusion model to solve these problems. In the proposed method, a degraded image containing distortions and shadows is transformed from pixel space to latent space and concatenated with Gaussian noise. Then, the process of removing the noise is repeated by a denoising network to generate a latent representation with completely removed noise. Finally, the generated latent representation is converted to pixel space, and the output image is obtained after distortion correction and re-illumination. The diffusion model has high generative capacity and is trained by maximum likelihood estimation, allowing for the generation of a wide variety of data and stable training. It can also recover the remainder from partial information and conditionally control the generation, making it possible to generate images with distortion correction and re-illumination conditional on a degraded image. This method is expected to achieve high-quality results in a wide variety of real-world document images, and has a wide range of potential applications. | |
| キーワード | （和） | 文書画像 / 歪み補正 / 再照明 / 潜在拡散モデル / / / / |
| （英） | Document images / Geometric unwarping / Illumination correction / Latent diffusion model / / / / | |
| 文献情報 | 信学技報, vol. 123, no. 266, PRMU2023-36, pp. 113-118, 2023年11月. | |
| 資料番号 | PRMU2023-36 | |
| 発行日 | 2023-11-09 (PRMU) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | PRMU2023-36 |
|
| 研究会情報 | |
| 研究会 | PRMU IPSJ-CVIM IPSJ-DCC IPSJ-CGVI |
| 開催期間 | 2023-11-16 - 2023-11-17 |
| 開催地（和） | 鳥取県立生涯学習センター（県民ふれあい会館） |
| 開催地（英） | |
| テーマ（和） | 人を表現・理解するためのCG/DCC/CV/PR技術 |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | PRMU |
| 会議コード | 2023-11-PRMU-CVIM-DCC-CGVI |
| 本文の言語 | 日本語 |
| タイトル（和） | 潜在拡散モデルを用いた文書画像の歪み補正と再照明 |
| サブタイトル（和） | |
| タイトル（英） | Diffusion-based Geometric Unwarping and Illumination Correction for Document Images |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 文書画像 / Document images |
| キーワード(2)（和/英） | 歪み補正 / Geometric unwarping |
| キーワード(3)（和/英） | 再照明 / Illumination correction |
| キーワード(4)（和/英） | 潜在拡散モデル / Latent diffusion model |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 今林 颯大 / Sota Imahayashi / イマハヤシ ソウタ |
| 第1著者 所属（和/英） | 筑波大学 (略称： 筑波大) University of Tsukuba (略称： Univ. of Tsukuba) |
| 第2著者 氏名（和/英/ヨミ） | ハオ グオチン / Guoqing Hao / ハオ グオチン |
| 第2著者 所属（和/英） | 筑波大学 (略称： 筑波大) University of Tsukuba (略称： Univ. of Tsukuba) |
| 第3著者 氏名（和/英/ヨミ） | 飯塚 里志 / Satoshi Iizuka / イイヅカ サトシ |
| 第3著者 所属（和/英） | 筑波大学 (略称： 筑波大) University of Tsukuba (略称： Univ. of Tsukuba) |
| 第4著者 氏名（和/英/ヨミ） | 福井 和広 / Kazuhiro Fukui / フクイ カズヒロ |
| 第4著者 所属（和/英） | 筑波大学 (略称： 筑波大) University of Tsukuba (略称： Univ. of Tsukuba) |
| 講演者 | 第1著者 |
| 発表日時 | 2023-11-17 14:40:00 |
| 発表時間 | 90分 |
| 申込先研究会 | PRMU |
| 資料番号 | PRMU2023-36 |
| 巻番号（vol） | vol.123 |
| 号番号（no） | no.266 |
| ページ範囲 | pp.113-118 |
| ページ数 | 6 |
| 発行日 | 2023-11-09 (PRMU) |
[研究会発表申込システムのトップページに戻る]