| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2026-03-24 16:00 動画拡散モデルによる一貫性と品質を両立するテキストマニュアルのビジュアルガイド生成 ○岡本 瞬・飯塚里志・福井和広（筑波大）  PRMU2025-52 |
|
| 抄録 | （和） | 調理や工作などのテキストマニュアルから，手順を視覚化したビジュアルガイドを生成することは，日常の様々な場面で有用である．既存手法では，指示整合性とフレーム間一貫性を保ちながら視覚的品質の高い画像列を生成する事は困難である．そこで本研究では，高いフレーム間一貫性を持つ動画拡散モデルを基盤とし，指示整合性・フレーム間一貫性・視覚的品質を同時に満たす新たなフレームワークであるInstructionCrafterを提案する． 提案フレームワークでは，ビジュアルガイド特有の時間理解と指示文理解の最適化を，画像品質の劣化を防ぎつつ効率的に行うために，新たな学習戦略と追加モジュールを導入する．まず，生成品質を維持するためにモデルの空間層を凍結して学習を行う効率的な学習戦略を採用する． さらに，多ステップでの指示文間の相互関係を捉えるためのConsistent Adapterと，フレーム間の時間関係に文脈を明示的に反映させるためのContext-Aware Temporal Adapterを提案する． 実験の結果，提案フレームワークは指示整合性・フレーム間一貫性・視覚的品質の総合評価で優れた性能を示した． |
| （英） | Generating visual guides from textual manuals is useful in daily situations. However, existing methods struggle to produce high-quality sequences while maintaining both step faithfulness and cross-image consistency. We propose InstructionCrafter, a new framework built on a video diffusion model, to achieve step faithfulness, cross-image consistency, and high visual quality. Our approach introduces an efficient training strategy and lightweight modules that improve temporal reasoning and instruction understanding without degrading per-frame quality. Specifically, we freeze spatial layers to preserve the generative prior, and add two adapters: Consistent Adapter to capture relations across multi-step instructions, and Context-Aware Temporal Adapter to inject contextual cues into temporal modeling across frames. Experiments show that InstructionCrafter achieves superior overall performance in terms of step faithfulness, cross-image consistency, and visual quality. | |
| キーワード | （和） | 動画拡散モデル / ビジュアルガイド / 画像生成 / / / / / |
| （英） | Video Diffusion Models / Visual Guides / Image Synthesis / / / / / | |
| 文献情報 | 信学技報, vol. 125, no. 424, PRMU2025-52, pp. 57-62, 2026年3月. | |
| 資料番号 | PRMU2025-52 | |
| 発行日 | 2026-03-17 (PRMU) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | PRMU2025-52 |
|
| 研究会情報 | |
| 研究会 | PRMU IPSJ-CVIM IBISML ITE-SIP |
| 開催期間 | 2026-03-24 - 2026-03-25 |
| 開催地（和） | あわぎんホール |
| 開催地（英） | |
| テーマ（和） | 人や動物の行動解析、マルチメディア認識技術 |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | PRMU |
| 会議コード | 2026-03-PRMU-CVIM-IBISML |
| 本文の言語 | 日本語 |
| タイトル（和） | 動画拡散モデルによる一貫性と品質を両立するテキストマニュアルのビジュアルガイド生成 |
| サブタイトル（和） | |
| タイトル（英） | Generating Consistent and High-Fidelity Visual Guides from Text Manuals using Video Diffusion Models |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 動画拡散モデル / Video Diffusion Models |
| キーワード(2)（和/英） | ビジュアルガイド / Visual Guides |
| キーワード(3)（和/英） | 画像生成 / Image Synthesis |
| キーワード(4)（和/英） | / |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 岡本 瞬 / Shun Okamoto / オカモト シユン |
| 第1著者 所属（和/英） | 筑波大学 (略称： 筑波大) University of Tsukuba (略称： Tsukuba Univ.) |
| 第2著者 氏名（和/英/ヨミ） | 飯塚 里志 / Satoshi Iizuka / イイヅカ サトシ |
| 第2著者 所属（和/英） | 筑波大学 (略称： 筑波大) University of Tsukuba (略称： Tsukuba Univ.) |
| 第3著者 氏名（和/英/ヨミ） | 福井 和広 / Kazuhiro Fukui / フクイ カズヒロ |
| 第3著者 所属（和/英） | 筑波大学 (略称： 筑波大) University of Tsukuba (略称： Tsukuba Univ.) |
| 講演者 | 第1著者 |
| 発表日時 | 2026-03-24 16:00:00 |
| 発表時間 | 15分 |
| 申込先研究会 | PRMU |
| 資料番号 | PRMU2025-52 |
| 巻番号（vol） | vol.125 |
| 号番号（no） | no.424 |
| ページ範囲 | pp.57-62 |
| ページ数 | 6 |
| 発行日 | 2026-03-17 (PRMU) |
[研究会発表申込システムのトップページに戻る]