| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2023-05-18 14:00 動画フレーム補間に特化した教師オプティカルフローの作成 ○宮田 陸・近藤佑樹・浮田宗伯（豊田工大）  PRMU2023-3 |
|
| 抄録 | （和） | 動画フレーム補間とは，連続する2つの動画フレームから中間のフレームを生成する技術である．本研究では，知識蒸留という学習戦略を利用し，高品質な動画フレーム補間を実現することを目指す．知識蒸留は，教師モデルから生徒モデルへの知識の伝達を促す手法である．この研究で扱う従来手法はRIFEであり，動画フレーム補間タスクで高い性能を示している． RIFEとは異なり，本研究ではより大きな教師モデルを使用することを提案する．具体的には，オプティカルフローの推定において，SOTA（State-Of-The-Art）性能を持つFlowFormerモデルを教師モデルとして採用する．そうして得られたオプティカルフローを複数回U-Netに通すことによってさらに，精度の良いオプティカルフローを作成すること期待する．実験ではまず，教師モデルを作成し，オプティカルフローを推定する．その後，教師モデルの推定オプティカルフローを疑似GT（Ground Truth）として利用し，生徒モデルを学習させる． 実験の結果，提案手法とRIFEを精度で比較したが，予想に反して提案手法の精度はRIFEよりも低かった．これは，教師モデルを単純に巨大化するだけでは，必ずしも生徒モデルの精度向上につながらないことを示している．この結果から，動画フレーム補間タスクにおいて，さらなる工夫が必要であることが明らかとなった． |
| （英） | Video frame interpolation is a technique for generating intermediate frames from two consecutive video frames. In this study, we aim to achieve high-quality video frame interpolation using a learning strategy called knowledge distillation. Knowledge distillation is a method to promote the transfer of knowledge from a teacher model to a student model. The conventional method used in this study is RIFE, which demonstrates high performance in video frame interpolation tasks. Unlike RIFE, this study proposes to use a larger teacher model. Specifically, we adopt the FlowFormer model, which has State-Of-The-Art (SOTA) performance in optical flow estimation, as the teacher model. We then expect to create a more accurate optical flow by passing the obtained optical flow through U-Net multiple times. In the experiments, we first create a teacher model and estimate the optical flow. Then, we use the estimated optical flow from the teacher model as the pseudo Ground Truth (GT) and train the student model. As a result of the experiments, we compared the accuracy of the proposed method and RIFE, but contrary to our expectations, the accuracy of the proposed method was lower than that of RIFE. This indicates that simply enlarging the teacher model does not necessarily lead to an improvement in the student model's accuracy. From these results, it has become clear that further ingenuity is required in the video frame interpolation task. |
|
| キーワード | （和） | 動画フレーム補間 / 知識蒸留 / / / / / / |
| （英） | Video Frame Interpolation / knowledge distillation / / / / / / | |
| 文献情報 | 信学技報, vol. 123, no. 30, PRMU2023-3, pp. 12-15, 2023年5月. | |
| 資料番号 | PRMU2023-3 | |
| 発行日 | 2023-05-11 (PRMU) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | PRMU2023-3 |
|
| 研究会情報 | |
| 研究会 | PRMU IPSJ-CVIM |
| 開催期間 | 2023-05-18 - 2023-05-19 |
| 開催地（和） | 名古屋工業大学 |
| 開催地（英） | |
| テーマ（和） | NeRF等のニューラルシーン表現 |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | PRMU |
| 会議コード | 2023-05-PRMU-CVIM |
| 本文の言語 | 日本語 |
| タイトル（和） | 動画フレーム補間に特化した教師オプティカルフローの作成 |
| サブタイトル（和） | |
| タイトル（英） | Creation of Teacher Optical Flow specialized for Video Frame Interpolation |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 動画フレーム補間 / Video Frame Interpolation |
| キーワード(2)（和/英） | 知識蒸留 / knowledge distillation |
| キーワード(3)（和/英） | / |
| キーワード(4)（和/英） | / |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 宮田 陸 / Riku Miyata / ミヤタ リク |
| 第1著者 所属（和/英） | 豊田工業大学 (略称： 豊田工大) Toyota Technological Institute (略称： TTI) |
| 第2著者 氏名（和/英/ヨミ） | 近藤 佑樹 / Yuki Kondo / コンドウ ユウキ |
| 第2著者 所属（和/英） | 豊田工業大学 (略称： 豊田工大) Toyota Technological Institute (略称： TTI) |
| 第3著者 氏名（和/英/ヨミ） | 浮田 宗伯 / Norimichi Ukita / ウキタ ノリミチ |
| 第3著者 所属（和/英） | 豊田工業大学 (略称： 豊田工大) Toyota Technological Institute (略称： TTI) |
| 第4著者 氏名（和/英/ヨミ） | / / |
| 第4著者 所属（和/英） | (略称： ) (略称： ) |
| 第5著者 氏名（和/英/ヨミ） | / / |
| 第5著者 所属（和/英） | (略称： ) (略称： ) |
| 第6著者 氏名（和/英/ヨミ） | / / |
| 第6著者 所属（和/英） | (略称： ) (略称： ) |
| 第7著者 氏名（和/英/ヨミ） | / / |
| 第7著者 所属（和/英） | (略称： ) (略称： ) |
| 第8著者 氏名（和/英/ヨミ） | / / |
| 第8著者 所属（和/英） | (略称： ) (略称： ) |
| 第9著者 氏名（和/英/ヨミ） | / / |
| 第9著者 所属（和/英） | (略称： ) (略称： ) |
| 第10著者 氏名（和/英/ヨミ） | / / |
| 第10著者 所属（和/英） | (略称： ) (略称： ) |
| 第11著者 氏名（和/英/ヨミ） | / / |
| 第11著者 所属（和/英） | (略称： ) (略称： ) |
| 第12著者 氏名（和/英/ヨミ） | / / |
| 第12著者 所属（和/英） | (略称： ) (略称： ) |
| 第13著者 氏名（和/英/ヨミ） | / / |
| 第13著者 所属（和/英） | (略称： ) (略称： ) |
| 第14著者 氏名（和/英/ヨミ） | / / |
| 第14著者 所属（和/英） | (略称： ) (略称： ) |
| 第15著者 氏名（和/英/ヨミ） | / / |
| 第15著者 所属（和/英） | (略称： ) (略称： ) |
| 第16著者 氏名（和/英/ヨミ） | / / |
| 第16著者 所属（和/英） | (略称： ) (略称： ) |
| 第17著者 氏名（和/英/ヨミ） | / / |
| 第17著者 所属（和/英） | (略称： ) (略称： ) |
| 第18著者 氏名（和/英/ヨミ） | / / |
| 第18著者 所属（和/英） | (略称： ) (略称： ) |
| 講演者 | 第1著者 |
| 発表日時 | 2023-05-18 14:00:00 |
| 発表時間 | 15分 |
| 申込先研究会 | PRMU |
| 資料番号 | PRMU2023-3 |
| 巻番号（vol） | vol.123 |
| 号番号（no） | no.30 |
| ページ範囲 | pp.12-15 |
| ページ数 | 4 |
| 発行日 | 2023-05-11 (PRMU) |
[研究会発表申込システムのトップページに戻る]