講演抄録/キーワード |
講演名 |
2018-12-07 16:45
深層学習を用いた料理動画からの全体的な整合性を考慮したレシピ文の自動生成 ○藤井竜希・清 雄一・田原康之・大須賀昭彦(電通大) AI2018-32 |
抄録 |
(和) |
深層学習を用いて画像や動画の内容を自然言語で修飾するキャプション生成の研究は大きな成果をあげ、近年注目を浴びている。本研究では、社会的に実用性のあるキャプション生成という観点で、YouCookⅡというYouTubeから取得し、アノテーションされた5~10分程度の調理動画データセットを対象として、調理動画ごとのレシピ文を生成する。提案手法である同一レシピ内で既に生成された文章のベクトルをEncoder-Decoderの入力に追加したモデルでキャプション生成を行い、実際にアノテーションされたレシピ文との比較を行う。
評価指標として画像キャプション生成問題の評価に広く用いられるBleuを用いた。 |
(英) |
Research on caption generation that modifies the contents of images and moving images with natural language using deep learning has gained considerable results and attracted attention in recent years. In this research, from the viewpoint of socially practical caption generation, a recipe for each cooking movie is generated for cooking movie data set of about 5 to 10 minutes acquired from YouTube called YouTube and annotated . As a proposed method, caption generation is performed by a model in which a vector of a sentence already generated in the same recipe is added to the input of an Encoder-Decoder, and comparison with an actually annotated recipe sentence is performed.
We used Bleu for evaluation which is widely used for evaluation of image caption generation problem . |
キーワード |
(和) |
料理レシピ / 深層学習 / キャプション生成 / 整合性 / 文章ベクトル / / / |
(英) |
Cooking Recipe / Deep Learning / Captioning / Contensity / Sentence Vector / / / |
文献情報 |
信学技報, vol. 118, no. 350, AI2018-32, pp. 37-41, 2018年12月. |
資料番号 |
AI2018-32 |
発行日 |
2018-11-30 (AI) |
ISSN |
Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
AI2018-32 |