講演抄録/キーワード |
講演名 |
2022-03-11 17:10
Transformerを用いたクロスモーダルレシピ検索・画像生成 ○楊 景・柳井啓司(電通大) PRMU2021-90 |
抄録 |
(和) |
インターネットの発展により,マルチモーダルデータが指数的に増大している.
その中でも,食物は人間の生活で重要な役割を果たしているため,料理レシピサイトに多数存在している,料理画像と調理レシピテキストからなるマルチモーダルデータの研究が近年注目されている.特に,画像からテキスト,テキストから画像の相互検索を行うクロスモーダルレシピ検索は,多くの研究が行われている.本研究は,当研究室で行われた研究で,現在,最高精度のクロスモーダルレシピ検索を実現しているRDEGANcite{RDEGAN}の啓発の下で,Transformerを用いたレシピ検索フレームワークを提案する.実験では,提案手法はレシピ検索・画像生成の二つのタスクにおいてともに従来の手法を上回った結果を得られたことが示された. |
(英) |
|
キーワード |
(和) |
Transformer / クロスモーダル検索 / 自己教師あり学習 / 画像生成 / / / / |
(英) |
/ / / / / / / |
文献情報 |
信学技報, vol. 121, no. 427, PRMU2021-90, pp. 186-191, 2022年3月. |
資料番号 |
PRMU2021-90 |
発行日 |
2022-03-03 (PRMU) |
ISSN |
Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
PRMU2021-90 |