講演抄録/キーワード |
講演名 |
2020-03-05 14:20
【オンライン】心像性に基づく画像キャプショニングの検討 ○梅村和紀・カストナー マーク アウレル・井手一郎・川西康友・平山高嗣(名大)・道満恵介(中京大)・出口大輔・村瀬 洋(名大) IMQ2019-48 IE2019-130 MVE2019-69 |
抄録 |
(和) |
様々な場面や用途に応じた画像キャプショニングを目指し,文の心像性に基づく画像キャプショニング手法を提案する.まず,既存の画像キャプションデータセットを拡張して,様々な抽象度のキャプションをもつ画像キャプションデータセットを構築する.そして,そのデータセット中のキャプションに対して心像性を算出することで,心像性スコア付きキャプションデータセットを構築する.それを用いてキャプショニングモデルを学習し,指定した心像性をもつ画像キャプションを生成する枠組みを構築する.評価実験では,画像キャプションデータセットの拡張の有効性と提案手法による画像キャプショニング実現の可能性を確認した. |
(英) |
We propose an imageability-aware image captioning method tailoring generated captions to various applications. In this study, we first extend an existing image captioning dataset by augmenting its captions. Then, an imageability score for each augmented caption is calculated. A modified image captioning model is trained using this extended dataset to generate captions tailored to a specified imageability score. The evaluation shows the possibility that the extended dataset and the proposed method can generate imageability-aware captions. |
キーワード |
(和) |
マルチメディア処理 / 画像キャプショニング / 心理言語学 / セマンティックギャップ / / / / |
(英) |
Multimedia proccesing / image captioning / psycholinguistics / semantic gap / / / / |
文献情報 |
信学技報, vol. 119, no. 457, MVE2019-69, pp. 165-169, 2020年3月. |
資料番号 |
MVE2019-69 |
発行日 |
2020-02-27 (IMQ, IE, MVE) |
ISSN |
Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
IMQ2019-48 IE2019-130 MVE2019-69 |