講演抄録/キーワード |
講演名 |
2020-09-02 16:30
動画像予測と対比学習による表現学習 ○中田秀基・麻生英樹(産総研) PRMU2020-17 |
抄録 |
(和) |
近年ラベルを用いない教師なし学習手法が発展し、
わずかな量のラベルを用いた下流タスクへの転移学習によって、
ラベルを用いた事前学習に匹敵するほどの精度が得られるようになっている。
これらの教師なし学習手法の多くは画像データを対象としており、
ランダムクロッピングなどの経験的に有効であることが知られている
データ水増し手法によって、帰納バイアスをモデルに与えている。
これに対してわれわれは、動画像のフレームの連続性を
帰納バイアスとして用いることを試みた。
具体的には、動画中の別フレームを用いる方法、
動画中のフレームを他のフレームから予測したものを用いる方法を試行した。
下流タスクとして画像識別を用いて評価を行った結果、
前者の手法では従来手法よりもやや性能が落ちるものの一定の効果があることを確認した。
また、後者の商法では従来手法に匹敵する性能が得られることを確認した。 |
(英) |
The recent development in the unsupervised learning area enabled accuracy in the downstream tasks that equal the one with supervised pretraining using the labeled data, with transfer learning using a small amount of labeled data.
Most of these unsupervised methods rely on the data augmentation techniques, such as random cropping, known to be empirically effective in giving the models' induction bias.
We propose to use the inherent continuity of video frames instead of empirical data augmentation techniques.
Namely, we propose two methods, 1) use another frame in the same video clip as a positive sample, 2) predict a frame using other frames in the same clip and use the predicted frame as a positive sample.
We evaluated these methods with image classification as the downstream task. The result showed that while the former method could not achieve good accuracy, the second method equals
the traditional data augmentation techniques. |
キーワード |
(和) |
表現学習 / 対比学習 / 教師なし機械学習 / / / / / |
(英) |
Representation Learning / Contrastive Learning / Unsupervised Learning / / / / / |
文献情報 |
信学技報, vol. 120, no. 154, PRMU2020-17, pp. 59-64, 2020年9月. |
資料番号 |
PRMU2020-17 |
発行日 |
2020-08-26 (PRMU) |
ISSN |
Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
PRMU2020-17 |