| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2024-05-16 15:10 画像クラスタリングに基づくCLIP学習のためのincorrectペア生成法の提案 ○田上鈴奈・小林大起・秋月秀一・橋本 学（中京大）  PRMU2024-5 |
|
| 抄録 | （和） | CLIP の対照学習には，画像・テキスト間の関連性が高いペア(correct ペア)と，correct ペアの組み合わせを変えて生成された，画像・テキスト間の関連性が低いペア(incorrect ペア)が利用されている．提案手法では，学習性能の向上が可能な incorrect ペアのみを生成する手法を提案する．従来の CLIP は，学習データ内に類似画像が複数存在する場合，関連性の高いペアが incorrect ペアとして扱われ，学習に悪影響を及ぼすという問題がある．そこで，提案手法では，ViT と BERT を用いて correct ペアの画像特徴とテキスト特徴を抽出後，それぞれをクラスタリングし，画像特徴間のクラスタが異なる，類似度の低いペアの付与テキストを交換する．これにより，画像・テキスト間の関連性が低い incorrect ペアのみを作成可能である．Amazon review dataset を用いた実験では，従来の CLIP と比較して Rank@1 スコアが 13.0%，ランダムで incorrect ペアを削減した場合と比較して6.0% 向上した． |
| （英） | We proposed a novel method for generating incorrect pairs to enhance learning performance in CLIP's contrastive learning, addressing the bias in data quantity between correct and incorrect pairs. Vanilla CLIP methods that similar images are considered incorrect pairs, adversely affecting learning. Our approach extracts features of images and texts from correct pairs using ViT and BERT, clusters them, and then swaps texts of low-similarity pairs across different clusters. Experiments on the Amazon review dataset showed a 13.0% improvement in Rank@1 score over conventional CLIP and a 6.0% improvement over randomly reducing incorrect pairs. | |
| キーワード | （和） | 大規模言語モデル / ファインチューニング / 対照学習 / CLIP / 画像検索 / / / |
| （英） | Large Language Model / Fine-tuning / Contrastive Learning / CLIP / Image Retrieval / / / | |
| 文献情報 | 信学技報, vol. 124, no. 23, PRMU2024-5, pp. 24-29, 2024年5月. | |
| 資料番号 | PRMU2024-5 | |
| 発行日 | 2024-05-08 (PRMU) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | PRMU2024-5 |
|
| 研究会情報 | |
| 研究会 | PRMU IPSJ-CVIM |
| 開催期間 | 2024-05-15 - 2024-05-16 |
| 開催地（和） | 東京大学 生産技術研究所 コンベンションホール |
| 開催地（英） | |
| テーマ（和） | キャリアプラン，卒論・D論セッション (CVIM) |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | PRMU |
| 会議コード | 2024-05-PRMU-CVIM |
| 本文の言語 | 日本語 |
| タイトル（和） | 画像クラスタリングに基づくCLIP学習のためのincorrectペア生成法の提案 |
| サブタイトル（和） | |
| タイトル（英） | A Proposal for Generating Incorrect Pairs for the CLIP Learning based on Image Clustering |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 大規模言語モデル / Large Language Model |
| キーワード(2)（和/英） | ファインチューニング / Fine-tuning |
| キーワード(3)（和/英） | 対照学習 / Contrastive Learning |
| キーワード(4)（和/英） | CLIP / CLIP |
| キーワード(5)（和/英） | 画像検索 / Image Retrieval |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 田上 鈴奈 / Rina Tagami / タガミ リナ |
| 第1著者 所属（和/英） | 中京大学 (略称： 中京大) Chukyo University (略称： Chukyo Univ.) |
| 第2著者 氏名（和/英/ヨミ） | 小林 大起 / Hiroki Kobayashi / コバヤシ ヒロキ |
| 第2著者 所属（和/英） | 中京大学 (略称： 中京大) Chukyo University (略称： Chukyo Univ.) |
| 第3著者 氏名（和/英/ヨミ） | 秋月 秀一 / Shuichi Akizuki / アキズキ シュウイチ |
| 第3著者 所属（和/英） | 中京大学 (略称： 中京大) Chukyo University (略称： Chukyo Univ.) |
| 第4著者 氏名（和/英/ヨミ） | 橋本 学 / Manabu Hashimoto / ハシモト マナブ |
| 第4著者 所属（和/英） | 中京大学 (略称： 中京大) Chukyo University (略称： Chukyo Univ.) |
| 講演者 | 第1著者 |
| 発表日時 | 2024-05-16 15:10:00 |
| 発表時間 | 15分 |
| 申込先研究会 | PRMU |
| 資料番号 | PRMU2024-5 |
| 巻番号（vol） | vol.124 |
| 号番号（no） | no.23 |
| ページ範囲 | pp.24-29 |
| ページ数 | 6 |
| 発行日 | 2024-05-08 (PRMU) |
[研究会発表申込システムのトップページに戻る]