| 講演抄録/キーワード |
| 講演名 |
2023-03-02 13:00
[ポスター講演]DM-QIMを用いたViTモデルのTransformer Encoderに対する情報埋込みの影響 ○福岡駿太郎・今泉祥子(千葉大) EMM2022-68 |
| 抄録 |
(和) |
本稿では,Vision Transformer(ViT)モデルを対象として,Transformer Encoderの重みに対する情報埋込みが,分類精度と学習の収束性に与える影響を評価する.従来の研究から,Convolutional Neural Network(CNN)へのDither Modulation Quantization Index Modulation(DM-QIM)法を用いた情報埋込みは,学習の収束に関する影響が小さいことが確認されている.提案法では,この手法を拡張し,CNNとは異なる構造をもつViTに対して適用し,これによる影響を検証する.シミュレーションでは,分類精度に加えて,学習中の損失関数の推移,分類精度が収束するまでのエポック数の観点から評価し,有効性を確認する. |
| (英) |
In this paper, we evaluate the influence of data hiding for vision transformer (ViT) models. Specifically, we embed a payload into the transformer encoder and investigate the influence on the classification accuracy and the convergence of the training. The previous studies embedded a payload into the multilayer perceptron (MLP) layer of a convolutional neural network (CNN) model. They proved that the data hiding had little influence on the convergence of the training. We extend the previous studies to apply to a ViT model and reveal the influences. Through our simulations, we confirm the validity of the proposed method in terms of the classification accuracy, the transition of loss function, and the number of epochs for convergence. |
| キーワード |
(和) |
Vision Transformer / 著作権保護 / 情報埋込み / DM-QIM法 / 損失関数 / / / |
| (英) |
Vision Transformer / watermarking / copyright protection / data hiding / DM-QIM / loss function / / |
| 文献情報 |
信学技報, vol. 122, no. 412, EMM2022-68, pp. 7-12, 2023年3月. |
| 資料番号 |
EMM2022-68 |
| 発行日 |
2023-02-23 (EMM) |
| ISSN |
Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
| PDFダウンロード |
EMM2022-68 |