| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2024-11-13 14:05 Attention機構を組み込んだマルチモーダルAIによる説明可能なフェイクニュース検出 ○大川倫明・鈴木一哉・山口高康（秋田県立大）  IA2024-44 |
|
| 抄録 | （和） | ソーシャルメディアにおけるフェイクニュースは喫緊の課題であり，ビジュアルとテキストの両方の形式で蔓延している．特に，大規模言語モデル（LLM）や生成モデルなどの生成AIの発展により，悪意のあるユーザーがこれらを利用して偽情報を拡散させる可能性があり，人間でもフェイクを見抜き説明することは困難である．関連研究では，様々なディープフェイク検出やテキストにおけるフェイクニュース検出手法が提案されているが，単一のモダリティの設計である．また，マルチモーダルを想定した研究でも，人間が作成したフェイクデータに限定したり，AIが生成したコンテンツを根拠なくフェイクと仮定している．本研究では，多様な実シナリオを想定し，人間とAIが作成したリアルデータとフェイクデータを混在させたテキストと画像のマルチモーダルなデータセットを構築する．また，このデータセットに対してフェイクニュースを検出し，判断根拠を示す手法を提案する．画像キャプションを新たな特徴量として加え，複数のヘッドを持つCross-Attention機構を組み込むことで，異なるモーダルにまたがるミクロな偽造の手がかりを複数の側面から評価し，その判断根拠も合わせて示す．実験では，ベースラインモデルに比べ，F1スコアの指標で約10.2ポイントの性能が向上し，提案手法の有用性を明らかにした．また，テキストと画像に対して，それぞれAttentionマップとGrad-CAMを適用することで，根拠を示しつつ見分けることができ，モデルの解釈性と信頼性を向上させた． |
| （英） | Fake news on social media is an urgent issue, proliferating in both visual and textual forms. In particular, the advancement of generative AI technologies—such as large language models (LLMs) and generative models—enables malicious users to exploit these tools to disseminate misinformation, making it difficult even for humans to detect and explain the fakes. In related work, various methods for detecting deepfakes and fake news in text have been proposed; however, these approaches are designed for a single modality. Moreover, even studies that consider multimodality are limited to fake data created by humans or unjustifiably assume that AI-generated content is fake. In this study, we construct a multimodal dataset of texts and images that mixes real and fake data created by both humans and AI, considering various real-world scenarios. We then propose a method to detect fake news on this dataset and present the rationale behind our judgments. By incorporating image captions as new features and integrating a multi-head cross-attention mechanism, we evaluate micro-level forgery cues that span different modalities from multiple perspectives, and provide the reasoning for our decisions. In the experiments, the proposed method demonstrated its effectiveness by achieving an improvement of approximately 10.2 points in the F1 score compared to the baseline model. Furthermore, by applying Attention maps to the text and Grad-CAM to the images, the model was able to distinguish fake news while providing supporting evidence, thereby enhancing its interpretability and reliability. | |
| キーワード | （和） | フェイクニュース検出 / 説明可能性 / マルチモーダルAI / Attention機構 / / / / |
| （英） | fake news detection / explainability / multimodal AI / attention mechanism / / / / | |
| 文献情報 | 信学技報, vol. 124, no. 254, IA2024-44, pp. 1-7, 2024年11月. | |
| 資料番号 | IA2024-44 | |
| 発行日 | 2024-11-06 (IA) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | IA2024-44 |
|
| 研究会情報 | |
| 研究会 | IA |
| 開催期間 | 2024-11-13 - 2024-11-13 |
| 開催地（和） | 秋田アトリオン（秋田県） |
| 開催地（英） | Akita Atorion (Akita Pref.) |
| テーマ（和） | 学生セッション、一般（産学協力研究コンソーシアム インターネット技術研究会 共催） |
| テーマ（英） | Student Sessions, etc. (cosponsored by Committee on Internet Technology) |
| 講演論文情報の詳細 | |
| 申込み研究会 | IA |
| 会議コード | 2024-11-IA |
| 本文の言語 | 日本語 |
| タイトル（和） | Attention機構を組み込んだマルチモーダルAIによる説明可能なフェイクニュース検出 |
| サブタイトル（和） | |
| タイトル（英） | Explainable Fake News Detection with Multimodal AI Incorporating Attention Mechanisms |
| サブタイトル（英） | |
| キーワード(1)（和/英） | フェイクニュース検出 / fake news detection |
| キーワード(2)（和/英） | 説明可能性 / explainability |
| キーワード(3)（和/英） | マルチモーダルAI / multimodal AI |
| キーワード(4)（和/英） | Attention機構 / attention mechanism |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 大川 倫明 / Tomoaki Ohkawa / オオカワ トモアキ |
| 第1著者 所属（和/英） | 秋田県立大学 (略称： 秋田県立大) Akita Prefectural University (略称： Akita Prefectural Univ.) |
| 第2著者 氏名（和/英/ヨミ） | 鈴木 一哉 / Kazuya Suzuki / スズキ カズヤ |
| 第2著者 所属（和/英） | 秋田県立大学 (略称： 秋田県立大) Akita Prefectural University (略称： Akita Prefectural Univ.) |
| 第3著者 氏名（和/英/ヨミ） | 山口 高康 / Takayasu Yamaguchi / ヤマグチ タカヤス |
| 第3著者 所属（和/英） | 秋田県立大学 (略称： 秋田県立大) Akita Prefectural University (略称： Akita Prefectural Univ.) |
| 講演者 | 第1著者 |
| 発表日時 | 2024-11-13 14:05:00 |
| 発表時間 | 25分 |
| 申込先研究会 | IA |
| 資料番号 | IA2024-44 |
| 巻番号（vol） | vol.124 |
| 号番号（no） | no.254 |
| ページ範囲 | pp.1-7 |
| ページ数 | 7 |
| 発行日 | 2024-11-06 (IA) |
[研究会発表申込システムのトップページに戻る]