| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2025-07-09 12:20 プロンプト整合済みLLMによるTelegramからのSTIX脅威インテリジェンス抽出 ○金子翔威・青砥 陸・グエンティヴァン アン・インミン パパ・田辺瑠偉・吉岡克成（横浜国大）  ISEC2025-60 SITE2025-50 BioX2025-74 HWS2025-49 ICSS2025-60 EMM2025-63 |
|
| 抄録 | （和） | 近年，サイバー犯罪者やハクティビストは，攻撃サービスの広告，作戦状況の共有，キャンペーンの調整を目的として Telegram を積極的に活用している．これらの投稿には脅威インテリジェンスとして有用な情報が含まれているが，その非構造的かつ多様な性質により，大規模な分析は困難である．本研究では，Telegram 上の攻撃者による投稿を STIX 2.1 形式の構造化脅威インテリジェンスに自動変換する手法を提案する．具体的には，人間アノテータと大規模言語モデル（LLM）が協調してプロンプトを段階的に改善し，整合したアノテーションを可能とする「プロンプト整合フレームワーク（prompt-alignment framework）」を提案する．本フレームワークでは，フィードバックループを通じてプロンプトを改善することで，人間と LLM が生成する STIX オブジェクトの整合性と品質を向上させる．ハクティビスト活動に関与する 5 つの Telegram チャンネルを入力として提案フレームワークを適用し，10 回を超える反復によるプロンプト改善を実施したところ，人間と LLM が出力する STIX オブジェクトの F1スコアは調整前の 0.49 から 0.80 まで向上した．最終的に得られたプロンプトが他の人間や LLM に対しても有効であるかを検証するため，第二の人間アノテータおよび異なる LLM に適用した結果，それぞれ第一人間アノテータの 結果との F1 スコアは 0.66 および 0.62 となった．さらに，最終プロンプトを 37 個の Telegram チャンネル（総メッセージ数 74,679 件）に適用し，得られた 1051 個の STIX オブジェクトを分析することで，同一標的への攻撃，共通の攻撃手法の使用，攻撃者間の連携パターンなどが明らかになった． |
| （英） | Cybercriminals and hacktivists increasingly use Telegram to promote attack services, share operational updates, and coordinate campaigns. While their posts contain valuable threat intelligence, large-scale analysis is difficult due to their unstructured nature. This study proposes a method to convert such posts into STIX 2.1 format using a prompt-alignment framework, where human annotators and LLMs collaboratively refine prompts through iterative feedback. Applied to five Telegram channels, the framework improved the F1 score of human‒ LLM alignment to 0.80. Validation with another annotator and LLM yielded F1 scores of 0.66 and 0.62. Applying the method to 37 channels (74,679 messages) generated 1,051 STIX objects, uncovering shared targets, common techniques, and actor collaboration patterns. | |
| キーワード | （和） | STIX / 脅威インテリジェンス / テレグラム / / / / / |
| （英） | STIX / Threat Intelligence / Telegram / / / / / | |
| 文献情報 | 信学技報, vol. 125, no. 103, ICSS2025-60, pp. 288-295, 2025年7月. | |
| 資料番号 | ICSS2025-60 | |
| 発行日 | 2025-06-30 (ISEC, SITE, BioX, HWS, ICSS, EMM) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | ISEC2025-60 SITE2025-50 BioX2025-74 HWS2025-49 ICSS2025-60 EMM2025-63 |
|
| 研究会情報 | |
| 研究会 | HWS BioX ISEC SITE ICSS EMM IPSJ-CSEC IPSJ-SPT |
| 開催期間 | 2025-07-07 - 2025-07-09 |
| 開催地（和） | 札幌コンベンションセンター |
| 開催地（英） | Sapporo Convention Center |
| テーマ（和） | セキュリティ、一般 （セキュリティサマーサミット2025） |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | ICSS |
| 会議コード | 2025-07-HWS-BioX-ISEC-SITE-ICSS-EMM-CSEC-SPT |
| 本文の言語 | 日本語 |
| タイトル（和） | プロンプト整合済みLLMによるTelegramからのSTIX脅威インテリジェンス抽出 |
| サブタイトル（和） | |
| タイトル（英） | STIX Threat Intelligence Extraction from Telegram via Prompt-Aligned LLM |
| サブタイトル（英） | |
| キーワード(1)（和/英） | STIX / STIX |
| キーワード(2)（和/英） | 脅威インテリジェンス / Threat Intelligence |
| キーワード(3)（和/英） | テレグラム / Telegram |
| キーワード(4)（和/英） | / |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 金子 翔威 / Shoi Kaneko / カネコ ショウイ |
| 第1著者 所属（和/英） | 横浜国立大学 (略称： 横浜国大) Yokohama National University (略称： YNU) |
| 第2著者 氏名（和/英/ヨミ） | 青砥 陸 / Riku Aoto / アオト リク |
| 第2著者 所属（和/英） | 横浜国立大学 (略称： 横浜国大) Yokohama National University (略称： YNU) |
| 第3著者 氏名（和/英/ヨミ） | グエンティヴァン アン / Nguyen Thi Van Anh / グエンティヴァン アン |
| 第3著者 所属（和/英） | 横浜国立大学 (略称： 横浜国大) Yokohama National University (略称： YNU) |
| 第4著者 氏名（和/英/ヨミ） | インミン パパ / Yin Minn Pa Pa / インミン パパ |
| 第4著者 所属（和/英） | 横浜国立大学 (略称： 横浜国大) Yokohama National University (略称： YNU) |
| 第5著者 氏名（和/英/ヨミ） | 田辺 瑠偉 / Rui Tanabe / タナベ ルイ |
| 第5著者 所属（和/英） | 横浜国立大学 (略称： 横浜国大) Yokohama National University (略称： YNU) |
| 第6著者 氏名（和/英/ヨミ） | 吉岡 克成 / Katsunari Yoshioka / ヨシオカ カツナリ |
| 第6著者 所属（和/英） | 横浜国立大学 (略称： 横浜国大) Yokohama National University (略称： YNU) |
| 講演者 | 第1著者 |
| 発表日時 | 2025-07-09 12:20:00 |
| 発表時間 | 25分 |
| 申込先研究会 | ICSS |
| 資料番号 | ISEC2025-60, SITE2025-50, BioX2025-74, HWS2025-49, ICSS2025-60, EMM2025-63 |
| 巻番号（vol） | vol.125 |
| 号番号（no） | no.99(ISEC), no.100(SITE), no.101(BioX), no.102(HWS), no.103(ICSS), no.104(EMM) |
| ページ範囲 | pp.288-295 |
| ページ数 | 8 |
| 発行日 | 2025-06-30 (ISEC, SITE, BioX, HWS, ICSS, EMM) |
[研究会発表申込システムのトップページに戻る]