| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2026-06-23 11:15 顕著性の明示的統合による学習ベース映像要約の設計と評価 ○望月廉士郎・鈴木大三・横田壮真（筑波大）  SIP2026-23 BioX2026-23 IE2026-23 MI2026-23 |
|
| 抄録 | （和） | 本稿では，CNNベースの時空間注意機構を用いた学習ベース映像要約モデル（CSTA: CNN-based Spatiotemporal Attention）を基盤とし，視覚的顕著性を明示的な補助情報として導入する映像要約手法を提案する．既存の注意機構ベース手法では，学習データから暗黙的に獲得される特徴量に基づいて重要度を推定するが，顕著性マップに基づく顕著性情報を明示的な入力として扱っていない．そこで提案法では，各フレームの顕著性マップから得られる統計量（平均値，最大値，最小値，および分散）を顕著性スコアと定義し，これを CSTA に統合する．統合方法として，モデルの入力時に導入する``早期連結''モデルおよび分類器直前で導入する``後期連結''モデルの2手法を提案する．SumMe および TVSum データセットを用いた評価実験の結果，TVSum では後期連結モデルが順位相関係数およびFスコアのすべての指標で従来法を上回った． 一方，SumMe データセットでは，提案法は F スコアを概ね維持したものの，順位相関係数は低下する傾向が見られた．これらの結果により，顕著性は学習ベース映像要約モデルにおける有効な補助情報となり得る一方で，モデル全体へ一様に統合した場合にはフレーム間の相対的重要度を損なう可能性があることを確認した． 特に，顕著性を最終的な重要度推定に対する補助情報として利用する後期連結モデルが有効である可能性を示した． |
| （英） | This paper proposes a video summarization method that explicitly incorporates visual saliency as auxiliary information based on CNN-based Spatiotemporal Attention (CSTA), which is a learning-based video summarization model. While existing attention-based methods estimate importance based on features implicitly learned from training data, they do not explicitly utilize saliency information derived from saliency maps as model inputs. In the proposed method, statistical measures obtained from frame-wise saliency maps, including mean, maximum, minimum, and variance, are defined as saliency scores and integrated into CSTA. Two integration approaches are introduced: an ``early concatenation'' model that incorporates saliency at the input stage and a ``late concatenation'' model that introduces saliency immediately before the classifier. Experimental results on the SumMe and TVSum datasets show that the late concatenation model outperformed the conventional CSTA across all evaluation metrics, including the rank correlation coefficients and F-score, particularly on the TVSum dataset. In contrast, although the proposed methods generally maintained the F-score on the SumMe dataset, the rank correlation coefficients tended to decrease. These results indicate that saliency can serve as effective auxiliary information for learning-based video summarization; however, uniformly integrating saliency at the input stage may degrade the ranking information of importance scores. In particular, the late concatenation model, which utilizes saliency as auxiliary information for the final importance estimation stage, was shown to be more effective. | |
| キーワード | （和） | 映像要約 / 顕著性 / CNN / 注意機構 / / / / |
| （英） | video summarization / saliency / CNN / attention mechanism / / / / | |
| 文献情報 | 信学技報, vol. 126, no. 85, IE2026-23, pp. 118-123, 2026年6月. | |
| 資料番号 | IE2026-23 | |
| 発行日 | 2026-06-15 (SIP, BioX, IE, MI) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | SIP2026-23 BioX2026-23 IE2026-23 MI2026-23 |
|
| 研究会情報 | |
| 研究会 | ITE-IST ITE-ME IE BioX SIP MI |
| 開催期間 | 2026-06-22 - 2026-06-23 |
| 開催地（和） | 鳥取県立生涯学習センター |
| 開催地（英） | |
| テーマ（和） | マルチメディアデータ・映像・画像・信号の取得・処理・解析・認証と応用、および一般 |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | IE |
| 会議コード | 2026-06-IST-ME-IE-BioX-SIP-MI |
| 本文の言語 | 日本語 |
| タイトル（和） | 顕著性の明示的統合による学習ベース映像要約の設計と評価 |
| サブタイトル（和） | |
| タイトル（英） | Design and Evaluation of Explicit Saliency Integration for Learning-Based Video Summarization |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 映像要約 / video summarization |
| キーワード(2)（和/英） | 顕著性 / saliency |
| キーワード(3)（和/英） | CNN / CNN |
| キーワード(4)（和/英） | 注意機構 / attention mechanism |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 望月 廉士郎 / Renjiro Mochizuki / モチヅキ レンジロウ |
| 第1著者 所属（和/英） | 筑波大学 (略称： 筑波大) University of Tsukuba (略称： Univ. of Tsukuba) |
| 第2著者 氏名（和/英/ヨミ） | 鈴木 大三 / Taizo Suzuki / スズキ タイゾウ |
| 第2著者 所属（和/英） | 筑波大学 (略称： 筑波大) University of Tsukuba (略称： Univ. of Tsukuba) |
| 第3著者 氏名（和/英/ヨミ） | 横田 壮真 / Soma Yokota / ヨコタ ソウマ |
| 第3著者 所属（和/英） | 筑波大学 (略称： 筑波大) University of Tsukuba (略称： Univ. of Tsukuba) |
| 講演者 | 第1著者 |
| 発表日時 | 2026-06-23 11:15:00 |
| 発表時間 | 25分 |
| 申込先研究会 | IE |
| 資料番号 | SIP2026-23, BioX2026-23, IE2026-23, MI2026-23 |
| 巻番号（vol） | vol.126 |
| 号番号（no） | no.83(SIP), no.84(BioX), no.85(IE), no.86(MI) |
| ページ範囲 | pp.118-123 |
| ページ数 | 6 |
| 発行日 | 2026-06-15 (SIP, BioX, IE, MI) |
[研究会発表申込システムのトップページに戻る]