ご案内 入会して研究会活動をもっとお得に!研究会参加費・年間登録費が会員価格になります。
お知らせ 【重要】研究会参加費の支払いおよび原稿アップロード手続きの変更に関するご案内【1種研のみ】
電子情報通信学会 研究会発表申込システム
講演論文 詳細
技報閲覧サービス
[ログイン]
技報アーカイブ
 トップに戻る 前のページに戻る   [Japanese] / [English] 

講演抄録/キーワード
講演名 2024-05-16 15:25
大域・局所特徴統合埋め込みに基づくオープン語彙時系列行動検出
○グエンチュン タイン(名大)・川西康友(理研)・駒水孝裕・井手一郎(名大) PRMU2024-6
抄録 (和) オープン語彙時系列行動検出(オープン語彙TAD)は,クローズド語彙時系列行動検出(クローズド語彙TAD)の検出対象を拡張し,学習データに含まれない語彙で指定された未知行動クラスをも検出することを目的とするタスクである.オープン語彙TADの手法は行動区間の候補の提案と候補における行動の識別の2段階アプローチが一般的である.しかし前段での誤りが後段や最終結果に影響を及ぼす可能性がある.さらに,従来手法での時系列の文脈分析器は,局所的または大域的な文脈のいずれかに注目している.大域的な文脈のみに注目すると,瞬間的な詳細情報が不足し,各行動の識別が難しくなる.一方,局所的な文脈のみに注目すると,行動と非行動との区別が難しくなる.また近年,動画像特徴抽出の際に複雑な自己注意機構を用いることで生じるランク落ちによる各フレームでの識別力の低下が指摘されている.本研究では,これらの問題を解決するため,大域・局所特徴統合埋め込みを活用した1段階アプローチを提案する.この手法では,動画像の特徴から行動区間候補の提案と識別を同時にすることで,2段階アプローチにおける誤差蓄積の問題を解決する.さらに,大域・局所特徴の統合的な埋め込みを動画像特徴抽出に導入することで,各フレームでの識別力を維持しつつ全体としての時系列における文脈を理解できるようになり,効果的な行動検出を実現する.先行研究と比較して,THUMOS14データセットで最大16.6ポイント,ActivityNet-1.3データセットで最大8.3ポイント,性能を向上した. 
(英) Open Vocabulary Temporal Action Detection (Open-vocab TAD) is a task that aims to extend the detection scope of Closed Vocabulary Temporal Action Detection (Closed-vocab TAD) by identifying unseen action classes specified by action category not included in the training data. The methodology for Open Vocabulary TAD commonly involves a two-stage approach: proposing action interval candidates and then identifying the actions within these candidates. However, errors in the initial stage can impact the subsequent outcomes. Additionally, traditional methods for temporal context analysis in this domain have focused on local or global contexts. Focusing solely on global contexts can lead to a lack of momentary detail, making it difficult to distinguish between different actions. Conversely, concentrating only on local contexts can make differentiating between actions and non-actions challenging. Recent advancements have also highlighted decreased discrimination power for each frame due to rank collapse when using complex self-attention mechanisms during video feature extraction. To address these issues, we propose a one-stage approach utilizing integrated global and local feature embeddings. This method simultaneously proposes action interval candidates and identifies them from video features, resolving the error accumulation problem in two-stage approaches. By introducing integrated embeddings of global and local features into video feature extraction maintains discriminative power at each frame while understanding the overall temporal context, achieving effective action detection. Compared to previous studies, the proposed method has improved performance by up to 16.6% on the THUMOS14 dataset and 8.3% on the ActivityNet-1.3 dataset.
キーワード (和) 時系列行動検出 / オープン語彙 / 視覚と言語 / 映像解析 / / / /  
(英) Temporal Action Detection / Open Vocabulary / Vision and Language / Video Analysis / / / /  
文献情報 信学技報, vol. 124, no. 23, PRMU2024-6, pp. 30-35, 2024年5月.
資料番号 PRMU2024-6 
発行日 2024-05-08 (PRMU) 
ISSN Online edition: ISSN 2432-6380
著作権に
ついて
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034)
PDFダウンロード PRMU2024-6

研究会情報
研究会 PRMU IPSJ-CVIM  
開催期間 2024-05-15 - 2024-05-16 
開催地(和) 東京大学 生産技術研究所 コンベンションホール 
開催地(英)  
テーマ(和) キャリアプラン,卒論・D論セッション (CVIM) 
テーマ(英)  
講演論文情報の詳細
申込み研究会 PRMU 
会議コード 2024-05-PRMU-CVIM 
本文の言語 日本語 
タイトル(和) 大域・局所特徴統合埋め込みに基づくオープン語彙時系列行動検出 
サブタイトル(和)  
タイトル(英) Integrating Global-Local Feature Embeddings for Open-Vocabulary Temporal Action Detection 
サブタイトル(英)  
キーワード(1)(和/英) 時系列行動検出 / Temporal Action Detection  
キーワード(2)(和/英) オープン語彙 / Open Vocabulary  
キーワード(3)(和/英) 視覚と言語 / Vision and Language  
キーワード(4)(和/英) 映像解析 / Video Analysis  
キーワード(5)(和/英) /  
キーワード(6)(和/英) /  
キーワード(7)(和/英) /  
キーワード(8)(和/英) /  
第1著者 氏名(和/英/ヨミ) グエンチュン タイン / NguyenTrung Thanh / グエンチュン タイン
第1著者 所属(和/英) 名古屋大学 (略称: 名大)
Nagoya University (略称: Nagoya Univ.)
第2著者 氏名(和/英/ヨミ) 川西 康友 / Yasutomo Kawanishi / カワニシ ヤストモ
第2著者 所属(和/英) 理化学研究所 (略称: 理研)
RIKEN (略称: RIKEN)
第3著者 氏名(和/英/ヨミ) 駒水 孝裕 / Takahiro Komamizu / コマミズ タカヒロ
第3著者 所属(和/英) 名古屋大学 (略称: 名大)
Nagoya University (略称: Nagoya Univ.)
第4著者 氏名(和/英/ヨミ) 井手 一郎 / Ichiro Ide / イデ イチロウ
第4著者 所属(和/英) 名古屋大学 (略称: 名大)
Nagoya University (略称: Nagoya Univ.)
第5著者 氏名(和/英/ヨミ) / /
第5著者 所属(和/英) (略称: )
(略称: )
第6著者 氏名(和/英/ヨミ) / /
第6著者 所属(和/英) (略称: )
(略称: )
第7著者 氏名(和/英/ヨミ) / /
第7著者 所属(和/英) (略称: )
(略称: )
第8著者 氏名(和/英/ヨミ) / /
第8著者 所属(和/英) (略称: )
(略称: )
第9著者 氏名(和/英/ヨミ) / /
第9著者 所属(和/英) (略称: )
(略称: )
第10著者 氏名(和/英/ヨミ) / /
第10著者 所属(和/英) (略称: )
(略称: )
第11著者 氏名(和/英/ヨミ) / /
第11著者 所属(和/英) (略称: )
(略称: )
第12著者 氏名(和/英/ヨミ) / /
第12著者 所属(和/英) (略称: )
(略称: )
第13著者 氏名(和/英/ヨミ) / /
第13著者 所属(和/英) (略称: )
(略称: )
第14著者 氏名(和/英/ヨミ) / /
第14著者 所属(和/英) (略称: )
(略称: )
第15著者 氏名(和/英/ヨミ) / /
第15著者 所属(和/英) (略称: )
(略称: )
第16著者 氏名(和/英/ヨミ) / /
第16著者 所属(和/英) (略称: )
(略称: )
第17著者 氏名(和/英/ヨミ) / /
第17著者 所属(和/英) (略称: )
(略称: )
第18著者 氏名(和/英/ヨミ) / /
第18著者 所属(和/英) (略称: )
(略称: )
第19著者 氏名(和/英/ヨミ) / /
第19著者 所属(和/英) (略称: )
(略称: )
第20著者 氏名(和/英/ヨミ) / /
第20著者 所属(和/英) (略称: )
(略称: )
第21著者 氏名(和/英/ヨミ) / /
第21著者 所属(和/英) (略称: )
(略称: )
第22著者 氏名(和/英/ヨミ) / /
第22著者 所属(和/英) (略称: )
(略称: )
第23著者 氏名(和/英/ヨミ) / /
第23著者 所属(和/英) (略称: )
(略称: )
第24著者 氏名(和/英/ヨミ) / /
第24著者 所属(和/英) (略称: )
(略称: )
第25著者 氏名(和/英/ヨミ) / /
第25著者 所属(和/英) (略称: )
(略称: )
第26著者 氏名(和/英/ヨミ) / /
第26著者 所属(和/英) (略称: )
(略称: )
第27著者 氏名(和/英/ヨミ) / /
第27著者 所属(和/英) (略称: )
(略称: )
第28著者 氏名(和/英/ヨミ) / /
第28著者 所属(和/英) (略称: )
(略称: )
第29著者 氏名(和/英/ヨミ) / /
第29著者 所属(和/英) (略称: )
(略称: )
第30著者 氏名(和/英/ヨミ) / /
第30著者 所属(和/英) (略称: )
(略称: )
第31著者 氏名(和/英/ヨミ) / /
第31著者 所属(和/英) (略称: )
(略称: )
第32著者 氏名(和/英/ヨミ) / /
第32著者 所属(和/英) (略称: )
(略称: )
第33著者 氏名(和/英/ヨミ) / /
第33著者 所属(和/英) (略称: )
(略称: )
第34著者 氏名(和/英/ヨミ) / /
第34著者 所属(和/英) (略称: )
(略称: )
第35著者 氏名(和/英/ヨミ) / /
第35著者 所属(和/英) (略称: )
(略称: )
第36著者 氏名(和/英/ヨミ) / /
第36著者 所属(和/英) (略称: )
(略称: )
講演者 第1著者 
発表日時 2024-05-16 15:25:00 
発表時間 15分 
申込先研究会 PRMU 
資料番号 PRMU2024-6 
巻番号(vol) vol.124 
号番号(no) no.23 
ページ範囲 pp.30-35 
ページ数 6 
発行日 2024-05-08 (PRMU) 


[研究会発表申込システムのトップページに戻る]

[電子情報通信学会ホームページ]

(日本語ページの行間係数: 1)

IEICE / 電子情報通信学会