| 講演抄録/キーワード |
| 講演名 |
2024-01-26 10:30
行動認識のための人体部位の動きに基づくDeformable Attention ○里 雄二・嘉本海大・植田剛央(パナソニック コネクト)・石井育規(パナソニックホールディングス)・山下隆義(中部大) PRMU2023-44 |
| 抄録 |
(和) |
近年,行動認識タスクにおいて動画像に対応したトランスフォーマーが提案され、
高い性能を達成している.既存の動画像対応のトランスフォーマーの多くは,
事前設計された固定位置のパッチでアテンションを算出している.
そのため,フレーム内とフレーム間の特定の位置同士でパッチを比較することになり,
動画内の人物の動きが考慮されない.また,動画フレーム間の動きから,
クエリパッチが注意を向けるべき領域を予測する動的なアテンションに
基づく手法も提案されているが,動画全体の動きであり,行動クラスに関連する
人物の動きが考慮されていない.
これらの課題に対し,我々は人の行動認識に寄与する人体部位の動きに基づいた
動的なアテンション機構を持つトランスフォーマーを提案する. |
| (英) |
In recent years, video transformers for action recognition have been
proposed and achieve high performance. Most of the existing video transformers
calculate the attention with pre-designed patches at fixed positions.
As a result, patches are compared between specific positions
within and between frames, and motion is not taken into account.
A dynamic attention-based method has also been proposed that predicts
the region to which the query patch should direct attention based on
the motion between video frames, but it is the motion of the
entire video and does not take into account the motion related to
the action class.
To address these issues, we propose a video transformer
with a deformable attention mechanism based on the motion of
human body parts that contribute to human action recognition. |
| キーワード |
(和) |
行動認識 / 動作認識 / トランスフォーマー / 動的アテンション / 人体部位の動き / / / |
| (英) |
Action Recognition / Video Transformers / Deformable Attention / Body Parts Motion / / / / |
| 文献情報 |
信学技報, vol. 123, no. 358, PRMU2023-44, pp. 26-31, 2024年1月. |
| 資料番号 |
PRMU2023-44 |
| 発行日 |
2024-01-18 (PRMU) |
| ISSN |
Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
| PDFダウンロード |
PRMU2023-44 |