| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2022-10-21 15:55 手の軌道特徴を用いた一人称視点料理動画における詳細動作認識 ○宮本蒼太（東工大）・八木拓真（東大）・牛久祥孝・橋本敦史（OSX）・井上中順（東工大）  PRMU2022-29 |
|
| 抄録 | （和） | 料理動画の解析は，自動料理ロボットの実現に向けた重要な課題のひとつである． 本研究では，料理動画から人間の動作を詳細に認識することを目的として， 手の軌道特徴を用いた詳細動作認識手法を提案する． 提案手法は，手の軌道に関する7種類の特徴量を抽出し，Transformerを用いて動作の認識をおこなうものである． 評価実験では，EPIC-KITCHENSとEgo4Dの映像データに，野菜や肉などの食材の切り方に関する詳細動作ラベルを付与したデータセットを作成し，提案手法の有効性を検証した． 色・オプティカルフロー・音の3つのモダリティを用いた従来手法に，提案の手の軌道特徴を加えることで，詳細動作認識精度が有意に向上することを示した． |
| （英） | Action recognition in kitchen environments is a crucial topic in computer vision and robotics with application toward fully automatic cooking. In this paper, we propose a method of fine-grained action recognition using hand trajectory features. Our method extracts seven low-level features of hand trajectories and feeds them into a Transformer to classify fine-grained actions. In experiments, we annotated fine-grained labels of cutting methods such as slice and mince on EPIC-KITCHENS and Ego4D datasets for evaluating our method. We showed that hand trajectory features improve the recognition accuracy over the baseline method using RGB, optical flow, and audio features. |
|
| キーワード | （和） | 詳細動作認識 / 料理動画 / 手の軌道特徴 / マルチモーダル深層学習 / / / / |
| （英） | Fine-grained action recognition / Cooking videos / Hand-trajectory features / Multimodal deep learning / / / / | |
| 文献情報 | 信学技報, vol. 122, no. 223, PRMU2022-29, pp. 41-46, 2022年10月. | |
| 資料番号 | PRMU2022-29 | |
| 発行日 | 2022-10-14 (PRMU) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | PRMU2022-29 |
|
| 研究会情報 | |
| 研究会 | PRMU |
| 開催期間 | 2022-10-21 - 2022-10-22 |
| 開催地（和） | 日本科学未来館 |
| 開催地（英） | Miraikan - The National Museum of Emerging Science and Innovation |
| テーマ（和） | 人に関わる認識・理解 |
| テーマ（英） | Recognition and understanding related to people |
| 講演論文情報の詳細 | |
| 申込み研究会 | PRMU |
| 会議コード | 2022-10-PRMU |
| 本文の言語 | 日本語 |
| タイトル（和） | 手の軌道特徴を用いた一人称視点料理動画における詳細動作認識 |
| サブタイトル（和） | |
| タイトル（英） | Fine-grained Action Recognition Using Hand Trajectory Features for First-Person Cooking Videos |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 詳細動作認識 / Fine-grained action recognition |
| キーワード(2)（和/英） | 料理動画 / Cooking videos |
| キーワード(3)（和/英） | 手の軌道特徴 / Hand-trajectory features |
| キーワード(4)（和/英） | マルチモーダル深層学習 / Multimodal deep learning |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 宮本 蒼太 / Sota Miyamoto / ミヤモト ソウタ |
| 第1著者 所属（和/英） | 東京工業大学 (略称： 東工大) Tokyo Institute of Technology (略称： Tokyo Tech) |
| 第2著者 氏名（和/英/ヨミ） | 八木 拓真 / Yagi Takuma / ヤギ タクマ |
| 第2著者 所属（和/英） | 東京大学 (略称： 東大) The University of Tokyo (略称： UTokyo) |
| 第3著者 氏名（和/英/ヨミ） | 牛久 祥孝 / Ushiku Yoshitaka / ウシク ヨシタカ |
| 第3著者 所属（和/英） | オムロンサイニックエックス (略称： OSX) OMRON SINIC X (略称： OSX) |
| 第4著者 氏名（和/英/ヨミ） | 橋本 敦史 / Atsushi Hashimoto / ハシモト アツシ |
| 第4著者 所属（和/英） | オムロンサイニックエックス (略称： OSX) OMRON SINIC X (略称： OSX) |
| 第5著者 氏名（和/英/ヨミ） | 井上 中順 / Nakamasa Inoue / イノウエ ナカマサ |
| 第5著者 所属（和/英） | 東京工業大学 (略称： 東工大) Tokyo Institute of Technology (略称： Tokyo Tech) |
| 講演者 | 第1著者 |
| 発表日時 | 2022-10-21 15:55:00 |
| 発表時間 | 15分 |
| 申込先研究会 | PRMU |
| 資料番号 | PRMU2022-29 |
| 巻番号（vol） | vol.122 |
| 号番号（no） | no.223 |
| ページ範囲 | pp.41-46 |
| ページ数 | 6 |
| 発行日 | 2022-10-14 (PRMU) |
[研究会発表申込システムのトップページに戻る]