| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2024-01-25 10:03 手指画像の対照学習による埋め込みに基づいた指先の3次元座標推定 ○阿部竜弥・梅澤 猛・大澤範高（千葉大）  PRMU2023-40 |
|
| 抄録 | （和） | 仮想現実/拡張現実 空間内でオブジェクトを手指によって操作するときに必要となる指先の3次元座標を手指画像から推定する手法を評価した．手指画像から指先の3次元座標を推定する方法として深層学習は有効であるが，精度と汎化性能が高い推定モデルの構築には大量のデータ収集が必要となる．自己教師あり学習の一種である対照学習を使ったモデルを基に，少量の手指画像を用いた教師あり学習でファインチューニングした推定モデルと，事前に対照学習していない教師あり学習で構築した推定モデルを比較し，それぞれの推定精度を評価した．対照学習のアーキテクチャとしてSimCLRを採用し，画像サイズやコントラストのランダムな変換によって元のデータを拡張することで，表現学習を行った．手掌画像を用いて指先が 確認できる状態で推定した場合を3次元座標推定の現時点での基準 とし、手背画像を用いて指先が隠れる状態で推定した場合と比較することで，推定精度を評価した．結果から，表現学習を用いた推定モデルによる推定精度向上の可能性と今後の課題を明らかにした． |
| （英） | This study evaluated a method for estimating the 3D coordinates of fingertips from hand images when manipulating objects in a virtual/mixed reality space. Deep learning is effective for estimating the 3D coordinates of fingertips from hand images, but a large amount of data collection is required to construct an estimation model with high accuracy and generalization performance. We compared an estimation model, which is based on a pre-trained model using contrastive learning and fine-tuned with supervised learning using a small amount of hand images, with an estimation model constructed using supervised learning without contrastive learning and evaluated the estimation accuracy of each. We adopted SimCLR as the architecture for contrastive learning and performed representation learning by augmenting the original data with random transformations of image size and contrast. We used the performance of estimation from palm images which include fingertips as a baseline , and compared it with the performance of estimation from images of the back of hand where the fingertips are hidden. From the results, we have clarified the potential for improving estimation accuracy using a model that employs representation learning, as well as the challenges to be addressed in the future. | |
| キーワード | （和） | 3Dユーザインターフェース / 画像認識 / 対照学習 / 深層学習 / 座標推定 / / / |
| （英） | 3D User Interface / Image Recognition / Contrastive Learning / Deep Learning / Coordinate Estimation / / / | |
| 文献情報 | 信学技報, vol. 123, no. 358, PRMU2023-40, pp. 7-12, 2024年1月. | |
| 資料番号 | PRMU2023-40 | |
| 発行日 | 2024-01-18 (PRMU) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | PRMU2023-40 |
|
| 研究会情報 | |
| 研究会 | PRMU MVE VRSJ-SIG-MR IPSJ-CVIM |
| 開催期間 | 2024-01-25 - 2024-01-26 |
| 開催地（和） | 慶應義塾大学 日吉キャンパス(来往舎) |
| 開催地（英） | Keio Univ. (Hiyoshi Campus) |
| テーマ（和） | メタバースと深層学習 |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | PRMU |
| 会議コード | 2024-01-PRMU-MVE-SIG-MR-CVIM |
| 本文の言語 | 日本語 |
| タイトル（和） | 手指画像の対照学習による埋め込みに基づいた指先の3次元座標推定 |
| サブタイトル（和） | |
| タイトル（英） | Estimation of 3D Coordinates of Fingertips using Contrastive Embeddings from Hand Images |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 3Dユーザインターフェース / 3D User Interface |
| キーワード(2)（和/英） | 画像認識 / Image Recognition |
| キーワード(3)（和/英） | 対照学習 / Contrastive Learning |
| キーワード(4)（和/英） | 深層学習 / Deep Learning |
| キーワード(5)（和/英） | 座標推定 / Coordinate Estimation |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 阿部 竜弥 / Tatsuya Abe / アベ タツヤ |
| 第1著者 所属（和/英） | 千葉大学 (略称： 千葉大) Chiba University (略称： Chiba Univ.) |
| 第2著者 氏名（和/英/ヨミ） | 梅澤 猛 / Takeshi Umezawa / ウメザワ タケシ |
| 第2著者 所属（和/英） | 千葉大学 (略称： 千葉大) Chiba University (略称： Chiba Univ.) |
| 第3著者 氏名（和/英/ヨミ） | 大澤 範高 / Noritaka Osawa / オオサワ ノリタカ |
| 第3著者 所属（和/英） | 千葉大学 (略称： 千葉大) Chiba University (略称： Chiba Univ.) |
| 講演者 | 第1著者 |
| 発表日時 | 2024-01-25 10:03:00 |
| 発表時間 | 12分 |
| 申込先研究会 | PRMU |
| 資料番号 | PRMU2023-40 |
| 巻番号（vol） | vol.123 |
| 号番号（no） | no.358 |
| ページ範囲 | pp.7-12 |
| ページ数 | 6 |
| 発行日 | 2024-01-18 (PRMU) |
[研究会発表申込システムのトップページに戻る]