| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2024-02-29 10:10 脳の情報処理モデルに基づく3次元点群とRGB画像を用いたマルチモーダルな物体認識手法の実装および評価 ○安藤覇人・小南大智・関 良我・村田正幸・下西英之（阪大）  NS2023-192 |
|
| 抄録 | （和） | Beyond 5G/6G 技術の発展により，デジタルツインの研究が進んでいる．Beyond 5G の特徴である mMTC によって多様なセンサから得られる情報を活用することが可能になり，デジタルツイン構築に向けた現実世界の物体 の認識技術が重要となる．しかしながら，センシングには様々な不確実性が伴い，例えば RGB カメラであればその 照明条件やカメラの性能に影響を受けるため，ユニモーダルな物体認識には限界がある．本論文では，先行研究であ るマルチモーダルな物体認識手法を複数センサに対して扱えるように拡張した. 点群を解析するモデル PointNet と脳 の認知モデル BAM を組み合わせた位置モダリティの認識手法を新たに開発し，既存モデルに加えた．また，評価の ために倉庫内で人とロボットが協調して働く場面を想定したデータセットを新たに構築した．我々のデータセットを 用いた検証では，位置情報を活用したマルチモーダル統合を行うことでオブジェクト認識の適合率の向上がみられた |
| （英） | Beyond 5G/6G, technology is driving the development of digital twins. In recent years, the amount of information that can be used to perceive the environment has increased due to the development of sensors and learning technologies. However, unimodal object recognition is limited because sensing is subject to various uncertainties, for example, RGB cameras are affected by the lighting conditions and camera performance. In this paper, we propose the multimodal object recognition method by expanding our previous work to handle multiple sensors. We developed a new location modality recognition method that combines PointNet and BAM for object recognition using point clouds. For Evaluation, we also developed a new dataset for a situation where humans and robots work together in a warehouse. Validation on our dataset shows that multimodal integration with location information improves the precision of object recognition. | |
| キーワード | （和） | デジタルツイン / 物体認識 / マルチモダリティ / ベイジアンアトラクターモデル / ベイズ因果推論 / / / |
| （英） | Digital Twin / Object recognition / Multimodality / Bayesian attractor model / Bayesian causal inference / / / | |
| 文献情報 | 信学技報, vol. 123, no. 397, NS2023-192, pp. 119-124, 2024年2月. | |
| 資料番号 | NS2023-192 | |
| 発行日 | 2024-02-22 (NS) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | NS2023-192 |
|
| 研究会情報 | |
| 研究会 | NS IN |
| 開催期間 | 2024-02-29 - 2024-03-01 |
| 開催地（和） | 沖縄コンベンションセンター |
| 開催地（英） | Okinawa Convention Center |
| テーマ（和） | 一般 |
| テーマ（英） | General |
| 講演論文情報の詳細 | |
| 申込み研究会 | NS |
| 会議コード | 2024-02-NS-IN |
| 本文の言語 | 日本語 |
| タイトル（和） | 脳の情報処理モデルに基づく3次元点群とRGB画像を用いたマルチモーダルな物体認識手法の実装および評価 |
| サブタイトル（和） | |
| タイトル（英） | Multimodal Object Recognition Method Using Bayesian Attractor Model For 3D Point Clouds and RGB Images |
| サブタイトル（英） | |
| キーワード(1)（和/英） | デジタルツイン / Digital Twin |
| キーワード(2)（和/英） | 物体認識 / Object recognition |
| キーワード(3)（和/英） | マルチモダリティ / Multimodality |
| キーワード(4)（和/英） | ベイジアンアトラクターモデル / Bayesian attractor model |
| キーワード(5)（和/英） | ベイズ因果推論 / Bayesian causal inference |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 安藤 覇人 / Haruhito Ando / アンドウ ハルヒト |
| 第1著者 所属（和/英） | 大阪大学 (略称： 阪大) Osaka University (略称： Osaka Univ.) |
| 第2著者 氏名（和/英/ヨミ） | 小南 大智 / Daichi Kominami / コミナミ ダイチ |
| 第2著者 所属（和/英） | 大阪大学 (略称： 阪大) Osaka University (略称： Osaka Univ.) |
| 第3著者 氏名（和/英/ヨミ） | 関 良我 / Ryoga Seki / セキ リョウガ |
| 第3著者 所属（和/英） | 大阪大学 (略称： 阪大) Osaka University (略称： Osaka Univ.) |
| 第4著者 氏名（和/英/ヨミ） | 村田 正幸 / Masayuki Murata / ムラタ マサユキ |
| 第4著者 所属（和/英） | 大阪大学 (略称： 阪大) Osaka University (略称： Osaka Univ.) |
| 第5著者 氏名（和/英/ヨミ） | 下西 英之 / Hideyuki Shimonishi / シモニシ ヒデユキ |
| 第5著者 所属（和/英） | 大阪大学 (略称： 阪大) Osaka University (略称： Osaka Univ.) |
| 講演者 | 第1著者 |
| 発表日時 | 2024-02-29 10:10:00 |
| 発表時間 | 25分 |
| 申込先研究会 | NS |
| 資料番号 | NS2023-192 |
| 巻番号（vol） | vol.123 |
| 号番号（no） | no.397 |
| ページ範囲 | pp.119-124 |
| ページ数 | 6 |
| 発行日 | 2024-02-22 (NS) |
[研究会発表申込システムのトップページに戻る]