| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2023-09-22 12:45 LiDARと可視光カメラのセンサフュージョンによる三次元空間共有システムの開発と評価 ○西垣茉奈・山本 寛・宮地秀至（立命館大）  IA2023-25 |
|
| 抄録 | （和） | 近年、新型コロナウイルス感染症の感染拡大に伴い、Web 会議システムのような非対面コミュニケーショ ンの方法が注目されている。しかし、既存研究ではアバターを用いた非対面コミュニケーションが提案されているが、 アバターには実世界のユーザの挙動を正確に反映することができないため、現実世界と同様の体験が実現できない。 特に、一人暮らしの高齢者が離れて暮らす家族とコミュニケーションをとる際には、現実世界に近い三次元の仮想コ ミュニケーション空間を生成し、あたかも同じ空間で生活しているかのような体験を提供することが理想的である。 一方、実世界の構造物の三次元形状を観測するために、三次元 LiDAR(Light Detection and Ranging)と深度カメラが よく利用されている。しかし、LiDAR は実世界の広い範囲を観測できるが色情報を取得できず、深度カメラは深度 と色情報の両方を取得できるが限られた範囲しか正確に観測できないという問題がある。そこで本研究では、三次元 LiDAR と深度カメラを組み合わせて、現実世界に近い、没入感のあるコミュニケーション空間を生成するシステムを 提案する。本提案システムでは、三次元 LiDAR を活用し、室内の構造物の形状や居住者の位置・行動を点群データと して観測する。加えて、深度カメラで室内の三次元深度カメラで室内の三次元構造物の正確な形状と色を取得し、対 象となる人物のみを抽出する機械学習技術を適用することで、色情報を点群データに反映させる。さらに、構築され た 3D 空間を HMD (Head Mounted Display) を通して見ることで、離れて暮らす家族も一緒に暮らしているような臨場 感が得られることを特徴としている。 |
| （英） | With the recent spread of COVID-19, online communication methods are attracting attention. However, the existing methods have a problem that it is difficult to get the same realistic experience as in real world. Existing studies propose online communication methods using avatars on a virtual reality space, but cannot completely solve the problem because the avatar’s appearance is not the same as in the real world and it is difficult for the avatars to reflect the user’s real-world behavior. Especially, when an elderly people living alone communicates with family members living far away, it is ideal to provide an experience as if the users are living in the same space. Therefore, this study proposes a combination of the advantages of the 3D LiDAR and the depth camera to be able to generate a realistic communication space. In the proposed system, the 3D LiDAR is utilized to observe the shape of the structures in the room and both location and behavior of the people living in the room as point-cloud data. In addition, the depth camera obtains accurate shape and color of the 3D structures, and the color information is reflected to the point-cloud data by applying the machine learning technologies that extract only targeted people. Furthermore, by using a Head Mounted Display to join the constructed 3D space, the family members living far away from each other can get the realistic experience as if they were living together. | |
| キーワード | （和） | 三次元LiDAR / 深度カメラ / 三次元点群解析 / 画像解析 / センサフュージョン / / / |
| （英） | 3D LiDAR / depth camera / 3D point cloud analysis / Image analysis / Sensor fusion / / / | |
| 文献情報 | 信学技報, vol. 123, no. 193, IA2023-25, pp. 89-94, 2023年9月. | |
| 資料番号 | IA2023-25 | |
| 発行日 | 2023-09-14 (IA) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | IA2023-25 |
|
| 研究会情報 | |
| 研究会 | IA |
| 開催期間 | 2023-09-21 - 2023-09-22 |
| 開催地（和） | 北海道大学 |
| 開催地（英） | Hokkaido Univeristy |
| テーマ（和） | インターネット運用・管理, ネットワークアーキテクチャ, 通信プロトコル, IoT, 一般 |
| テーマ（英） | Internet Operation and Management, Network Architecture, Communication Protocols, IoT, etc. |
| 講演論文情報の詳細 | |
| 申込み研究会 | IA |
| 会議コード | 2023-09-IA |
| 本文の言語 | 日本語 |
| タイトル（和） | LiDARと可視光カメラのセンサフュージョンによる三次元空間共有システムの開発と評価 |
| サブタイトル（和） | |
| タイトル（英） | Development and Evaluation of 3D Spatial Sharing System by Sensor Fusion of LiDAR and RGB Camera |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 三次元LiDAR / 3D LiDAR |
| キーワード(2)（和/英） | 深度カメラ / depth camera |
| キーワード(3)（和/英） | 三次元点群解析 / 3D point cloud analysis |
| キーワード(4)（和/英） | 画像解析 / Image analysis |
| キーワード(5)（和/英） | センサフュージョン / Sensor fusion |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 西垣 茉奈 / Mana Nishigaki / ニシガキ マナ |
| 第1著者 所属（和/英） | 立命館大学 (略称： 立命館大) Ritsumeikan University (略称： Ritsumeikan Univ.) |
| 第2著者 氏名（和/英/ヨミ） | 山本 寛 / Hiroshi Yamamoto / ヤマモト ヒロシ |
| 第2著者 所属（和/英） | 立命館大学 (略称： 立命館大) Ritsumeikan University (略称： Ritsumeikan Univ.) |
| 第3著者 氏名（和/英/ヨミ） | 宮地 秀至 / Hideaki Miyaji / |
| 第3著者 所属（和/英） | 立命館大学 (略称： 立命館大) Ritsumeikan University (略称： Ritsumeikan University) |
| 講演者 | 第1著者 |
| 発表日時 | 2023-09-22 12:45:00 |
| 発表時間 | 25分 |
| 申込先研究会 | IA |
| 資料番号 | IA2023-25 |
| 巻番号（vol） | vol.123 |
| 号番号（no） | no.193 |
| ページ範囲 | pp.89-94 |
| ページ数 | 6 |
| 発行日 | 2023-09-14 (IA) |
[研究会発表申込システムのトップページに戻る]