| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2023-03-02 15:20 圧縮RGBD画像のLocal 5G超低遅延伝送による高臨場感通信 ○高槻瞭大・中尾彰宏（東大）  NS2022-194 |
|
| 抄録 | （和） | 近年，国際協働の広がり，新型コロナウイルスパンデミックによる物理的制約といった社会的背景から，Web会議システムやメタバースをはじめとする遠隔コミュニケーションの普及が進んでいる．だが，被写体の姿を忠実に映した立体映像を用いた遠隔コミュニケーションは，3D投影デバイスやRGBDセンサーが手に入りやすくなっている現在でも，その他の技術的な課題から普及に至っていない．本研究では，一般家庭で一人の人間の全身映像を低遅延で無線受信するユースケースを想定して，エンドシステムにおいて高度な計算資源（GPU）に頼らずに，RGBD画像を30fpsで安定的に低遅延無線伝送し，受信側で高速にメッシュ生成をすることによって，従来手法と比べ総合的に臨場感が優れた三次元遠隔コミュニケーションを実現する．システムの構築に先立ち，三次元映像伝送による遠隔コミュニケーションにおける臨場感について議論し，その評価指標を提案する．システムの構築では，CPUのみを用いた，RGBD画像の圧縮・復号，メッシュ生成，の高速手法を新たに考案する．また，被写体の全方位の様子が安定的に無線伝送されるようなUDPを基本とする通信プロトコルを新しく設計する．さらに，姿勢推定モデルを用いた複数カメラの位置合わせを安定的に行う手法も新たに考案することで，システムのUIを向上する．DownlinkにLocal 5Gを用いた環境で評価を行い，最低でも約25fpsが受信が行われ，伝送によるものを除く往復遅延が70msほどであり，また伝送量が大きく増減しても安定的な伝送が行えることを確認する． |
| （英） | In recent years, the spread of international collaboration and the physical limitations imposed by the new coronavirus pandemic have led to the widespread use of telecommunications such as Web conferencing systems and the Metaverse. However, telecommunication using 3D images has not become widespread due to other technical issues, even though 3D projection devices and RGBD sensors have become easily accessible. In this study, assuming a use case where a whole-body image of a person is received wirelessly at low latency in an ordinary home, we propose a method to transmit RGBD images at 30 fps without relying on advanced computational resources (GPU) in the end system and to visualize the mesh data generated at high speed, thereby achieving a higher sense of presence compared than conventional methods. Prior to the system development, we discuss the “sense of presence” regarding communicating through 3D video transmission and proposed evaluation indices. Developing the system, we will devise a new high-speed method for the codec of RGBD images and mesh generation using only CPUs. We also design a new communication protocol based on UDP for stable wireless transmission of the subject's omnidirectional view. We also devised a new method for the stable registration of multiple cameras using a pose estimation model to improve the UI of the system. An evaluation was conducted in an environment using Local 5G for downlink, which confirmed that at least approximately 25 fps is achieved at the receiver side, the round-trip delay excluding those caused by transmission is approximately 70 ms, and the system runs stably even when the transmission rate fluctuates greatly. | |
| キーワード | （和） | リアルタイムコミュニケーション / Local 5G / RGBD画像 / メッシュ生成 / 通信プロトコル / カメラ位置合わせ / GPU非使用 / |
| （英） | Realtime communication / Local 5G / RGBD image / Mesh generation / Communication protocol / Multi-camera registration / No GPUs / | |
| 文献情報 | 信学技報, vol. 122, no. 406, NS2022-194, pp. 157-162, 2023年3月. | |
| 資料番号 | NS2022-194 | |
| 発行日 | 2023-02-23 (NS) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | NS2022-194 |
|
| 研究会情報 | |
| 研究会 | IN NS |
| 開催期間 | 2023-03-02 - 2023-03-03 |
| 開催地（和） | 沖縄コンベンションセンター + オンライン開催 |
| 開催地（英） | Okinawa Convention Centre + Online |
| テーマ（和） | 一般 |
| テーマ（英） | General |
| 講演論文情報の詳細 | |
| 申込み研究会 | NS |
| 会議コード | 2023-03-IN-NS |
| 本文の言語 | 日本語 |
| タイトル（和） | 圧縮RGBD画像のLocal 5G超低遅延伝送による高臨場感通信 |
| サブタイトル（和） | |
| タイトル（英） | High-presence communication through Local 5G ultra-low latency transmission of RGBD images |
| サブタイトル（英） | |
| キーワード(1)（和/英） | リアルタイムコミュニケーション / Realtime communication |
| キーワード(2)（和/英） | Local 5G / Local 5G |
| キーワード(3)（和/英） | RGBD画像 / RGBD image |
| キーワード(4)（和/英） | メッシュ生成 / Mesh generation |
| キーワード(5)（和/英） | 通信プロトコル / Communication protocol |
| キーワード(6)（和/英） | カメラ位置合わせ / Multi-camera registration |
| キーワード(7)（和/英） | GPU非使用 / No GPUs |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 高槻 瞭大 / Ryota Takatsuki / タカツキ リョウタ |
| 第1著者 所属（和/英） | 東京大学 (略称： 東大) The University of Tokyo (略称： Tokyo Univ.) |
| 第2著者 氏名（和/英/ヨミ） | 中尾 彰宏 / Akihiro Nakao / ナカオ アキヒロ |
| 第2著者 所属（和/英） | 東京大学 (略称： 東大) The University of Tokyo (略称： Tokyo Univ.) |
| 講演者 | 第1著者 |
| 発表日時 | 2023-03-02 15:20:00 |
| 発表時間 | 20分 |
| 申込先研究会 | NS |
| 資料番号 | NS2022-194 |
| 巻番号（vol） | vol.122 |
| 号番号（no） | no.406 |
| ページ範囲 | pp.157-162 |
| ページ数 | 6 |
| 発行日 | 2023-02-23 (NS) |
[研究会発表申込システムのトップページに戻る]