| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2018-06-28 15:40 映像中の物体振動モードを利用した音源復元 ○布施陽平・安見祐亮・滝口哲也（神戸大）  PRMU2018-25 SP2018-5 |
|
| 抄録 | （和） | 音波は圧力の変動として周囲に伝播しており，物体に当たるとその表面に微小な振動を起こす．この振動を抽出することで振動の元となる音源を復元する研究が行われている．この技術は遠距離から音を収録できるという特性から，監視や安全保障の分野での応用が期待される．音による物体の振動は目には見えないほど速く微細であるが，物体を撮影したハイスピード映像の各フレームにcomplex steerable pyramidを用いることで，振動による物体の変化を各ピクセルの移動量として求めることができる．従来法では全ピクセルの移動量を足し合わせるため，音源とは関係のない変化に由来するノイズが混ざる可能性が考えられた．本研究では，周波数に対する物体の振動モードに着目して音を復元する手法を提案する．物体はその材質や形状，周波数などにより振動する部分が異なる場合がある．その振動は幾つかの基準振動の組み合わせで表現され，基準振動ごとに節や腹となる部分が存在する．周波数ごとにどの部分が振動しているのかを確認し，その応答をもとにフィルタをかけて音を復元する．どの部分が振動しているかは，その周波数の信号が最も大きい場合の各ピクセルの振幅応答から確認する．この応答と各ピクセルの信号の信頼度をフィルタとして用いる．実際に複数の物体の映像から音を復元し，手法の有効性を確かめた． |
| （英） | When a sound hits an object, it causes the surface of the object to vibrate. Some research has been carried out on the recovering of sounds by extracting the vibrations seen on video images. This research is expected to be applied in the field of surveillance and security because sounds can be recorded from relatively far away. The vibration of objects due to sound is so fast and minute that it is invisible. However, it is possible to observe such changes in objects by using the high-speed video as the movement of each pixel by using a complex steerable pyramid. In the conventional method, the movements of all pixels are added together to recover the sound. So it is possible that some noise source vibrations are mixed because there are some pixels that move independently of the sound source being focused upon. In this paper, we propose a sound recovery method focusing on the vibration modes of the object associated with the frequency. The vibrating parts of objects are different depending on the material, shape and frequency. The vibration is composed of some normal vibrations, and each has different loops and nodes. We confirm which part of the object is vibrating for each frequency of the sound, and recover the sound using a filter based on the response of the object. Which part is vibrating is confirmed from the amplitude response of each pixel when the signal of that frequency is the largest. This response and the reliability of the signal of each pixel are multiplied to each pixel as a filter. We recovered sounds from several objects in videos and ascertained the effectiveness of the method. | |
| キーワード | （和） | 音源復元 / 物体振動 / ハイスピード映像 / 振動モード / / / / |
| （英） | sound recovery / object vibration / high-speed video / vibration mode / / / / | |
| 文献情報 | 信学技報, vol. 118, no. 112, SP2018-5, pp. 19-24, 2018年6月. | |
| 資料番号 | SP2018-5 | |
| 発行日 | 2018-06-21 (PRMU, SP) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | PRMU2018-25 SP2018-5 |
|
| 研究会情報 | |
| 研究会 | PRMU SP |
| 開催期間 | 2018-06-28 - 2018-06-29 |
| 開催地（和） | 信州大学 |
| 開催地（英） | |
| テーマ（和） | マルチモーダル/クロスモーダルな認識、生成 |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | SP |
| 会議コード | 2018-06-PRMU-SP |
| 本文の言語 | 日本語 |
| タイトル（和） | 映像中の物体振動モードを利用した音源復元 |
| サブタイトル（和） | |
| タイトル（英） | Sound recovery using vibration mode of an object in video |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 音源復元 / sound recovery |
| キーワード(2)（和/英） | 物体振動 / object vibration |
| キーワード(3)（和/英） | ハイスピード映像 / high-speed video |
| キーワード(4)（和/英） | 振動モード / vibration mode |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 布施 陽平 / Yohei Fuse / フセ ヨウヘイ |
| 第1著者 所属（和/英） | 神戸大学 (略称： 神戸大) Kobe University (略称： Kobe Univ.) |
| 第2著者 氏名（和/英/ヨミ） | 安見 祐亮 / Yusuke Yasumi / ヤスミ ユウスケ |
| 第2著者 所属（和/英） | 神戸大学 (略称： 神戸大) Kobe University (略称： Kobe Univ.) |
| 第3著者 氏名（和/英/ヨミ） | 滝口 哲也 / Tetsuya Takiguchi / タキグチ テツヤ |
| 第3著者 所属（和/英） | 神戸大学 (略称： 神戸大) Kobe University (略称： Kobe Univ.) |
| 第4著者 氏名（和/英/ヨミ） | / / |
| 第4著者 所属（和/英） | (略称： ) (略称： ) |
| 第5著者 氏名（和/英/ヨミ） | / / |
| 第5著者 所属（和/英） | (略称： ) (略称： ) |
| 第6著者 氏名（和/英/ヨミ） | / / |
| 第6著者 所属（和/英） | (略称： ) (略称： ) |
| 第7著者 氏名（和/英/ヨミ） | / / |
| 第7著者 所属（和/英） | (略称： ) (略称： ) |
| 第8著者 氏名（和/英/ヨミ） | / / |
| 第8著者 所属（和/英） | (略称： ) (略称： ) |
| 第9著者 氏名（和/英/ヨミ） | / / |
| 第9著者 所属（和/英） | (略称： ) (略称： ) |
| 第10著者 氏名（和/英/ヨミ） | / / |
| 第10著者 所属（和/英） | (略称： ) (略称： ) |
| 第11著者 氏名（和/英/ヨミ） | / / |
| 第11著者 所属（和/英） | (略称： ) (略称： ) |
| 第12著者 氏名（和/英/ヨミ） | / / |
| 第12著者 所属（和/英） | (略称： ) (略称： ) |
| 第13著者 氏名（和/英/ヨミ） | / / |
| 第13著者 所属（和/英） | (略称： ) (略称： ) |
| 第14著者 氏名（和/英/ヨミ） | / / |
| 第14著者 所属（和/英） | (略称： ) (略称： ) |
| 第15著者 氏名（和/英/ヨミ） | / / |
| 第15著者 所属（和/英） | (略称： ) (略称： ) |
| 第16著者 氏名（和/英/ヨミ） | / / |
| 第16著者 所属（和/英） | (略称： ) (略称： ) |
| 第17著者 氏名（和/英/ヨミ） | / / |
| 第17著者 所属（和/英） | (略称： ) (略称： ) |
| 第18著者 氏名（和/英/ヨミ） | / / |
| 第18著者 所属（和/英） | (略称： ) (略称： ) |
| 講演者 | 第1著者 |
| 発表日時 | 2018-06-28 15:40:00 |
| 発表時間 | 30分 |
| 申込先研究会 | SP |
| 資料番号 | PRMU2018-25, SP2018-5 |
| 巻番号（vol） | vol.118 |
| 号番号（no） | no.111(PRMU), no.112(SP) |
| ページ範囲 | pp.19-24 |
| ページ数 | 6 |
| 発行日 | 2018-06-21 (PRMU, SP) |
[研究会発表申込システムのトップページに戻る]