| 講演抄録/キーワード |
| 講演名 |
2025-05-28 14:00
環境音と説明文の意味的関連性の自動評価に向けたデータセット構築と基本性能評価 ○岡本悠希・金森勇介・高野大成(東大)・高道慎之介(慶大/東大)・齋藤佑樹(東大)・永瀬亮太郎(立命館大)・猿渡 洋(東大) EA2025-6 |
| 抄録 |
(和) |
機械学習技術や計算機の発展に伴い,音声や楽音に限らないあらゆる音である環境音を合成する取り組みが盛んに行われている.環境音合成技術の1つとして,「犬が吠える後ろで男性が話している」のような音を説明した文から環境音を合成するtext-to-audio (TTA)が注目を集めている.TTAの評価として,入力となった説明文と合成された環境音の意味的な関連性が主観/客観の両側面で評価されている.しかしながら,人間による主観評価は金銭・時間の観点からコストが高く,既存の客観評価では人間による主観評価との相関が低いことが報告されている.そこで本研究では,音の説明文と環境音の意味的関連性の自動評価に向けたデータセットを構築する.また,構築したデータセットを用いて,説明文と環境音の関連性自動評価モデルを作成して,現状の到達点に関して議論する. |
| (英) |
With the development of machine learning, environmental sound synthesis, which is not limited to speech and music, has been proposed. One of the environmental sound synthesis that has been attracting attention is text-to-audio (TTA), which generates environmental sounds from text, such as ``a dog barks while a man talks in the background.'' In TTA, the relevance between text and output audio is an important evaluation aspect. Typically, it has been evaluated from both subjective and objective perspectives. However, subjective evaluation is costly in terms of money and time, and objective evaluation has low correlation to subjective evaluation scores. In this work, we construct an open-sourced dataset that subjectively evaluates the relevance. Also, we propose a model for automatically evaluating the subjective relevance between text and audio. Our model outperforms a conventional method, and that trend extends to many sound categories. |
| キーワード |
(和) |
環境音合成 / text-to-audio / CLAPScore / 主観評価 / / / / |
| (英) |
environmental sound synthesis / text-to-audio / CLAPScore / subjective evaluation / / / / |
| 文献情報 |
信学技報, vol. 125, no. 36, EA2025-6, pp. 24-24, 2025年5月. |
| 資料番号 |
EA2025-6 |
| 発行日 |
2025-05-21 (EA) |
| ISSN |
Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
| PDFダウンロード |
EA2025-6 |