| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2026-02-19 12:00 調理動画に映る食材状態の理解力評価のためのデータセット構築 ○豊岡真知・山肩洋子（東大）  ITS2025-47 IE2025-62 |
|
| 抄録 | （和） | 本稿では、調理映像に映る食材状態グラフデータセット作成手法を提案し、それを用いた食材状態理解力評価手法を検討する。 提案手法は高いテキスト理解力を持つ大規模言語モデルを利用し、テキストアノテーションのついた調理映像から、食材状態の変遷を表現した食材状態グラフをノイズに頑健な手法で生成する。 加えて、各食材に対してその食材の状態を問う質問セットを生成し、それらの質問に対する応答がどのように変化するかを以って食材の状態変化を表現する。 本稿の提案する評価手法によって、LMM時代に適した、オープンボキャブラリで自由記述された食材状態の定量評価が可能になる。 |
| （英） | In this paper, we investigate a method for constructing an ingredient state graph dataset from cooking videos, as well as an evaluation framework for assessing ingredient state understanding using this dataset. Our approach leverages large language models with strong textual understanding to generate ingredient state graphs that represent transitions of ingredient states from cooking videos annotated with text, using a method that is robust to noise. In addition, we generate a set of questions for each ingredient that query its state, and represent state transitions by tracking how the responses to these questions change over time. The proposed evaluation framework enables quantitative evaluation of ingredient states described in an open-vocabulary and free-form manner, which is suitable for the era of large multimodal models. |
|
| キーワード | （和） | 大規模マルチモーダルモデル / 状態推定 / 実世界理解 / 調理映像 / / / / |
| （英） | Large Multimodal Model / State Estimation / Real-world Understanding / Cooking Video / / / / | |
| 文献情報 | 信学技報, vol. 125, no. 356, IE2025-62, pp. 43-48, 2026年2月. | |
| 資料番号 | IE2025-62 | |
| 発行日 | 2026-02-12 (ITS, IE) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | ITS2025-47 IE2025-62 |
|
| 研究会情報 | |
| 研究会 | IE ITS ITE-MMS ITE-ME ITE-AIT ITE-SIP |
| 開催期間 | 2026-02-19 - 2026-02-20 |
| 開催地（和） | 北海道大学 |
| 開催地（英） | |
| テーマ（和） | 画像処理、一般 |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | IE |
| 会議コード | 2026-02-IE-ITS-MMS-ME-AIT-SIP |
| 本文の言語 | 日本語 |
| タイトル（和） | 調理動画に映る食材状態の理解力評価のためのデータセット構築 |
| サブタイトル（和） | |
| タイトル（英） | A Dataset for Evaluating Ingredient State Understanding in Cooking Videos |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 大規模マルチモーダルモデル / Large Multimodal Model |
| キーワード(2)（和/英） | 状態推定 / State Estimation |
| キーワード(3)（和/英） | 実世界理解 / Real-world Understanding |
| キーワード(4)（和/英） | 調理映像 / Cooking Video |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 豊岡 真知 / Mashiro Toyooka / トヨオカ マシロ |
| 第1著者 所属（和/英） | 東京大学 (略称： 東大) The University of Tokyo (略称： UT) |
| 第2著者 氏名（和/英/ヨミ） | 山肩 洋子 / Yoko Yamakata / ヤマカタ ヨウコ |
| 第2著者 所属（和/英） | 東京大学 (略称： 東大) The University of Tokyo (略称： UT) |
| 講演者 | 第1著者 |
| 発表日時 | 2026-02-19 12:00:00 |
| 発表時間 | 15分 |
| 申込先研究会 | IE |
| 資料番号 | ITS2025-47, IE2025-62 |
| 巻番号（vol） | vol.125 |
| 号番号（no） | no.355(ITS), no.356(IE) |
| ページ範囲 | pp.43-48 |
| ページ数 | 6 |
| 発行日 | 2026-02-12 (ITS, IE) |
[研究会発表申込システムのトップページに戻る]