講演抄録/キーワード |
講演名 |
2022-09-09 10:00
Presentation Slide Assessment System using Visual and Semantic Segmentation Features ○Shengzhou Yi(UTokyo)・Junichiro Matsugami(Rubato)・Toshihiko Yamasaki(UTokyo) MVE2022-13 |
抄録 |
(和) |
In this paper, we present a new presentation slide assessment system that can consider structural features of the slides more easily. Our previous work used a neural network to identify novice vs. well-designed presentation slides based on visual and structural features. However, the structural feature extraction was based on the bounding box information of a PPTX file. Therefore, it is unavailable for the users who are unwilling to upload editable PPTX files and those who use other applications such as Google Slides and Keynote. In order to solve this problem, we extract the semantic segmentation of presentation slides from the slide images as a new format of structural features to replace the previous structural features extracted from XML files (i.e., PPTX files). The proposed multi-modal Transformer extracts the visual and structural features from the original images and semantic segmentation results, respectively, to assess the slide design. The prediction targets are the top-10 checkpoints pointed out by the professional consultants. Class-imbalanced learning methods are used for addressing the imbalanced label distribution, and multi-task learning are also applied to improve the accuracy of the proposed model. In the optimal settings of the used machine learning methods for each checkpoint, the proposed model only requiring slide images achieved an average accuracy of 81.67% that is comparative to the performance of the previous work requiring slide images and XML files. |
(英) |
In this paper, we present a new presentation slide assessment system that can consider structural features of the slides more easily. Our previous work used a neural network to identify novice vs. well-designed presentation slides based on visual and structural features. However, the structural feature extraction was based on the bounding box information of a PPTX file. Therefore, it is unavailable for the users who are unwilling to upload editable PPTX files and those who use other applications such as Google Slides and Keynote. In order to solve this problem, we extract the semantic segmentation of presentation slides from the slide images as a new format of structural features to replace the previous structural features extracted from XML files (i.e., PPTX files). The proposed multi-modal Transformer extracts the visual and structural features from the original images and semantic segmentation results, respectively, to assess the slide design. The prediction targets are the top-10 checkpoints pointed out by the professional consultants. Class-imbalanced learning methods are used for addressing the imbalanced label distribution, and multi-task learning are also applied to improve the accuracy of the proposed model. In the optimal settings of the used machine learning methods for each checkpoint, the proposed model only requiring slide images achieved an average accuracy of 81.67% that is comparative to the performance of the previous work requiring slide images and XML files. |
キーワード |
(和) |
Presentation Slide / Feature Learning / Class Imbalance / Multi-Task Learning / / / / |
(英) |
Presentation Slide / Feature Learning / Class Imbalance / Multi-Task Learning / / / / |
文献情報 |
信学技報, vol. 122, no. 175, MVE2022-13, pp. 16-21, 2022年9月. |
資料番号 |
MVE2022-13 |
発行日 |
2022-09-01 (MVE) |
ISSN |
Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
MVE2022-13 |
研究会情報 |
研究会 |
MVE |
開催期間 |
2022-09-08 - 2022-09-09 |
開催地(和) |
東京大学 本郷キャンパス+オンライン開催 |
開催地(英) |
|
テーマ(和) |
メタバースエクスペリエンスの魅力、メディアエクスペリエンスおよび一般(魅力工学(AC)研究会協賛) |
テーマ(英) |
|
講演論文情報の詳細 |
申込み研究会 |
MVE |
会議コード |
2022-09-MVE |
本文の言語 |
英語 |
タイトル(和) |
|
サブタイトル(和) |
|
タイトル(英) |
Presentation Slide Assessment System using Visual and Semantic Segmentation Features |
サブタイトル(英) |
|
キーワード(1)(和/英) |
Presentation Slide / Presentation Slide |
キーワード(2)(和/英) |
Feature Learning / Feature Learning |
キーワード(3)(和/英) |
Class Imbalance / Class Imbalance |
キーワード(4)(和/英) |
Multi-Task Learning / Multi-Task Learning |
キーワード(5)(和/英) |
/ |
キーワード(6)(和/英) |
/ |
キーワード(7)(和/英) |
/ |
キーワード(8)(和/英) |
/ |
第1著者 氏名(和/英/ヨミ) |
易 聖舟 / Shengzhou Yi / イ セイシュウ |
第1著者 所属(和/英) |
東京大学 (略称: 東大)
The University of Tokyo (略称: UTokyo) |
第2著者 氏名(和/英/ヨミ) |
柗上 純一郎 / Junichiro Matsugami / |
第2著者 所属(和/英) |
株式会社ルバート (略称: ルバート)
Rubato Co., Ltd. (略称: Rubato) |
第3著者 氏名(和/英/ヨミ) |
山崎 俊彦 / Toshihiko Yamasaki / |
第3著者 所属(和/英) |
東京大学 (略称: 東大)
The University of Tokyo (略称: UTokyo) |
第4著者 氏名(和/英/ヨミ) |
/ / |
第4著者 所属(和/英) |
(略称: )
(略称: ) |
第5著者 氏名(和/英/ヨミ) |
/ / |
第5著者 所属(和/英) |
(略称: )
(略称: ) |
第6著者 氏名(和/英/ヨミ) |
/ / |
第6著者 所属(和/英) |
(略称: )
(略称: ) |
第7著者 氏名(和/英/ヨミ) |
/ / |
第7著者 所属(和/英) |
(略称: )
(略称: ) |
第8著者 氏名(和/英/ヨミ) |
/ / |
第8著者 所属(和/英) |
(略称: )
(略称: ) |
第9著者 氏名(和/英/ヨミ) |
/ / |
第9著者 所属(和/英) |
(略称: )
(略称: ) |
第10著者 氏名(和/英/ヨミ) |
/ / |
第10著者 所属(和/英) |
(略称: )
(略称: ) |
第11著者 氏名(和/英/ヨミ) |
/ / |
第11著者 所属(和/英) |
(略称: )
(略称: ) |
第12著者 氏名(和/英/ヨミ) |
/ / |
第12著者 所属(和/英) |
(略称: )
(略称: ) |
第13著者 氏名(和/英/ヨミ) |
/ / |
第13著者 所属(和/英) |
(略称: )
(略称: ) |
第14著者 氏名(和/英/ヨミ) |
/ / |
第14著者 所属(和/英) |
(略称: )
(略称: ) |
第15著者 氏名(和/英/ヨミ) |
/ / |
第15著者 所属(和/英) |
(略称: )
(略称: ) |
第16著者 氏名(和/英/ヨミ) |
/ / |
第16著者 所属(和/英) |
(略称: )
(略称: ) |
第17著者 氏名(和/英/ヨミ) |
/ / |
第17著者 所属(和/英) |
(略称: )
(略称: ) |
第18著者 氏名(和/英/ヨミ) |
/ / |
第18著者 所属(和/英) |
(略称: )
(略称: ) |
第19著者 氏名(和/英/ヨミ) |
/ / |
第19著者 所属(和/英) |
(略称: )
(略称: ) |
第20著者 氏名(和/英/ヨミ) |
/ / |
第20著者 所属(和/英) |
(略称: )
(略称: ) |
講演者 |
第1著者 |
発表日時 |
2022-09-09 10:00:00 |
発表時間 |
30分 |
申込先研究会 |
MVE |
資料番号 |
MVE2022-13 |
巻番号(vol) |
vol.122 |
号番号(no) |
no.175 |
ページ範囲 |
pp.16-21 |
ページ数 |
6 |
発行日 |
2022-09-01 (MVE) |
|