お知らせ 2023年度・2024年度 学生員 会費割引キャンペーン実施中です
お知らせ 技術研究報告と和文論文誌Cの同時投稿施策(掲載料1割引き)について
お知らせ 電子情報通信学会における研究会開催について
お知らせ NEW 参加費の返金について
電子情報通信学会 研究会発表申込システム
講演論文 詳細
技報閲覧サービス
[ログイン]
技報アーカイブ
 トップに戻る 前のページに戻る   [Japanese] / [English] 

講演抄録/キーワード
講演名 2022-07-04 16:00
クラウドソーシングにおける動的タスク発注モデルの教師なし学習
柳澤 遼早大)・斎藤 奨中野鐵兵知能フレームワーク研)・小林哲則小川哲司早大AI2022-14
抄録 (和) クラウドソーシングによるアノテーション品質を効率的に担保する枠組みとして,データの難易度に応じて発注数を最適化する動的タスク発注モデルを教師なしで学習する方式を提案した.クラウドソーシングにより収集される回答は誤りを含むため,サンプルごとに複数のワーカから回答を収集し,多数決などにより集約することで信頼性を担保する.このとき,一般的に多数決を行うワーカ数が多いほど高品質なラベルが得られるが,発注数の増加に伴い発注費用も増大するため,最終的なラベルの精度を高く維持したまま,多数決を行うワーカ数を削減することが望ましい.そこで,複数ワーカによる回答のばらつきが小さいほど多数決の信頼性が高いという仮定のもと,回答のばらつきが十分小さくなるまでワーカへの発注を続ける動的タスク発注モデルに着目し,ラベルの誤りと発注費用を最小にするようなモデルパラメータを教師なしで学習する方式を提案した.家畜の監視画像に対するアノテーションタスクにおいて提案方式の有効性を検証したところ,教師あり学習と同等の性能を達成するとともに,精度を重視した単純多数決と比較して精度を大きく劣化させることなく発注数を大幅に削減できることを明らかにした. 
(英) An unsupervised learning method for a dynamic task ordering model that optimizes the number of orders according to the difficulty of the data was proposed as a framework for efficiently ensuring annotation quality through crowdsourcing. Since responses collected by crowdsourcing contain errors, the responses were collected from multiple workers for each sample and then aggregated by majority voting to ensure reliability. However, since the monetary cost increases as the number of orders increases, it is desirable to reduce the number of workers who perform majority voting while maintaining the high accuracy of the final label. Therefore, we focus on a dynamic task ordering model that continues to place orders to workers until the variation in responses becomes sufficiently small, based on the assumption that the smaller the variation in responses by multiple workers, the more reliable the majority decision is. The present study proposed a method for unsupervised learning of model parameters such that label errors and ordering costs are minimized. Experimental comparisons on an annotation task for livestock surveillance images demonstrated the effectiveness of the proposed method: it achieved performance comparable to supervised learning and significantly reduced the number of orders without significantly degrading accuracy compared to simple majority voting, which emphasizes accuracy.
キーワード (和) クラウドソーシング / 品質管理 / 教師なし学習 / 動的タスク発注 / / / /  
(英) Crowdsourcing / Quality control / Unsupervised learning / Dynamic task ordering / / / /  
文献情報 信学技報, vol. 122, no. 94, AI2022-14, pp. 72-76, 2022年7月.
資料番号 AI2022-14 
発行日 2022-06-27 (AI) 
ISSN Online edition: ISSN 2432-6380
著作権に
ついて
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034)
PDFダウンロード AI2022-14

研究会情報
研究会 AI  
開催期間 2022-07-04 - 2022-07-04 
開催地(和) 小樽経済センター 
開催地(英)  
テーマ(和) 「Web/IoTインテリジェンス」および一般 
テーマ(英)  
講演論文情報の詳細
申込み研究会 AI 
会議コード 2022-07-AI 
本文の言語 日本語 
タイトル(和) クラウドソーシングにおける動的タスク発注モデルの教師なし学習 
サブタイトル(和)  
タイトル(英) Unsupervised Learning of a Dynamic Task Ordering Model for Crowdsourcing 
サブタイトル(英)  
キーワード(1)(和/英) クラウドソーシング / Crowdsourcing  
キーワード(2)(和/英) 品質管理 / Quality control  
キーワード(3)(和/英) 教師なし学習 / Unsupervised learning  
キーワード(4)(和/英) 動的タスク発注 / Dynamic task ordering  
キーワード(5)(和/英) /  
キーワード(6)(和/英) /  
キーワード(7)(和/英) /  
キーワード(8)(和/英) /  
第1著者 氏名(和/英/ヨミ) 柳澤 遼 / Ryo Yanagisawa / ヤナギサワ リョウ
第1著者 所属(和/英) 早稲田大学 (略称: 早大)
Waseda University (略称: Waseda Univ.)
第2著者 氏名(和/英/ヨミ) 斎藤 奨 / Susumu Saito / サイトウ ススム
第2著者 所属(和/英) 知能フレームワーク研究所 (略称: 知能フレームワーク研)
Intelligent Framework Lab Inc. (略称: ifLab Inc.)
第3著者 氏名(和/英/ヨミ) 中野 鐵兵 / Teppei Nakano / ナカノ テッペイ
第3著者 所属(和/英) 知能フレームワーク研究所 (略称: 知能フレームワーク研)
Intelligent Framework Lab Inc. (略称: ifLab Inc.)
第4著者 氏名(和/英/ヨミ) 小林 哲則 / Tetsunori Kobayashi / コバヤシ テツノリ
第4著者 所属(和/英) 早稲田大学 (略称: 早大)
Waseda University (略称: Waseda Univ.)
第5著者 氏名(和/英/ヨミ) 小川 哲司 / Tetsuji Ogawa / オガワ テツジ
第5著者 所属(和/英) 早稲田大学 (略称: 早大)
Waseda University (略称: Waseda Univ.)
第6著者 氏名(和/英/ヨミ) / /
第6著者 所属(和/英) (略称: )
(略称: )
第7著者 氏名(和/英/ヨミ) / /
第7著者 所属(和/英) (略称: )
(略称: )
第8著者 氏名(和/英/ヨミ) / /
第8著者 所属(和/英) (略称: )
(略称: )
第9著者 氏名(和/英/ヨミ) / /
第9著者 所属(和/英) (略称: )
(略称: )
第10著者 氏名(和/英/ヨミ) / /
第10著者 所属(和/英) (略称: )
(略称: )
第11著者 氏名(和/英/ヨミ) / /
第11著者 所属(和/英) (略称: )
(略称: )
第12著者 氏名(和/英/ヨミ) / /
第12著者 所属(和/英) (略称: )
(略称: )
第13著者 氏名(和/英/ヨミ) / /
第13著者 所属(和/英) (略称: )
(略称: )
第14著者 氏名(和/英/ヨミ) / /
第14著者 所属(和/英) (略称: )
(略称: )
第15著者 氏名(和/英/ヨミ) / /
第15著者 所属(和/英) (略称: )
(略称: )
第16著者 氏名(和/英/ヨミ) / /
第16著者 所属(和/英) (略称: )
(略称: )
第17著者 氏名(和/英/ヨミ) / /
第17著者 所属(和/英) (略称: )
(略称: )
第18著者 氏名(和/英/ヨミ) / /
第18著者 所属(和/英) (略称: )
(略称: )
第19著者 氏名(和/英/ヨミ) / /
第19著者 所属(和/英) (略称: )
(略称: )
第20著者 氏名(和/英/ヨミ) / /
第20著者 所属(和/英) (略称: )
(略称: )
講演者 第1著者 
発表日時 2022-07-04 16:00:00 
発表時間 20分 
申込先研究会 AI 
資料番号 AI2022-14 
巻番号(vol) vol.122 
号番号(no) no.94 
ページ範囲 pp.72-76 
ページ数
発行日 2022-06-27 (AI) 


[研究会発表申込システムのトップページに戻る]

[電子情報通信学会ホームページ]


IEICE / 電子情報通信学会