講演抄録/キーワード |
講演名 |
2013-12-20 14:15
残余処理時間を利用したMapReduceジョブスケジューリング ○松木辰真・滝根哲哉(阪大) IN2013-116 |
抄録 |
(和) |
Hadoop の MapReduce ジョブスケジューラは,複数のジョブが Hadoop 内に存
在する場合に,Hadoop の空き資源に対してどのジョブを割り当てるかを決定する機構である.平均応答時間の観点から見たジョブスケジューラの性能は,各到着ジョブの要求資源量(ジョブサイズ)及びその到着順序を含む,ジョブの到着パターンに大きく影響される.そのため,ジョブサイズの情報を利用しない既存のジョブスケジューラでは,ジョブの到着パターンによって,平均応答時間性能が極端に劣化する場合がある.よって,あらゆる到着パターンで良好な平均応答時間性能を達成するためには,ジョブサイズ情報を利用したスケジューリングを行う必要がある.そこで本研究では,各ジョブのジョブサイズ,特に残余処理時間を予測・利用したスケジューラを提案する.本稿では,様々な到着パターンを想定しながらシミュレーション実験を行い,その結果から,提案スケジューラが様々な到着パターンで既存スケジューラよりも良好な平均応答時間性能を達成することを確認する. |
(英) |
The MapReduce job scheduler implemented in Hadoop is a mechanism to
decide which jobs are assigned to idle resources in Hadoop. In terms
of the average job response time, the performance of the job scheduler strongly depends on the job arrival pattern, which including job sizes (i.e., the amount of required resources) and their arrival order. Because existing schedulers do not utilize information about job sizes, however, those schedulers suffer from severe performance degradation in some arrival patterns. To achieve good performance regardless of arrival patterns, we have to develop schedulers that take account of job sizes. In this article, we propose a scheduler that predicts and utilizes job sizes, especially, remaining processing times of outstanding jobs. We confirm that for various arrival patterns, the proposed scheduler achieves better performance than the existing schedulers, through simulation experiments. |
キーワード |
(和) |
MapReduce / Hadoop / ジョブスケジューリング / / / / / |
(英) |
MapReduce / Hadoop / job scheduling / / / / / |
文献情報 |
信学技報, vol. 113, no. 363, IN2013-116, pp. 101-106, 2013年12月. |
資料番号 |
IN2013-116 |
発行日 |
2013-12-12 (IN) |
ISSN |
Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
IN2013-116 |
研究会情報 |
研究会 |
IN IA |
開催期間 |
2013-12-19 - 2013-12-20 |
開催地(和) |
広島市立大学 |
開催地(英) |
Hiroshima City Univ. |
テーマ(和) |
性能評価とシミュレーション、信頼性技術、スループットやトラヒックの計測、品質(QoS)制御、輻輳制御、トラヒック・フロー制御、オーバーレイネットワーク・P2P、IPv6 、マルチキャスト、ルーティング、DDoS及び一般 |
テーマ(英) |
Performance Analysis and Simulation, Robustness, Traffic and Throughput Measurement, Quality of Service (QoS) Control, Congestion Control, Overlay Network/P2P, IPv6, Multicast, Routing, DDoS, etc. |
講演論文情報の詳細 |
申込み研究会 |
IN |
会議コード |
2013-12-IN-IA |
本文の言語 |
日本語 |
タイトル(和) |
残余処理時間を利用したMapReduceジョブスケジューリング |
サブタイトル(和) |
|
タイトル(英) |
MapReduce Job Scheduling Based on Remaining Processing Times |
サブタイトル(英) |
|
キーワード(1)(和/英) |
MapReduce / MapReduce |
キーワード(2)(和/英) |
Hadoop / Hadoop |
キーワード(3)(和/英) |
ジョブスケジューリング / job scheduling |
キーワード(4)(和/英) |
/ |
キーワード(5)(和/英) |
/ |
キーワード(6)(和/英) |
/ |
キーワード(7)(和/英) |
/ |
キーワード(8)(和/英) |
/ |
第1著者 氏名(和/英/ヨミ) |
松木 辰真 / Tatsuma Matsuki / マツキ タツマ |
第1著者 所属(和/英) |
大阪大学 (略称: 阪大)
Osaka University (略称: Osaka Univ.) |
第2著者 氏名(和/英/ヨミ) |
滝根 哲哉 / Tetsuya Takine / タキネ テツヤ |
第2著者 所属(和/英) |
大阪大学 (略称: 阪大)
Osaka University (略称: Osaka Univ.) |
第3著者 氏名(和/英/ヨミ) |
/ / |
第3著者 所属(和/英) |
(略称: )
(略称: ) |
第4著者 氏名(和/英/ヨミ) |
/ / |
第4著者 所属(和/英) |
(略称: )
(略称: ) |
第5著者 氏名(和/英/ヨミ) |
/ / |
第5著者 所属(和/英) |
(略称: )
(略称: ) |
第6著者 氏名(和/英/ヨミ) |
/ / |
第6著者 所属(和/英) |
(略称: )
(略称: ) |
第7著者 氏名(和/英/ヨミ) |
/ / |
第7著者 所属(和/英) |
(略称: )
(略称: ) |
第8著者 氏名(和/英/ヨミ) |
/ / |
第8著者 所属(和/英) |
(略称: )
(略称: ) |
第9著者 氏名(和/英/ヨミ) |
/ / |
第9著者 所属(和/英) |
(略称: )
(略称: ) |
第10著者 氏名(和/英/ヨミ) |
/ / |
第10著者 所属(和/英) |
(略称: )
(略称: ) |
第11著者 氏名(和/英/ヨミ) |
/ / |
第11著者 所属(和/英) |
(略称: )
(略称: ) |
第12著者 氏名(和/英/ヨミ) |
/ / |
第12著者 所属(和/英) |
(略称: )
(略称: ) |
第13著者 氏名(和/英/ヨミ) |
/ / |
第13著者 所属(和/英) |
(略称: )
(略称: ) |
第14著者 氏名(和/英/ヨミ) |
/ / |
第14著者 所属(和/英) |
(略称: )
(略称: ) |
第15著者 氏名(和/英/ヨミ) |
/ / |
第15著者 所属(和/英) |
(略称: )
(略称: ) |
第16著者 氏名(和/英/ヨミ) |
/ / |
第16著者 所属(和/英) |
(略称: )
(略称: ) |
第17著者 氏名(和/英/ヨミ) |
/ / |
第17著者 所属(和/英) |
(略称: )
(略称: ) |
第18著者 氏名(和/英/ヨミ) |
/ / |
第18著者 所属(和/英) |
(略称: )
(略称: ) |
第19著者 氏名(和/英/ヨミ) |
/ / |
第19著者 所属(和/英) |
(略称: )
(略称: ) |
第20著者 氏名(和/英/ヨミ) |
/ / |
第20著者 所属(和/英) |
(略称: )
(略称: ) |
講演者 |
第1著者 |
発表日時 |
2013-12-20 14:15:00 |
発表時間 |
25分 |
申込先研究会 |
IN |
資料番号 |
IN2013-116 |
巻番号(vol) |
vol.113 |
号番号(no) |
no.363 |
ページ範囲 |
pp.101-106 |
ページ数 |
6 |
発行日 |
2013-12-12 (IN) |
|