講演抄録/キーワード |
講演名 |
2019-03-08 09:20
Hadoopデータセンタにおけるオークションメカニズムを用いた料金設定と計算資源割当て手法 ○真鍋 優・川原 純・笠原正治(奈良先端大) ICM2018-57 |
抄録 |
(和) |
記憶容量の増大や計算性能の上昇といったハードウェアの発展に伴い,アプリケーションの取り扱うデータ量や計算量は日々増大している.そこで注目されているのが大規模なコンピュータクラスタにおいて処理を分散することで高速化を図るHadoop等の分散処理フレームワークである.Hadoopを用いて大規模な計算資源を多人数で共有するには,計算資源の割当てを行う新しいスケジューラが必要である.加えて,データセンタ等において商業目的でHadoopを運用するには,データセンタ管理者の収益を考慮した料金の設定手法が必要になる.本研究では利用者が実行するアプリケーションの実行時間を予測するシステムと,利用者にとって自身の評価額をそのまま入札することが最適となるようなオークションメカニズムの2つの要素から構成される手法を提案する.評価実験では,提案手法は利用者の参加および離脱が頻繁な状況において,特にデータセンタ管理者の収益に関して既存手法と比較した場合最大で約125%増加した. |
(英) |
As storage capacity and computing performance grow due to the development of hardware, it is possible for applications to handle much more data and computation resources.
Therefore, distributed processing frameworks that accelerate execution of jobs in a large sale cluster such as Hadoop attract the attention.
If a large number of users share big data, a new scheduler for resource allocation is needed.
In addition, in order to manage a Hadoop data center for commercial purposes, a method of pricing that increases the revenue of a data center is required.
In this research, we propose a new method consisting of two components.
The first component is a system to predict the execution time of a user's application.
The second component is an auction mechanism such that it is optimal for users to bid their own appraised price as they are.
Discrete event simulations are carried out to evaluate the proposed method.
The evaluation experiment indicates that the proposed method increases the revenue of the Hadoop data center by about 125% compared with an existing method in the situation where user participation and leaving are frequent. |
キーワード |
(和) |
分散処理 / Hadoop / データセンタ / スケジューリング / オークションメカニズム / / / |
(英) |
Distributed processing system / Hadoop / Data center / Scheduling / Auction mechanism / / / |
文献情報 |
信学技報, vol. 118, no. 483, ICM2018-57, pp. 43-48, 2019年3月. |
資料番号 |
ICM2018-57 |
発行日 |
2019-02-28 (ICM) |
ISSN |
Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
ICM2018-57 |