講演抄録/キーワード |
講演名 |
2021-05-13 10:05
ハイブリッドクラウド構成における分析処理の並列度最適化方式 ○村瀬香緒里・林 真一・金子 聡・村山耕一(日立) ICM2021-3 |
抄録 |
(和) |
データをオンプレミスに配置し,分析処理をパブリッククラウドで実行するデータ分析基盤は,データの詳細管理を可能とし,柔軟に処理性能を増減できる利点を併せ持つ.一方で,ハイブリッドクラウド構成では,オンプレミスとパブリッククラウドの設計方針の違いから,リソースの即時増減が難しいオンプレミスの性能に対して分析処理の並列度を必要以上に高くするとコストパフォーマンスが下がる場合がある.本研究では,ITインフラに詳しくないデータ分析者でも前述の構成で適切な分析処理の並列度を決定できる方式を提案する.また本方式によりコストパフォーマンスが低下しない適切な並列度を予測できる見込みを得た. |
(英) |
A hybrid data analytics platform that consists of data lake on on-premise and servers for analytical processing on public cloud has the advantages of both detailed data management and flexible performance adjustment. However, for some cases cost performance declines due to design policy differences between on-premise and public cloud. For instance, cases where degree of parallelism for data analytics is set higher than necessary since it is difficult to change amount of processing resources of on-premise immediately. In this paper, we propose an optimization method for determining degree of parallelism based on allocatable on-premise resources of the hybrid data analytics platform. We prospect that it can predict appropriate degree of parallelism, and achieve an improved cost performance. |
キーワード |
(和) |
データ分析基盤 / ハイブリッドクラウドストレージ / 並列度 / 最適化 / / / / |
(英) |
Data analytics platform / Hybrid cloud storage / Parallelism / ETL / Optimization / / / |
文献情報 |
信学技報, vol. 121, no. 13, ICM2021-3, pp. 13-18, 2021年5月. |
資料番号 |
ICM2021-3 |
発行日 |
2021-05-06 (ICM) |
ISSN |
Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
ICM2021-3 |
|