| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2012-07-20 10:25 WAN環境におけるHadoop高速化に関する一考察 ○宮前 剛・武藤亮一（富士通研）  IN2012-42 |
|
| 抄録 | （和） | 近年、世界中で日々膨大な量のデータが蓄積されるようになった。そのため、Hadoop等の大規模データ解析の分野において、今後、WANに分散した全てのデータを一箇所のデータセンタへ集約することが困難になり、データをWAN上に分散させたまま広域でジョブを実行せざるを得なくなる可能性がある。しかし、広域向けに最適化したトランスポートプロトコルを利用する方式では既存のファイアウォールを利用できないデメリットが存在するため、一般的なトランスポートプロトコルであるTCPのWAN環境において性能劣化なくHadoopを実行させる必要がある。われわれの評価系においては、チューニング効果の一例としてソケットバッファやインタフェースキュー長、HDFSのブロックサイズを拡張した結果、パケットロス率がない条件であれば広域でのHadoopジョブのShuffleフェーズのスループットが8.7倍改善し、WAN環境における性能劣化を小さく抑えることができた。 |
| （英） | Recently, a vast amount of data has being stored everyday all over the world. In the field of big-data analysis such as Hadoop, it is reasonable to expect that such data dispersed across the globe would not be gathered to a central data center for its analysis but be kept dispersed during the job. However, because Hadoop over the leased line costs high and Hadoop over the WAN-optimized protocol doesn't cooperate with existing firewalls well, we need some technique to execute Hadoop efficiently in ordinary WAN with generic TCP protocol. In this paper, we show the sample case whereby 8.7 times improvement was achieved in the shuffle phase performance of the simulated wide area Hadoop experiment with low packet loss rate. The tuning techniques include the expansion of socket buffers, interface queue length, and the HDFS block size. | |
| キーワード | （和） | WAN / Hadoop / TCP / HTTP / バルク転送 / スループット / / |
| （英） | WAN / Hadoop / TCP / HTTP / bulk transfer / throughput / / | |
| 文献情報 | 信学技報, vol. 112, no. 134, IN2012-42, pp. 55-60, 2012年7月. | |
| 資料番号 | IN2012-42 | |
| 発行日 | 2012-07-12 (IN) | |
| ISSN | Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | IN2012-42 |
|
| 研究会情報 | |
| 研究会 | IN NV |
| 開催期間 | 2012-07-19 - 2012-07-20 |
| 開催地（和） | 北海道大学 |
| 開催地（英） | Hokkaido Univ. |
| テーマ（和） | 新世代・次世代ネットワーク，ネットワークとシステムの仮想化，仮想化環境の管理・監視，オーバーレイ，IPv6ネットワーク，フォトニックネットワークおよび一般 |
| テーマ（英） | New/Next Generation Network, Network/System Virtualization, Management/Monitoring for Virtualization Environments, Overlay, IPv6 Networks, Photonic Network, etc |
| 講演論文情報の詳細 | |
| 申込み研究会 | IN |
| 会議コード | 2012-07-IN-NV |
| 本文の言語 | 日本語 |
| タイトル（和） | WAN環境におけるHadoop高速化に関する一考察 |
| サブタイトル（和） | |
| タイトル（英） | A Study about Hadoop Throughput Improvement Technique over WAN |
| サブタイトル（英） | |
| キーワード(1)（和/英） | WAN / WAN |
| キーワード(2)（和/英） | Hadoop / Hadoop |
| キーワード(3)（和/英） | TCP / TCP |
| キーワード(4)（和/英） | HTTP / HTTP |
| キーワード(5)（和/英） | バルク転送 / bulk transfer |
| キーワード(6)（和/英） | スループット / throughput |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 宮前 剛 / Takeshi Miyamae / ミヤマエ タケシ |
| 第1著者 所属（和/英） | 株式会社富士通研究所 (略称： 富士通研) Fujitsu Laboratories Ltd. (略称： Fujitsu Labs.) |
| 第2著者 氏名（和/英/ヨミ） | 武藤 亮一 / Ryoichi Mutoh / ムトウ リョウイチ |
| 第2著者 所属（和/英） | 株式会社富士通研究所 (略称： 富士通研) Fujitsu Laboratories Ltd. (略称： Fujitsu Labs.) |
| 講演者 | 第1著者 |
| 発表日時 | 2012-07-20 10:25:00 |
| 発表時間 | 25分 |
| 申込先研究会 | IN |
| 資料番号 | IN2012-42 |
| 巻番号（vol） | vol.112 |
| 号番号（no） | no.134 |
| ページ範囲 | pp.55-60 |
| ページ数 | 6 |
| 発行日 | 2012-07-12 (IN) |
[研究会発表申込システムのトップページに戻る]