| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2011-07-29 16:05 MapReduce処理系SSS上のSawzall処理系の実装 ○中田秀基（産総研）・井上辰彦（創夢/産総研）・小川宏高・工藤知宏（産総研）  CPSY2011-24 |
|
| 抄録 | （和） | Sawzall は、Google が 2006 年に発表した大容量データの並列バッチ処理に適した言語である。Sawzall の 計算モデルは MapReduce 型の分散演算であるが、リダクション操作を組み込みの Aggregator に限定することで、エ ンドユーザによる容易な記述を可能にしている。われわれは Hadoop およびわれわれが現在開発中の MapReduce 処 理システム SSS を対象として、Scala 言語による Sawzall 言語処理系 SawzallClone を、Java をターゲットコードと するコンパイラとして実装した。SSS の Native API で直接プログラムを記述した場合と比較を行い、言語オーバヘッ ドを見積もった。また、Google による逐次処理系 Szl との比較を行った。その結果、一定の言語オーバヘッドはある もののメリットを考えれば許容範囲であること、Szl と比較して遜色ない逐次性能を示すことを確認した。 |
| （英） | Sawzall is a script language designed for batch processing of large amount of data, which is introduced by Google in 2006. The processing model of Sawzall is the MapReduce. Sawzall allows programmers only to pro- gram ’mappers’ to ease the burden. Sawzall provides a set of ’built-in aggregators’, from which programmer choose reducing function. We implemented a Sawzall processing system called SawzallClone for Hadoop and SSS; our own implementation of MapReduce. SawzallClone compiles Sawzall code into Java code, which will be compiled into bytecode and works with runtime library on the MapReduce systems. In the paper, we provide detailed imple- mentation of the system. We compared the system with Google’s open source implemntation called ’Szl’. We also evaluated the language overhead coparing programs written in native SSS API. We confirmed that, the performance of SawzallClone is comparable with Szl, and while the system introduces certain language overhead, it is acceptable regarding the easiness provided by the layer. | |
| キーワード | （和） | Map Reduce / Sawzall / 分散並列計算 / 言語 / / / / |
| （英） | Map Reduce / Sawzall / Distributed Parallel Execution / Language / / / / | |
| 文献情報 | 信学技報, vol. 111, no. 163, CPSY2011-24, pp. 89-94, 2011年7月. | |
| 資料番号 | CPSY2011-24 | |
| 発行日 | 2011-07-21 (CPSY) | |
| ISSN | Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | CPSY2011-24 |
|
| 研究会情報 | |
| 研究会 | DC CPSY |
| 開催期間 | 2011-07-28 - 2011-07-29 |
| 開催地（和） | かごしま県民交流センター |
| 開催地（英） | |
| テーマ（和） | 2011年並列／分散／協調処理に関する 『鹿児島』サマー・ワークショップ（SWoPP鹿児島2011） |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | CPSY |
| 会議コード | 2011-07-DC-CPSY |
| 本文の言語 | 日本語 |
| タイトル（和） | MapReduce処理系SSS上のSawzall処理系の実装 |
| サブタイトル（和） | |
| タイトル（英） | An implementation of Sawzall on SSS: a MapReduce Runtime |
| サブタイトル（英） | |
| キーワード(1)（和/英） | Map Reduce / Map Reduce |
| キーワード(2)（和/英） | Sawzall / Sawzall |
| キーワード(3)（和/英） | 分散並列計算 / Distributed Parallel Execution |
| キーワード(4)（和/英） | 言語 / Language |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 中田 秀基 / Hidemoto Nakada / ナカダ ヒデモト |
| 第1著者 所属（和/英） | 産業技術総合研究所 (略称： 産総研) National Institute of Advanced Industrial Science and Technology (略称： AIST) |
| 第2著者 氏名（和/英/ヨミ） | 井上 辰彦 / Tatsuhiko Inoue / イノウエ タツヒコ |
| 第2著者 所属（和/英） | 株式会社創夢 (略称： 創夢/産総研) Soum Corporation (略称： SOUM) |
| 第3著者 氏名（和/英/ヨミ） | 小川 宏高 / Hirotaka Ogawa / クドウ トモヒロ |
| 第3著者 所属（和/英） | 産業技術総合研究所 (略称： 産総研) National Institute of Advanced Industrial Science and Technology (略称： AIST) |
| 第4著者 氏名（和/英/ヨミ） | 工藤 知宏 / Tomohiro Kudoh / クドウ トモヒロ |
| 第4著者 所属（和/英） | 産業技術総合研究所 (略称： 産総研) National Institute of Advanced Industrial Science and Technology (略称： AIST) |
| 講演者 | 第1著者 |
| 発表日時 | 2011-07-29 16:05:00 |
| 発表時間 | 25分 |
| 申込先研究会 | CPSY |
| 資料番号 | CPSY2011-24 |
| 巻番号（vol） | vol.111 |
| 号番号（no） | no.163 |
| ページ範囲 | pp.89-94 |
| ページ数 | 6 |
| 発行日 | 2011-07-21 (CPSY) |
[研究会発表申込システムのトップページに戻る]