| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2017-12-21 15:45 大規模データ分散プラットフォームApache Sparkにおけるタスク並列化に関する検討 ○加藤香澄（お茶の水女子大）・竹房あつ子（NII）・中田秀基（産総研）・小口正人（お茶の水女子大）  MoNA2017-40 |
|
| 抄録 | （和） | カメラやセンサの普及とクラウド技術により，一般家庭でライフログを取得してクラウドに送信し，ログ の解析を行うことが可能になった.しかし，非常に多数の家庭がデータをクラウドに送信すると，クラウドにおける 動画像解析の処理が膨大になる.そこで本研究では，ディープラーニングフレームワーク Chainer と Apache Spark を用いて分散データ解析処理の効率化を図る.本稿では，構築した Spark クラスタにおいてパラメータ調整を行うこ とで，並列データ処理の性能の調査を行う |
| （英） | The Spread of cameras and sensors and cloud technologies enable us to obtain life logs at ordinary homes and transmit the captured data to a cloud for life log analysis. However, the amount of processing for video data analysis in a cloud drastically increases when a very large number of homes send data to the cloud. In this research, we aim to improve the efficiency of distributed video data analysis processing by using the parallel deep learning framework Chainer and the distribution processing platform Apache Spark. In this paper, we construct a Spark cluster and investigate the performance of parallel data processing using Spark varying parameter settings. | |
| キーワード | （和） | 分散処理 / 並列処理 / Spark / Chainer / / / / |
| （英） | distributed processing / parallel processing / Spark / Chainer / / / / | |
| 文献情報 | 信学技報, vol. 117, no. 371, MoNA2017-40, pp. 65-69, 2017年12月. | |
| 資料番号 | MoNA2017-40 | |
| 発行日 | 2017-12-14 (MoNA) | |
| ISSN | Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | MoNA2017-40 |
|
| 研究会情報 | |
| 研究会 | MoNA |
| 開催期間 | 2017-12-21 - 2017-12-21 |
| 開催地（和） | お茶の水女子大学 |
| 開催地（英） | Ochanomizu University |
| テーマ（和） | クラウド、ビッグデータ、無線通信および一般 |
| テーマ（英） | Cloud computing, Big data, Wireless network, etc. |
| 講演論文情報の詳細 | |
| 申込み研究会 | MoNA |
| 会議コード | 2017-12-MoNA |
| 本文の言語 | 日本語 |
| タイトル（和） | 大規模データ分散プラットフォームApache Sparkにおけるタスク並列化に関する検討 |
| サブタイトル（和） | |
| タイトル（英） | Consideration of Parallel Data Processing over an Apache Spark, a large-scale data distributed platform |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 分散処理 / distributed processing |
| キーワード(2)（和/英） | 並列処理 / parallel processing |
| キーワード(3)（和/英） | Spark / Spark |
| キーワード(4)（和/英） | Chainer / Chainer |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 加藤 香澄 / Kasumi Kato / カトウ カスミ |
| 第1著者 所属（和/英） | お茶の水女子大学 (略称： お茶の水女子大) Ochanomizu University (略称： Ocha Univ.) |
| 第2著者 氏名（和/英/ヨミ） | 竹房 あつ子 / Atsuko Takefusa / タケフサ アツコ |
| 第2著者 所属（和/英） | 国立情報学研究所 (略称： NII) National Institute of Informatics (略称： NII) |
| 第3著者 氏名（和/英/ヨミ） | 中田 秀基 / Hidemoto Nakada / ナカダ ヒデモト |
| 第3著者 所属（和/英） | 産業技術総合研究所 (略称： 産総研) National Institute of Advanced Industrial Science and Technology (略称： AIST) |
| 第4著者 氏名（和/英/ヨミ） | 小口 正人 / Masato Oguchi / オグチ マサト |
| 第4著者 所属（和/英） | お茶の水女子大学 (略称： お茶の水女子大) Ochanomizu University (略称： Ocha Univ.) |
| 講演者 | 第1著者 |
| 発表日時 | 2017-12-21 15:45:00 |
| 発表時間 | 25分 |
| 申込先研究会 | MoNA |
| 資料番号 | MoNA2017-40 |
| 巻番号（vol） | vol.117 |
| 号番号（no） | no.371 |
| ページ範囲 | pp.65-69 |
| ページ数 | 5 |
| 発行日 | 2017-12-14 (MoNA) |
[研究会発表申込システムのトップページに戻る]