| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2018-03-01 10:50 LHD大容量データの遠隔レプリケーション ～ MMCFTPとパイプライン化レプリケーションによる145TBデータの4Gbps移送 ～ ○山中顕次郎（総研大/NII）・中西秀哉（自然科学研究機構）・小関隆久（量研機構）・阿部俊二・漆谷重雄（総研大/NII）・山本孝志・江本雅彦・中島徳嘉（自然科学研究機構）  NS2017-180 |
|
| 抄録 | （和） | 先端科学技術分野で国際共有される大容量データは，多数の小さなファイルで構成されることが多い．小さなファイルのままファイル転送を多数回行うと，転送効率が低い．アーカイブ化してからファイル転送すると，転送効率は上がるものの，アーカイブ生成・解凍の時間が余計に掛る，アーカイブファイルを置くストレージ領域が別途必要，との課題がある．NIFSの大型プラズマ装置LHDの計測データをITER遠隔実験センターに遠隔複製する実験でも，この点が課題であった．そこで，転送対象データ約145TBをLHD実験番号に基づき約13000に分割し，アーカイブ生成とファイル転送をパイプライン処理した．アーカイブ作成と転送が並列に行われるので，アーカイブ化時間はスループットには影響しない．また，転送終了次第アーカイブファイルは消去するので，大きなストレージは必要ない．このストレージには，読み書き同時で転送速度の2倍の負荷が掛かり，転送性能のボトルネックに成りやすい．現在では，高速レプリケーションの主制約はストレージ性能に有り，通信距離には無い． |
| （英） | Large volumes of data shared internationally in advanced research projects are often composed of many small files. Transfer efficiency is low when file transfer is performed many times while keeping a small file. Although transfer efficiency is improved when archiving and transferring files, there is a problem that it takes extra time for archiving / decompression, storage space for storing archive files is required separately. This point was also an issue in the experiment of remotely replicating measurement data of NIFS’s Large Helical Device (LHD) to the ITER remote experiment centre. Therefore, about 145 TB of data to be transferred was divided into about 13000 based on the LHD experiment number, and archiving and file transfer were pipelined. Since archive creation and transfer are done in parallel, archiving time does not affect throughput. Also, since the archive file is erased after the transfer, large storage is unnecessary. This storage requires two times the transfer speed at the same time as reading and writing, making it easier to become a bottleneck. Currently, the main constraint of high-speed replication is in storage performance, not in communication distance. | |
| キーワード | （和） | MMCFTP / LHD / LOSF問題 / 遠隔複製 / パイプライン処理 / / / |
| （英） | MMCFTP / Large Helical Device (LHD) / The lot of small files (LOSF) problem / Remote replication / Pipelining / / / | |
| 文献情報 | 信学技報, vol. 117, no. 459, NS2017-180, pp. 73-78, 2018年3月. | |
| 資料番号 | NS2017-180 | |
| 発行日 | 2018-02-22 (NS) | |
| ISSN | Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | NS2017-180 |
|
| 研究会情報 | |
| 研究会 | NS IN |
| 開催期間 | 2018-03-01 - 2018-03-02 |
| 開催地（和） | フェニックス・シーガイア・リゾート |
| 開催地（英） | Phoenix Seagaia Resort |
| テーマ（和） | 一般 |
| テーマ（英） | General |
| 講演論文情報の詳細 | |
| 申込み研究会 | NS |
| 会議コード | 2018-03-NS-IN |
| 本文の言語 | 日本語 |
| タイトル（和） | LHD大容量データの遠隔レプリケーション |
| サブタイトル（和） | MMCFTPとパイプライン化レプリケーションによる145TBデータの4Gbps移送 |
| タイトル（英） | Remote replication for LHD's large data |
| サブタイトル（英） | 4 Gbps data transfer of 145 TB data using MMCFTP and piplelined replication |
| キーワード(1)（和/英） | MMCFTP / MMCFTP |
| キーワード(2)（和/英） | LHD / Large Helical Device (LHD) |
| キーワード(3)（和/英） | LOSF問題 / The lot of small files (LOSF) problem |
| キーワード(4)（和/英） | 遠隔複製 / Remote replication |
| キーワード(5)（和/英） | パイプライン処理 / Pipelining |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 山中 顕次郎 / Kenjiro Yamanaka / ヤマナカ ケンジロウ |
| 第1著者 所属（和/英） | 総合研究大学院大学/国立情報学研究所 (略称： 総研大/NII) SOKENDAI/NII (略称： SOKENDAI/NII) |
| 第2著者 氏名（和/英/ヨミ） | 中西 秀哉 / Hideya Nakanishi / ナカニシ ヒデヤ |
| 第2著者 所属（和/英） | 核融合科学研究所 (略称： 自然科学研究機構) National Institute for Fusion Science (略称： NIFS) |
| 第3著者 氏名（和/英/ヨミ） | 小関 隆久 / Takahisa Ozeki / オゼキ タカヒサ |
| 第3著者 所属（和/英） | 量子科学技術研究開発機構 (略称： 量研機構) National Institutes for Quantum and Radiological Science and Technology (略称： QST) |
| 第4著者 氏名（和/英/ヨミ） | 阿部 俊二 / Shunji ABE / アベ シュンジ |
| 第4著者 所属（和/英） | 総合研究大学院大学/国立情報学研究所 (略称： 総研大/NII) SOKENDAI/NII (略称： SOKENDAI/NII) |
| 第5著者 氏名（和/英/ヨミ） | 漆谷 重雄 / Shigeo Urushidani / |
| 第5著者 所属（和/英） | 総合研究大学院大学/国立情報学研究所 (略称： 総研大/NII) SOKENDAI/NII (略称： SOKENDAI/NII) |
| 第6著者 氏名（和/英/ヨミ） | 山本 孝志 / Takashi Yamamoto / ヤマモト タカシ |
| 第6著者 所属（和/英） | 核融合科学研究所 (略称： 自然科学研究機構) National Institute for Fusion Science (略称： NIFS) |
| 第7著者 氏名（和/英/ヨミ） | 江本 雅彦 / Masahiko Emoto / エモト マサヒコ |
| 第7著者 所属（和/英） | 核融合科学研究所 (略称： 自然科学研究機構) National Institute for Fusion Science (略称： NIFS) |
| 第8著者 氏名（和/英/ヨミ） | 中島 徳嘉 / Noriyoshi Nakajima / ナカジマ ノリヨシ |
| 第8著者 所属（和/英） | 核融合科学研究所 (略称： 自然科学研究機構) National Institute for Fusion Science (略称： NIFS) |
| 講演者 | 第1著者 |
| 発表日時 | 2018-03-01 10:50:00 |
| 発表時間 | 20分 |
| 申込先研究会 | NS |
| 資料番号 | NS2017-180 |
| 巻番号（vol） | vol.117 |
| 号番号（no） | no.459 |
| ページ範囲 | pp.73-78 |
| ページ数 | 6 |
| 発行日 | 2018-02-22 (NS) |
[研究会発表申込システムのトップページに戻る]