講演抄録/キーワード |
講演名 |
2009-08-04 16:15
クラスタをメモリ資源として利用するためのMPIに基づいた高速大容量仮想メモリ ○緑川博子・斉藤和広(成蹊大)・佐藤三久・朴 泰祐(筑波大) CPSY2009-16 |
抄録 |
(和) |
64bitOSの普及により,飛躍的に大きなアドレス空間が利用可能となった.筆者らはローカル物理メモリサイズに制限されず,クラスタの各ノードの遠隔メモリを集めて仮想的に大容量メモリを逐次処理用に提供するシステム,分散大容量メモリシステムDLMを提案してきた.
DLMは,OSスワップシステムに組み込む他の多くの遠隔ページング手法とは異なり,
OSのスワップシステムとは独立にユーザレベルソフトウエアとして実装されている.
すでに,汎用TCPのみを用いたDLMが,ブロックデバイス構築,専用NIC,低レベル通信プロトコルなどを併用した上述の他手法に比べ,
より高い性能と動作安定性を示すことを明らかにしてきた.
本報告では,従来のDLMでTCP/IPソケット通信で実装してきたノード間通信機構をMPIで実装し,最新の高性能通信機構にも対応できる可搬性の高い,高速大容量仮想メモリを提供する。
これにより,従来はクラスタに縁のなかった,大容量データを扱う逐次処理応用を持つユーザが,並列プログラミングの知識なしに,MPIバッチシステムで運用される多くのオープンクラスタを,メモリ資源として利用することが可能になった.
Myri-10G/Bonding=4のネットワークを持つオープンクラスタでの実験では,STREAMベンチマークによる応用プログラムレベルの遠隔メモリバンド幅は613MB/sを達成し,241GBのデータに対するHimenoベンチマーク処理を20GBメモリ/ノードを複数用いて,稼動できることを示した.またNPBの6種のプログラムについて,ローカル/遠隔メモリサイズ比と性能の関係などについて明らかにした. |
(英) |
Today, 64bitOS's make available memory address space huge and it is beneficial for the applications using a large amount of data. This paper proposes a new idea of using a cluster as a memory resource for such applications requiring large amount of memory. We already proposed the Distributed Large Memory System: DLM, which enables the users to make use of large virtual memory by using remote memory distributed over nodes in a cluster. It achieves better performance than other remote paging schemes using a block swap device to access remote memory. It is designed for sequential programs accessing larger amount of data beyond local physical memory. In this paper, we propose the newly designed MPI-based DLM, which uses only MPI for inter-node communication, to exploit higher performance and portability than the former socket-based DLM. It achieves 613MB/sec of remote memory bandwidth in STREAM benchmark on Myri-10G/Bonding=4 and high performance of applications in NPB and HimenoBMT. It has opened the door to use a cluster for the people who are not familiar to the parallel programming. All experiments here were done on the public open cluster with MPI batch queuing system. |
キーワード |
(和) |
クラスタ / 仮想メモリ / ソフトウエア分散共有メモリ / MPI / 遠隔ページング / / / |
(英) |
Cluster / Virtual Memory / Software Distributed Shared Memory / MPI / Remote Paging / / / |
文献情報 |
信学技報, vol. 109, no. 168, CPSY2009-16, pp. 37-42, 2009年8月. |
資料番号 |
CPSY2009-16 |
発行日 |
2009-07-28 (CPSY) |
ISSN |
Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
CPSY2009-16 |