| 講演抄録/キーワード |
| 講演名 |
2023-09-22 11:20
1000個以上の表形式ビッグデータを対話型で組み合わせて俯瞰するシステムの試作 ~ 3兆レコード以上の仮想表形式データの俯瞰(表示、検索・集計・ソート)性能の測定 ~ ○古庄晋二(NNIテクノロジーズ)・飯沢篤志(リコーITソリューションズ)・手塚宏史(俯瞰工学研)・山本幸生(宇宙科学研)・松久孝志・飯田 学(セック)・長尾 正(Layman's Admin) DE2023-24 |
| 抄録 |
(和) |
多様な表形式ビッグデータの流通を目的に作られた仮想表形式データは,ネットワーク上の実及び仮想表形式データ群を利用目的に合わせて仮想的・階層的に組み合わせたビューであり,僅かなメモリーしか消費せず,即座に生成できる.かつ自然数インデックス(NNI)を活用した高速多機能な仮想インデックスが全てのカラムに備わる.この実及び仮想表形式データ群から作られたネットワークシステムをIoDと呼ぶ.IoDで表形式ビッグデータの保管・転送・俯瞰がPC1台で可能になり,その流通を実現できる.今回はPC1台で,1000個以上の表形式ビッグデータを組合せ,3兆レコード以上の仮想表形式データを生成し,その性能を検証した. |
| (英) |
The virtual tabular data, created with the purpose of facilitating the distribution of diverse tabular big data, is a virtual and hierarchical combination of actual and virtual tabular data sets on the network. It is designed to cater to specific usage needs and can be immediately generated with minimal memory consumption. Additionally, it features a high-speed and versatile virtual index, utilizing Natural Number Indexing (NNI), across all columns. The network system created from these actual and virtual tabular data sets is referred to as IoD (Internet of Data). Through IoD, save, transfer, and overview of tabular big data can be achieved on a single PC, enabling its distribution. In this study, we combined over 1000 instances of tabular big data on a single PC, generating over 3 trillion virtual tabular data records, and validated its performance. |
| キーワード |
(和) |
表形式ビッグデータ / 仮想表形式データ / 仮想インデックス / 自然数インデックス / IoD / / / |
| (英) |
tabular big data / virtual tabular big data / virtual index / NNI / IoD / / / |
| 文献情報 |
信学技報, vol. 123, no. 192, DE2023-24, pp. 78-83, 2023年9月. |
| 資料番号 |
DE2023-24 |
| 発行日 |
2023-09-14 (DE) |
| ISSN |
Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
| PDFダウンロード |
DE2023-24 |