| Item type |
テクニカルレポート / Technical Report(1) |
| 公開日 |
2021-02-22 |
| タイトル |
|
|
タイトル |
宇宙科学分野のビッグデータ処理を高速化する自然数インデックス (NNI: Natural Number Index) |
| 言語 |
|
|
言語 |
jpn |
| キーワード |
|
|
主題Scheme |
Other |
|
主題 |
自然数インデックス |
| キーワード |
|
|
主題Scheme |
Other |
|
主題 |
ビッグデータ |
| キーワード |
|
|
主題Scheme |
Other |
|
主題 |
関係代数 |
| キーワード |
|
|
主題Scheme |
Other |
|
主題 |
宇宙科学分野 |
| キーワード |
|
|
主題Scheme |
Other |
|
主題 |
アポロ |
| キーワード |
|
|
言語 |
en |
|
主題Scheme |
Other |
|
主題 |
Natural Number Index |
| キーワード |
|
|
言語 |
en |
|
主題Scheme |
Other |
|
主題 |
Big Data |
| キーワード |
|
|
言語 |
en |
|
主題Scheme |
Other |
|
主題 |
Relational Algebra |
| キーワード |
|
|
言語 |
en |
|
主題Scheme |
Other |
|
主題 |
Space Science Field |
| キーワード |
|
|
言語 |
en |
|
主題Scheme |
Other |
|
主題 |
Apollo |
| 資源タイプ |
|
|
資源タイプ識別子 |
http://purl.org/coar/resource_type/c_18gh |
|
資源タイプ |
technical report |
| ID登録 |
|
|
ID登録 |
10.20637/00047371 |
|
ID登録タイプ |
JaLC |
| その他のタイトル（英） |
|
|
その他のタイトル |
Accelerating Big Data Processing in Space Sciences with Natural Number Index (NNI) |
| 著者 |
古庄, 晋二
飯沢, 篤志
長尾, 正
山本, 幸生
早部, 秀一
生座本, 義勝
小林, 正英
FURUSHO, Shinji
IIZAWA, Atsushi
NAGAO, Tadashi
YAMAMOTO, Yukio
HAYABE, Shuichi
OZAMOTO, Yoshikatsu
KOBAYASHI, Masahide
|
| 著者所属 |
|
|
|
株式会社エスペラントシステム |
| 著者所属 |
|
|
|
リコーITソリューションズ株式会社 |
| 著者所属 |
|
|
|
Layman's Admin |
| 著者所属 |
|
|
|
宇宙航空研究開発機構宇宙科学研究所(JAXA)(ISAS) |
| 著者所属 |
|
|
|
株式会社エスペラントシステム |
| 著者所属 |
|
|
|
株式会社エスペラントシステム |
| 著者所属 |
|
|
|
株式会社エスペラントシステム |
| 著者所属（英） |
|
|
|
en |
|
|
Esperant System Co., Ltd. |
| 著者所属（英） |
|
|
|
en |
|
|
Ricoh IT Solutions Co., Ltd. |
| 著者所属（英） |
|
|
|
en |
|
|
Layman's Admin |
| 著者所属（英） |
|
|
|
en |
|
|
Institute of Space and Astronautical Science, Japan Aerospace Exploration Agency (JAXA)(ISAS) |
| 著者所属（英） |
|
|
|
en |
|
|
Esperant System Co., Ltd. |
| 著者所属（英） |
|
|
|
en |
|
|
Esperant System Co., Ltd. |
| 著者所属（英） |
|
|
|
en |
|
|
Esperant System Co., Ltd. |
| 出版者 |
|
|
出版者 |
宇宙航空研究開発機構(JAXA) |
| 出版者（英） |
|
|
出版者 |
Japan Aerospace Exploration Agency (JAXA) |
| 書誌情報 |
宇宙航空研究開発機構研究開発報告: 宇宙科学情報解析論文誌: 第10号
en : JAXA Research and Development Report: Journal of Space Science Informatics Japan: Volume 10
巻 JAXA-RR-20-010,
p. 1-65,
発行日 2021-02-22
|
| 抄録 |
|
|
内容記述タイプ |
Abstract |
|
内容記述 |
宇宙科学分野では観測データなど膨大なデータが存在し、それらのビッグデータを組み合わせて解析するニーズが日常的に存在する。その多くはインデックス設計などのチューニングにいちいち時間をかけられない非定型処理である。またそれらの処理時間は長大になりがちで大幅に短縮する必要がある。そこで著者らはこのようなニーズに応えるため、表形式データを多様なケースで高速処理できる、自然数インデックス（NNI: Natural Number Index）の利用を提案する。全ての表形式データはNNI が定める成分に一意に成分分解できる。するとそれらの成分を介して、表形式データに内在する順序関係を使う多様なアルゴリズム群が設計可能になる。既存のインデックスは処理対象データの外部にあるデータ構造を利用し単用途であるが、NNI は処理対象データに内在する順序関係を利用する多用途のインデックスである。NNI は、表形式データに対して、① データのどの部分でも高速処理できる。② 関係代数演算を含む多様な処理を高速化できる。③ 個々の処理が既存のインデックスより桁違いに高速であることが多い。④ 個々の処理を効率的にカスケードして複合処理を作る仕組みを持つ。このためNNI はチューニングレスで汎用的な高速データ処理を実現できる。従って宇宙科学分野のさまざまなビッグデータ処理を設計時と実行時の両方で大幅に効率化できる。つまりNNI は日々のビッグデータの非定型処理を容易にし、加えてこれまでやれなかった処理も実行可能にする。NNI の活用で宇宙科学分野の様々な研究の加速が期待できる。 |
| 抄録（英） |
|
|
内容記述タイプ |
Other |
|
内容記述 |
In the field of space science, there is a need to combine and analyze huge amounts of data such as observation data and other big data on a daily basis. Most of them are atypical processes that we cannot afford to use much time for tunings, such as index design and others. In addition, their processing time tends to be long and needs to be reduced significantly. Therefore, to meet such needs, we propose to utilize the Natural Number Index (NNI), which can process tabular data at high speed in a very wide range of cases. Any tabular data can be uniquely decomposed into the components defined by the NNI. Then, using those components, it becomes possible to design the set of algorithms to access the order relationships intrinsic in the tabular data. While existing indexes are single- purpose, utilizing an external data structure apart from the data to be processed, the NNI is a multi- purpose index utilizing internal order relationships intrinsic in the tabular data. For tabular data, the NNI can (1) process any part of the data at high speed, and (2) speed up a variety of processes, including relational algebra operations. (3) In many cases, individual processing is orders of magnitude faster than existing indexes. (4) It has a mechanism to efficiently cascade individual processes to create compound processes. Thus, the NNI can achieve general-purpose, fast data processing without tuning. Thus, it can greatly improve the efficiency of various big data processing in the space science field, both at design time and at runtime. By using the NNI, we can expect to accelerate various researches in space science. |
| 内容記述 |
|
|
内容記述タイプ |
Other |
|
内容記述 |
形態: カラー図版あり |
| 内容記述（英） |
|
|
内容記述タイプ |
Other |
|
内容記述 |
Physical characteristics: Original contains color illustrations |
| ISSNONLINE |
|
|
収録物識別子タイプ |
ISSN |
|
収録物識別子 |
2433-2216 |
| 著者版フラグ |
|
|
出版タイプ |
VoR |
|
出版タイプResource |
http://purl.org/coar/version/c_970fb48d4fbd8a85 |
| 資料番号 |
|
|
内容記述タイプ |
Other |
|
内容記述 |
資料番号: AA2030022001 |
| レポート番号 |
|
|
内容記述タイプ |
Other |
|
内容記述 |
レポート番号: JAXA-RR-20-010 |
AA2030022001.pdf (3.0 MB)
