| Item type |
テクニカルレポート / Technical Report(1) |
| 公開日 |
2015-03-26 |
| タイトル |
|
|
タイトル |
並列分散ワークフローシステムPwrakeによる大規模データ処理 |
| 言語 |
|
|
言語 |
jpn |
| キーワード |
|
|
言語 |
en |
|
主題Scheme |
Other |
|
主題 |
Scientific Workflow |
| キーワード |
|
|
言語 |
en |
|
主題Scheme |
Other |
|
主題 |
Distributed System |
| キーワード |
|
|
言語 |
en |
|
主題Scheme |
Other |
|
主題 |
Astronomy Data |
| 資源タイプ |
|
|
資源タイプ識別子 |
http://purl.org/coar/resource_type/c_18gh |
|
資源タイプ |
technical report |
| その他のタイトル（英） |
|
|
その他のタイトル |
Large-scale data processing with Pwrake, a parallel and distributed workflow system |
| 著者 |
田中, 昌宏
建部, 修見
Tanaka, Masahiro
Tatebe, Osamu
|
| 著者所属 |
|
|
|
筑波大学計算科学研究センター : 科学技術推進機構戦略的創造研究推進事業 |
| 著者所属 |
|
|
|
筑波大学計算科学研究センター : 科学技術推進機構戦略的創造研究推進事業 |
| 著者所属（英） |
|
|
|
en |
|
|
Center for Computational Physics, University of Tsukuba : Core Research of Evolutional Science & Technology, Japan Science and Technology Agency (JST)(CREST) |
| 著者所属（英） |
|
|
|
en |
|
|
Center for Computational Physics, University of Tsukuba : Core Research of Evolutional Science & Technology, Japan Science and Technology Agency (JST)(CREST) |
| 出版者 |
|
|
出版者 |
宇宙航空研究開発機構 |
| 出版者（英） |
|
|
出版者 |
Japan Aerospace Exploration Agency (JAXA) |
| 書誌情報 |
宇宙航空研究開発機構研究開発報告: 宇宙科学情報解析論文誌: 第1号
en : JAXA Research and Development Report: Journal of Space Science Informatics Japan: Volume 1
巻 JAXA-RR-11-007,
p. 67-75,
発行日 2012-03-30
|
| 抄録 |
|
|
内容記述タイプ |
Abstract |
|
内容記述 |
大規模な科学データ処理のため，計算機クラスターによる高性能な並列処理が必要とされている．特別な並列プログラミングを必要とせずにこれを実現するため，私たちはワークフローシステムPwrakeを開発している．PwrakeはRakeというビルドツールをベースにしており，これによりプログラミング言語を活用した高度な科学ワークフロー定義が可能となる．Rakeに並列分散機能およびGfarmファイルシステムのサポート機能を拡張したものがPwrakeである．Pwrakeの性能評価のため，天文画像処理ソフトウェアMontage のワークフローをRakeで記述し，Pwrakeを用いて実行時間を測定した．Gfarmで実行した結果はスケーラブルな性能向上を示し，ローカルストレージの利用を高めることで性能が14%向上した．さらに2 拠点のクラスタを用いた測定においてもスケーラブルな性能向上を達成した. |
| 抄録（英） |
|
|
内容記述タイプ |
Other |
|
内容記述 |
High-performance parallel processing with a distributed computer cluster is inevitable for handling large-scale science data. We are developing Pwrake, a parallel and distributed workflow system, to enable parallel and distributed processing without special programming technique. Pwrake is based on Rake, a Ruby version of make command. Rake has the feature that workflow definition can be written in programming script, and it brings the power of writing complex scientific workflows. Pwrake provides Rake with functions for parallel and distributed execution and the support for Gfarm filesystem. The workflow of Montage, astronomical image processing software, is written in Rake and its performance is measured using Pwrake. The result shows that Gfarm provides a scalable performance, and that the use of local storage improves performance by 14%. In addition, the result using clusters at two sites also shows a scalable performance improvement. |
| 内容記述 |
|
|
内容記述タイプ |
Other |
|
内容記述 |
形態: カラー図版あり |
| 内容記述（英） |
|
|
内容記述タイプ |
Other |
|
内容記述 |
Physical characteristics: Original contains color illustrations |
| ISSN |
|
|
収録物識別子タイプ |
ISSN |
|
収録物識別子 |
1349-1113 |
| 書誌レコードID |
|
|
収録物識別子タイプ |
NCID |
|
収録物識別子 |
AA1192675X |
| 資料番号 |
|
|
内容記述タイプ |
Other |
|
内容記述 |
資料番号: AA0065236009 |
| レポート番号 |
|
|
内容記述タイプ |
Other |
|
内容記述 |
レポート番号: JAXA-RR-11-007 |
65236009.pdf (968.9 kB)
