分散処理：分散（バッチ）系のバックアップ(No.2) - .NET 開発基盤部会 Wiki

[ トップ ] [ 新規 | 一覧 | 単語検索 | 最終更新 | ヘルプ ]

バックアップ一覧
差分を表示
現在との差分を表示
ソースを表示
分散処理：分散（バッチ）系へ行く。
- 1 (2020-11-29 (日) 00:41:41)
- 2 (2020-11-29 (日) 00:50:53)

「.NET 開発基盤部会 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

戻る

目次 †

目次
概要
- Hadoop
  - フレームワーク
  - ストレージ
- Apache Spark
  - フレームワーク
  - ストレージ
詳細
- 目的別
- プロダクト
  - Hadoop
  - Apache Spark
参考

概要 †

得意とするストレージによってフレームワークが異なる感じ。

※ Hadoop MapReduceは他の分散エンジンの隆盛によってフェードアウト気味らしいが、
　Hadoop や Hadoop Distributed File System (HDFS) は進化しつつあるらしい。

Hadoop †

フレームワーク †

ストレージ †

HDFS

Apache Spark †

フレームワーク †

ストレージ †

RDD
HDFS

詳細 †

目的別 †

Hadoop系 †

複数台のサーバのディスクを効率よく利用

大規模データの保存と処理を、
- 適合した並列分散処理で実行
- 現実的コストで実行

繰返しの多い処理や、複雑な処理が苦手
- 複雑な処理は、MapReduce?ジョブの組み合わせで実現
- MapReduce?ジョブの都度、ディスクの読み書きが発生

Apache Sparkと比べ、スループット重視

Apache Spark系 †

Hadoop系の弱点を克服したもの。

複数台のサーバのメモリ/CPU/ディスクを効率よく利用
- データのキャッシュ
- 実行プランの最適化

複雑な処理を実行できる。
- SQL（汎用化）
- 機械学習
- ストリーム
- ライブラリ、API

ストレージとしては、
HadoopのHDFSを使用。

Apache Hadoopと比べ、レスポンス重視

Asakusa Framework †

Hadoop系の分散（バッチ）系技術を土台としている。
バッチアプリケーションを開発するための包括的なフレームワーク

プロダクト †

Hadoop †

HDFSを使ったビッグデータの分散（バッチ）処理のプロダクト。

Apache Spark †

ビッグデータの分散（バッチ）処理のプロダクト。

主にRDDを使用する。
オプションでHDFSも利用できる。

参考 †