分散処理：分散（バッチ）系

「.NET 開発基盤部会 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

• 戻る
  • 分散（バッチ）系
  • ストリーム系
  • データ収集・格納系

目次 †

概要 †

得意とするストレージによってフレームワークが異なる感じ。

※ Hadoop MapReduceは他の分散エンジンの隆盛によってフェードアウト気味らしいが、
　Hadoop や Hadoop Distributed File System (HDFS) は進化しつつあるらしい。

Hadoop †

フレームワーク †

• Hadoop MapReduce
• Hadoop Yet Another Resource Negotiator (YARN)

ストレージ †

• HDFS

Apache Spark †

フレームワーク †

• Spark Core
• Spark SQL

ストレージ †

• RDD
• HDFS

詳細 †

目的別 †

Hadoop系 †

• 複数台のサーバのディスクを効率よく利用

• 大規模データの保存と処理を、
  • 適合した並列分散処理で実行
  • 現実的コストで実行

• 繰返しの多い処理や、複雑な処理が苦手
  • 複雑な処理は、MapReduce?ジョブの組み合わせで実現
  • MapReduce?ジョブの都度、ディスクの読み書きが発生

• Apache Sparkと比べ、スループット重視

Apache Spark系 †

• Hadoop系の弱点を克服したもの。

• 複数台のサーバのメモリ/CPU/ディスクを効率よく利用
  • データのキャッシュ
  • 実行プランの最適化

• 複雑な処理を実行できる。
  • SQL（汎用化）
  • 機械学習
  • ストリーム
  • ライブラリ、API

• ストレージとしては、
  HadoopのHDFSを使用。

• Apache Hadoopと比べ、レスポンス重視

Asakusa Framework †

• Hadoop系の分散（バッチ）系技術を土台としている。
• バッチアプリケーションを開発するための包括的なフレームワーク

プロダクト †

Hadoop †

HDFSを使ったビッグデータの分散（バッチ）処理のプロダクト。

Apache Spark †

ビッグデータの分散（バッチ）処理のプロダクト。

• 主にRDDを使用する。
• オプションでHDFSも利用できる。

参考 †