Apache Spark

「.NET 開発基盤部会 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

• 戻る

目次 †

概要 †

• Apache Sparkはクラスタ・コンピューティングのOSSフレームワーク。
• 暗黙のデータ並列性と耐故障性を備えたクラスタ全体をプログラミングできる。

詳細 †

• フォールト・トレラント・システムで管理され、
• 複数マシンのクラスタに分散されたデータ項目の読み取り専用多重集合である
  Resilient Distributed Dataset (RDD)と呼ばれるデータ構造を処理するAPIを持つ。

Resilient Distributed Dataset (RDD) †

分散共有メモリを（意図的に）制限された形式で提供する分散プログラムのワーキングセット。

参考 †

• Apache Spark - Wikipedia
  https://ja.wikipedia.org/wiki/Apache_Spark