.NET 開発基盤部会 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

目次

概要

Apache NiFi - Processorで、色々なプロダクトがあったので勉強。

詳細

ストア

データ・ストア、ディスクか?メモリか?

ディスク

HadoopHadoop Distributed File System (HDFS)

メモリ

Apache SparkResilient Distributed Dataset (RDD)

その他

処理

どのような処理を実行できるか?

分散

得意とするストレージによってフレームワークが異なる感じ。

ストリーム

データ収集とエンリッチメントなどを行う。

目的

どのような目的を達成できるか?

可視化

, etc.

プロダクト

Hadoop

HDFSを使ったビッグデータの分散処理のプロダクト。

Apache Spark

ビッグデータの分散処理のプロダクト。

Apache Storm

ビッグデータのストリーム処理のプロダクト

Apache NiFi

EAI/ETL系のデータフロー・オーケストレーション・ツールだが、
ビッグデータのコンテキストでデータ収集+エンリッチメント役割を担う。

Apache Kafka

処理性能を重視したメッセージキュー

Elasticsearch

参考

@IT

Qiita


トップ   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS