分散処理：データ収集・格納系のバックアップ(No.2)

バックアップ一覧
差分を表示
現在との差分を表示
ソースを表示
分散処理：データ収集・格納系へ行く。
- 1 (2020-11-29 (日) 01:06:13)
- 2 (2020-11-29 (日) 01:38:26)

「.NET 開発基盤部会 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

戻る

目次 †

目次
概要
詳細
- 目的別
  - データ収集(DC)系
  - シングル・イベント・プロセッサ(SEP)系
- プロダクト
参考

↑

概要 †

（ストリーム系の）データ収集・格納系の処理には、

データ収集(DC)系、
シングル・イベント・プロセッサ(SEP)系

のプロダクトを使用する。

※ 複雑な、データ収集(DC)系に、
　シングル・イベント・プロセッサ(SEP)系や、
　複雑イベントプロセッサ(CEP)系を、使うこともある模様。

↑

詳細 †

↑

目的別 †

↑

データ収集(DC)系 †

Fluentd/Embulk
Logsatsh, Beats
Apache Flume, Apache NiFi
Apache Kafka（保存）

↑

シングル・イベント・プロセッサ(SEP)系 †

データフロー・ETL（Extract/Transform/Load）のエンリッチメント。

Apache Flume
Apache NiFi

↑

プロダクト †

データ生成元 → HadoopのHDFS部の課題
スクラッチ開発が必要なので、OSSのプロダクトが存在する。

↑

Apache Sqoop †

業務データベースからのデータ

↑

Fluentd/Embulk †

非構造化データ

↑

Apache Flume †

非構造化データ

↑

Apache NiFi †

EAI/ETL系のデータフロー・オーケストレーション・ツールだが、
ビッグデータのコンテキストでデータ収集＋エンリッチメント役割を担う。

↑

Apache Kafka †

処理性能を重視したメッセージキュー

データをロストし難い仕組みを備える。
- 複数台のマシンでクラスタを構成
- 分散処理により高いスループットを発揮

以下のような組み合わせで使用する。
- Apache NiFi → Kafka → Storm
- Fluentd → Kafka → Hadoop/Spark

↑

Apache Storm †

時系列データ

↑

分散処理：データ収集・格納系 のバックアップ(No.2)