.NET 開発基盤部会 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

目次

概要

(ストリーム系の)データ収集・格納系の処理には、

のプロダクトを使用する。

※ 複雑な、データ収集(DC)系には、
 シングル・イベント・プロセッサ(SEP)系や、
 複雑イベントプロセッサ(CEP)系を、使うこともある模様。

データ収集(DC)系

シングル・イベント・プロセッサ(SEP)系

複雑イベントプロセッサ(CEP)

詳細

目的別

データ収集(DC)系

シングル・イベント・プロセッサ(SEP)系

データフロー・ETL(Extract/Transform/Load)のエンリッチメント。

プロダクト

  • データ生成元 → HadoopのHDFS, etc. 部の課題
  • スクラッチ開発が必要なので、OSSのプロダクトが存在する。

Apache Sqoop

業務データベースからのデータ

Fluentd/Embulk

非構造化データ

Logsatsh, Beats

Elastic Stack

Apache Flume

非構造化データ

Apache NiFi

EAI/ETL系のデータフロー・オーケストレーション・ツールだが、
ビッグデータのコンテキストでデータ収集+エンリッチメント役割を担う。

Apache Kafka

処理性能を重視したメッセージキュー

  • データをロストし難い仕組みを備える。
    • 複数台のマシンでクラスタを構成
    • 分散処理により高いスループットを発揮
  • 以下のような組み合わせで使用する。

参考


トップ   編集 凍結 差分 バックアップ 添付 複製 名前変更 リロード   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS
Last-modified: 2020-11-29 (日) 14:26:01 (243d)