「.NET 開発基盤部会 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。 目次 †概要 †ストリーム処理には、以下のようなタイプのものがあり、 は、データ収集・格納系に分類される。 データ収集(DC)系 †シングル・イベント・プロセッサ(SEP)系 †複雑イベントプロセッサ(CEP)系 †詳細 †以下のようなリアルタイム処理を行うことが出来る。 目的別 †ステートレス処理 †
ステートフル処理 †
ウィンドウ処理 †
順序保証処理 †
プロダクト †Hadoop Streaming †Spark Streaming †ビッグデータのストリーム処理のプロダクト Apache Storm †ビッグデータのストリーム処理のプロダクト Kafka Streams †Apache Kafkaに同梱されるツール。 Apache Kafka †
ポイント †以下の4点が挙げられている(プロダクトによってサポートされる)。 継続的なデータ処理 †蓄積側も処理側も継続的にリソースが利用可能である必要がある。 スループット †大量データ処理を行う場合、 データ量の変化 †継続的な処理の中でデータ量が変化すると必要なスループットも変化する。 データロスト †何らかの契機で、データを失う可能性がある。 トレードオフ †全てのストリームデータ処理システム
完全性(Completeness) †課金処理などで重視される。 低遅延(Low Latency) †不正検知システムなどで重視される。 低コスト(Low Cost) †ウィンドウ処理 †種類 †
問題の解消 †
参考 †
Wikipedia †
Qiita †
|