分散処理：ストリーム系のバックアップ(No.5) - .NET 開発基盤部会 Wiki

[ トップ ] [ 新規 | 一覧 | 単語検索 | 最終更新 | ヘルプ ]

バックアップ一覧
差分を表示
現在との差分を表示
ソースを表示
分散処理：ストリーム系へ行く。
- 1 (2020-11-29 (日) 00:50:48)
- 2 (2020-11-29 (日) 01:37:50)
- 3 (2020-11-29 (日) 15:58:03)
- 4 (2020-11-29 (日) 22:17:07)
- 5 (2020-11-30 (月) 00:31:31)
- 6 (2020-12-20 (日) 19:37:31)

「.NET 開発基盤部会 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

戻る
- 分散（バッチ）系
- ストリーム系
- データ収集・格納系

目次 †

目次
概要
詳細
- 目的別
- プロダクト
参考
- Wikipedia

概要 †

ストリーム処理には、以下のようなタイプのものがあり、

データ収集(DC)系
シングル・イベント・プロセッサ(SEP)系

は、データ収集・格納系に分類される。

データ収集(DC)系 †

シングル・イベント・プロセッサ(SEP)系 †

複雑イベントプロセッサ(CEP)系 †

Hadoop Streaming
Spark Streaming
Apache Storm
Kafka Streams
Apache Samza

詳細 †

以下のようなリアルタイム処理を行うことが出来る。

目的別 †

ステートレス処理 †

ステートレスな、最も単純なETL的な処理。

例
- システム監視のアラート通知
- 受信データをフォーマット変換して永続化

ステートフル処理 †

ステートを保持した処理。

区分
- 集計処理
- 集約処理
- 差分計算
- 状態変化の検知

例
- 移動距離の算出（差分計算
- ログイン通知（状態変化の検知

ウィンドウ処理 †

ステートを保持し、
- 特定周期（ウィンドウ幅）で集計。
- 指定周期（スライディング幅）で再集計。

例
- Webサイトの過去２４時間の訪問者や注文情報
- 店舗毎の過去２４時間の売上情報

順序保証処理 †

送信の順番で受信
特定のノードのみ受信

プロダクト †

Hadoop Streaming †

ビッグデータのストリーム処理のプロダクト
標準入出力を使い、好きな言語でMapReduceを実行

Spark Streaming †

ビッグデータのストリーム処理のプロダクト
※ Apache Stormとの違いはリンク先参照を。

Apache Storm †

ビッグデータのストリーム処理のプロダクト

Kafka Streams †

Apache Kafkaに同梱されるツール。

Apache Kafka †

デファクト・スタンダードの分散メッセージング・システム、
ストリーム処理の中核と言われるようになって来ているらしい。

参考 †

分散ストリーム処理エンジンあれこれ - Qiita
https://qiita.com/takanorig/items/aaa4f116d1564ec20dd3
An Overview of Apache Streaming Technologies – Databaseline by Ian Hellström
https://databaseline.tech/an-overview-of-apache-streaming-technologies/

Wikipedia †

複合イベント処理
https://ja.wikipedia.org/wiki/%E8%A4%87%E5%90%88%E3%82%A4%E3%83%99%E3%83%B3%E3%83%88%E5%87%A6%E7%90%86
Complex event processing
https://en.wikipedia.org/wiki/Complex_event_processing
Event stream processing
https://en.wikipedia.org/wiki/Event_stream_processing