分散処理：ストリーム系のバックアップ(No.6)

バックアップ一覧
差分を表示
現在との差分を表示
ソースを表示
分散処理：ストリーム系へ行く。
- 1 (2020-11-29 (日) 00:50:48)
- 2 (2020-11-29 (日) 01:37:50)
- 3 (2020-11-29 (日) 15:58:03)
- 4 (2020-11-29 (日) 22:17:07)
- 5 (2020-11-30 (月) 00:31:31)
- 6 (2020-12-20 (日) 19:37:31)

「.NET 開発基盤部会 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

戻る
- 分散（バッチ）系
- ストリーム系
- データ収集・格納系

目次 †

↑

概要 †

ストリーム処理には、以下のようなタイプのものがあり、

データ収集(DC)系
シングル・イベント・プロセッサ(SEP)系

は、データ収集・格納系に分類される。

↑

詳細 †

以下のようなリアルタイム処理を行うことが出来る。

↑

目的別 †

↑

ステートレス処理 †

ステートレスな、最も単純なETL的な処理。

例
- システム監視のアラート通知
- 受信データをフォーマット変換して永続化

↑

ステートフル処理 †

ステートを保持した処理。

区分
- 集計処理
- 集約処理
- 差分計算
- 状態変化の検知

例
- 移動距離の算出（差分計算
- ログイン通知（状態変化の検知

↑

ウィンドウ処理 †

ステートを保持し、
- 特定周期（ウィンドウ幅）で集計。
- 指定周期（スライディング幅）で再集計。

例
- Webサイトの過去２４時間の訪問者や注文情報
- 店舗毎の過去２４時間の売上情報

↑

順序保証処理 †

送信の順番で受信
特定のノードのみ受信

↑

プロダクト †

↑

Hadoop Streaming †

ビッグデータのストリーム処理のプロダクト
標準入出力を使い、好きな言語でMapReduceを実行

↑

Spark Streaming †

ビッグデータのストリーム処理のプロダクト
※ Apache Stormとの違いはリンク先参照を。

↑

Apache Storm †

ビッグデータのストリーム処理のプロダクト

↑

Kafka Streams †

Apache Kafkaに同梱されるツール。

↑

Apache Kafka †

デファクト・スタンダードの分散メッセージング・システム、
ストリーム処理の中核と言われるようになって来ているらしい。

↑

注意点 †

以下の４点が挙げられている。

↑

継続的なデータ処理 †

蓄積側も処理側も継続的にリソースが利用可能である必要がある。

↑

スループット †

大量データ処理を行う場合、
蓄積側も処理側も大量データを扱うスループットが必要になる。

↑

データ量の変化 †

継続的な処理の中でデータ量が変化すると必要なスループットも変化する。

↑

データロスト †

何らかの契機で、データを失う可能性がある。

↑

参考 †

分散ストリーム処理エンジンあれこれ - Qiita
https://qiita.com/takanorig/items/aaa4f116d1564ec20dd3
An Overview of Apache Streaming Technologies – Databaseline by Ian Hellström
https://databaseline.tech/an-overview-of-apache-streaming-technologies/

↑

Wikipedia †

複合イベント処理
https://ja.wikipedia.org/wiki/%E8%A4%87%E5%90%88%E3%82%A4%E3%83%99%E3%83%B3%E3%83%88%E5%87%A6%E7%90%86
Complex event processing
https://en.wikipedia.org/wiki/Complex_event_processing
Event stream processing
https://en.wikipedia.org/wiki/Event_stream_processing

分散処理：ストリーム系 のバックアップ(No.6)