分散処理：ストリーム系のバックアップ(No.2) - .NET 開発基盤部会 Wiki

[ トップ ] [ 新規 | 一覧 | 単語検索 | 最終更新 | ヘルプ ]

バックアップ一覧
差分を表示
現在との差分を表示
ソースを表示
分散処理：ストリーム系へ行く。
- 1 (2020-11-29 (日) 00:50:48)
- 2 (2020-11-29 (日) 01:37:50)
- 3 (2020-11-29 (日) 15:58:03)
- 4 (2020-11-29 (日) 22:17:07)
- 5 (2020-11-30 (月) 00:31:31)
- 6 (2020-12-20 (日) 19:37:31)

「.NET 開発基盤部会 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

戻る

目次 †

目次
概要
詳細
- 目的別
  - Hadoop系
  - Apache Spark系
- プロダクト
参考
- Wikipedia

概要 †

ストリーム処理には、以下のようなタイプのものがある。

データ収集(DC)系 †

シングル・イベント・プロセッサ(SEP)系 †

複雑イベントプロセッサ(CEP)系 †

Hadoop Streaming
Spark Streaming
Apache Storm
Kafka Streams
Apache Samza

詳細 †

目的別 †

Hadoop系 †

Apache Spark系 †

プロダクト †

Hadoop Streaming †

ビッグデータのストリーム処理のプロダクト
標準入出力を使い、好きな言語でMapReduceを実行

Spark Streaming †

ビッグデータのストリーム処理のプロダクト
※ Apache Stormとの違いはリンク先参照を。

Apache Storm †

ビッグデータのストリーム処理のプロダクト

参考 †

分散ストリーム処理エンジンあれこれ - Qiita
https://qiita.com/takanorig/items/aaa4f116d1564ec20dd3
An Overview of Apache Streaming Technologies – Databaseline by Ian Hellström
https://databaseline.tech/an-overview-of-apache-streaming-technologies/

Wikipedia †

複合イベント処理
https://ja.wikipedia.org/wiki/%E8%A4%87%E5%90%88%E3%82%A4%E3%83%99%E3%83%B3%E3%83%88%E5%87%A6%E7%90%86
Complex event processing
https://en.wikipedia.org/wiki/Complex_event_processing
Event stream processing
https://en.wikipedia.org/wiki/Event_stream_processing