Spark Streaming のバックアップ(No.11) - .NET 開発基盤部会 Wiki

[ トップ ] [ 新規 | 一覧 | 単語検索 | 最終更新 | ヘルプ ]

「.NET 開発基盤部会 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

戻る
- Apache Spark
- ストリーム処理
  - Hadoop Streaming
  - Spark Streaming
  - Apache Storm

目次 †

目次
概要
詳細
- ストリーム型のデータ並列計算
- 安全なデータソース
参考

概要 †

ビッグデータのストリーム処理のプロダクト
Apache Sparkのストリーム処理コンポーネント

詳細 †

リアルタイムストリーミング
マイクロ・バッチ処理とも呼ばれる。
分散処理型でないストリーム型のデータ並列計算を実行
配信保証は安全なデータソースに依存

ストリーム型のデータ並列計算 †

リアルタイム・ウインドウ集計などを行う。

安全なデータソース †

データ収集(DC)系ストリーム処理
- Apache Kafka
- Apache Flume
- Amazon Kinesis

データ・ストレージ
- Hadoop Distributed File System (HDFS)
- Amazon S3などのクラウド・ストレージ・サービス

その他
- Twitter
- , etc.

※ 出力先は、データ・ストレージ、RDB、NoSQL、ダッシュボード等。

参考 †

Spark Streamingの概要と検証シナリオ | Think IT（シンクイット）
https://thinkit.co.jp/article/9958
Apache Storm vs Spark Streaming - Ericsson
https://www.ericsson.com/en/blog/2015/7/apache-storm-vs-spark-streaming