Spark Streaming の変更点 - .NET 開発基盤部会 Wiki

追加された行はこの色です。
削除された行はこの色です。
Spark Streaming へ行く。
Spark Streaming の差分を削除
「[[.NET 開発基盤部会 Wiki>http://dotnetdevelopmentinfrastructure.osscons.jp]]」は、「[[Open棟梁Project>https://github.com/OpenTouryoProject/]]」,「[[OSSコンソーシアム .NET開発基盤部会>https://www.osscons.jp/dotNetDevelopmentInfrastructure/]]」によって運営されています。

-戻る
--[[Apache Spark]]
--[[ストリーム処理>分散処理：ストリーム系]]
---[[Hadoop Streaming]]
---Spark Streaming
---[[Apache Storm]]

*目次 [#p91307f5]
#contents

*概要 [#eff2327e]
-[[ビッグデータ]]のストリーム処理のプロダクト
-[[Apache Spark]]のストリーム処理コンポーネント

*詳細 [#hfd70334]
-リアルタイム ストリーミング
-マイクロ・バッチ処理とも呼ばれる。
-分散処理型でない[[ストリーム型のデータ並列計算>#cc9b4c51]]を実行
-配信保証は[[安全なデータソース>#w0d6b72f]]に依存

**ストリーム型のデータ並列計算 [#cc9b4c51]

***属性の選択やフィルタ [#j97f1662]

***エンリッチメント [#t08d75d5]

***リアルタイム・ウィンドウ集約処理 [#s40a4c2d]
到着時刻に基づき、ウィンドウ・スライディング幅で集約する。

**安全なデータソース [#w0d6b72f]
※ 出力先は、データ・ストレージ、RDB、NoSQL、ダッシュボード等。

***[[ストリーム系データソース>分散処理#m55c61c3]] [#fa99cd6c]
-[[Apache Kafka]]
-[[Apache Flume]]
-Amazon Kinesis

***データ・ストレージ [#fd6cf49b]
-[[Hadoop Distributed File System (HDFS)>Hadoop#l2a0cd99]]
-[[Amazon S3]]などのクラウド・ストレージ・サービス

***その他 [#pfa78ac1]
-Twitter
-, etc.

**[[Spark Structured Streaming]] [#z08bc2af]
-Spark Streaming (DStreams) は~
[[Spark Structured Streaming]]に置き換えられる。

-将来的には、
--[[Spark Structured Streaming]]のみ、拡張機能やメンテナンスを受ける。
--従って、Spark Streaming (DStreams)はメンテナンス モードのみになる。

*参考 [#ec4fb50f]
-Spark Streamingの概要と検証シナリオ | Think IT（シンクイット）~
https://thinkit.co.jp/article/9958

-Apache Storm vs Spark Streaming - Ericsson~
https://www.ericsson.com/en/blog/2015/7/apache-storm-vs-spark-streaming

-Spark Streaming vs. Structured Streaming - DZone Big Data~
https://dzone.com/articles/spark-streaming-vs-structured-streaming