Spark Streaming
をテンプレートにして作成
[
トップ
] [
新規
|
一覧
|
単語検索
|
最終更新
|
ヘルプ
]
開始行:
「[[.NET 開発基盤部会 Wiki>http://dotnetdevelopmentinfras...
-戻る
--[[Apache Spark]]
--[[ストリーム処理>分散処理：ストリーム系]]
---[[Hadoop Streaming]]
---Spark Streaming
---[[Apache Storm]]
*目次 [#p91307f5]
#contents
*概要 [#eff2327e]
-[[ビッグデータ]]のストリーム処理のプロダクト
-[[Apache Spark]]のストリーム処理コンポーネント
*詳細 [#hfd70334]
-リアルタイム ストリーミング
-マイクロ・バッチ処理とも呼ばれる。
-分散処理型でない[[ストリーム型のデータ並列計算>#cc9b4c51...
-配信保証は[[安全なデータソース>#w0d6b72f]]に依存
**ストリーム型のデータ並列計算 [#cc9b4c51]
***属性の選択やフィルタ [#j97f1662]
***エンリッチメント [#t08d75d5]
***リアルタイム・ウィンドウ集約処理 [#s40a4c2d]
到着時刻に基づき、ウィンドウ・スライディング幅で集約する。
**安全なデータソース [#w0d6b72f]
※ 出力先は、データ・ストレージ、RDB、NoSQL、ダッシュボー...
***[[ストリーム系データソース>分散処理#m55c61c3]] [#fa99c...
-[[Apache Kafka]]
-[[Apache Flume]]
-Amazon Kinesis
***データ・ストレージ [#fd6cf49b]
-[[Hadoop Distributed File System (HDFS)>Hadoop#l2a0cd99]]
-[[Amazon S3]]などのクラウド・ストレージ・サービス
***その他 [#pfa78ac1]
-Twitter
-, etc.
**[[Spark Structured Streaming]] [#z08bc2af]
-Spark Streaming (DStreams) は~
[[Spark Structured Streaming]]に置き換えられる。
-将来的には、
--[[Spark Structured Streaming]]のみ、拡張機能やメンテナ...
--従って、Spark Streaming (DStreams)はメンテナンス モード...
*参考 [#ec4fb50f]
-Spark Streamingの概要と検証シナリオ | Think IT（シンクイ...
https://thinkit.co.jp/article/9958
-Apache Storm vs Spark Streaming - Ericsson~
https://www.ericsson.com/en/blog/2015/7/apache-storm-vs-s...
-Spark Streaming vs. Structured Streaming - DZone Big Data~
https://dzone.com/articles/spark-streaming-vs-structured-...
終了行:
「[[.NET 開発基盤部会 Wiki>http://dotnetdevelopmentinfras...
-戻る
--[[Apache Spark]]
--[[ストリーム処理>分散処理：ストリーム系]]
---[[Hadoop Streaming]]
---Spark Streaming
---[[Apache Storm]]
*目次 [#p91307f5]
#contents
*概要 [#eff2327e]
-[[ビッグデータ]]のストリーム処理のプロダクト
-[[Apache Spark]]のストリーム処理コンポーネント
*詳細 [#hfd70334]
-リアルタイム ストリーミング
-マイクロ・バッチ処理とも呼ばれる。
-分散処理型でない[[ストリーム型のデータ並列計算>#cc9b4c51...
-配信保証は[[安全なデータソース>#w0d6b72f]]に依存
**ストリーム型のデータ並列計算 [#cc9b4c51]
***属性の選択やフィルタ [#j97f1662]
***エンリッチメント [#t08d75d5]
***リアルタイム・ウィンドウ集約処理 [#s40a4c2d]
到着時刻に基づき、ウィンドウ・スライディング幅で集約する。
**安全なデータソース [#w0d6b72f]
※ 出力先は、データ・ストレージ、RDB、NoSQL、ダッシュボー...
***[[ストリーム系データソース>分散処理#m55c61c3]] [#fa99c...
-[[Apache Kafka]]
-[[Apache Flume]]
-Amazon Kinesis
***データ・ストレージ [#fd6cf49b]
-[[Hadoop Distributed File System (HDFS)>Hadoop#l2a0cd99]]
-[[Amazon S3]]などのクラウド・ストレージ・サービス
***その他 [#pfa78ac1]
-Twitter
-, etc.
**[[Spark Structured Streaming]] [#z08bc2af]
-Spark Streaming (DStreams) は~
[[Spark Structured Streaming]]に置き換えられる。
-将来的には、
--[[Spark Structured Streaming]]のみ、拡張機能やメンテナ...
--従って、Spark Streaming (DStreams)はメンテナンス モード...
*参考 [#ec4fb50f]
-Spark Streamingの概要と検証シナリオ | Think IT（シンクイ...
https://thinkit.co.jp/article/9958
-Apache Storm vs Spark Streaming - Ericsson~
https://www.ericsson.com/en/blog/2015/7/apache-storm-vs-s...
-Spark Streaming vs. Structured Streaming - DZone Big Data~
https://dzone.com/articles/spark-streaming-vs-structured-...
ページ名:
![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
