Spark Streaming

「.NET 開発基盤部会 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

• 戻る
  • Apache Spark
  • ストリーム処理
    • Hadoop Streaming
    • Spark Streaming
    • Apache Storm

目次 †

概要 †

• ビッグデータのストリーム処理のプロダクト
• Apache Sparkのストリーム処理コンポーネント

詳細 †

• リアルタイム ストリーミング
• マイクロ・バッチ処理とも呼ばれる。
• 分散処理型でないストリーム型のデータ並列計算を実行
• 配信保証は安全なデータソースに依存

ストリーム型のデータ並列計算 †

属性の選択やフィルタ †

エンリッチメント †

リアルタイム・ウィンドウ集約処理 †

到着時刻に基づき、ウィンドウ・スライディング幅で集約する。

安全なデータソース †

※ 出力先は、データ・ストレージ、RDB、NoSQL、ダッシュボード等。

ストリーム系データソース †

• Apache Kafka
• Apache Flume
• Amazon Kinesis

データ・ストレージ †

• Hadoop Distributed File System (HDFS)
• Amazon S3などのクラウド・ストレージ・サービス

その他 †

• Twitter
• , etc.

Spark Structured Streaming †

• Spark Streaming (DStreams) は
  Spark Structured Streamingに置き換えられる。

• 将来的には、
  • Spark Structured Streamingのみ、拡張機能やメンテナンスを受ける。
  • 従って、Spark Streaming (DStreams)はメンテナンス モードのみになる。

参考 †

• Spark Streamingの概要と検証シナリオ | Think IT（シンクイット）
  https://thinkit.co.jp/article/9958

• Apache Storm vs Spark Streaming - Ericsson
  https://www.ericsson.com/en/blog/2015/7/apache-storm-vs-spark-streaming

• Spark Streaming vs. Structured Streaming - DZone Big Data
  https://dzone.com/articles/spark-streaming-vs-structured-streaming