「.NET 開発基盤部会 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。
目次 †
概要 †
詳細 †
ストリーム型のデータ並列計算 †
安全なデータソース †
※ 出力先は、データ・ストレージ、RDB、NoSQL、ダッシュボード等。
データ・ストレージ †
その他 †
Structured Streaming †
概要 †
- Spark SQL エンジンに基づいて構築
- ストリーミングをバッチと同じ方法で記述できる。
特徴 †
- データのストリームを深さが無限のテーブルとして表すため、
- 不完全な集計結果を長時間維持でき、
- 遅延したデータを再処理することが可能となり、
- その都度結果を更新できる。
サポート †
- Spark Streaming (DStreams) はSpark Structured Streamingに置き換えられる。
- 将来的には、
- Structured Streaming のみ、拡張機能やメンテナンスを受ける。
- 従って、DStreams はメンテナンス モードのみになる。
参考 †
Structured Streaming †
![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
