分散処理のバックアップ(No.5) - .NET 開発基盤部会 Wiki

[ トップ ] [ 新規 | 一覧 | 単語検索 | 最終更新 | ヘルプ ]

「.NET 開発基盤部会 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

戻る

目次 †

概要 †

Apache NiFi - Processorで、色々なプロダクトがあったので勉強。

詳細 †

ストア †

データ・ストア、ディスクか？メモリか？

ディスク †

Hadoop の Hadoop Distributed File System (HDFS)

メモリ †

Apache Spark の Resilient Distributed Dataset (RDD)

その他 †

ストレージ

NoSQL
SparkとCassandraなんて組み合わせもある模様。

処理 †

どのような処理を実行できるか？

分散 †

得意とするストレージによってフレームワークが異なる感じ。

Hadoop
- Hadoop MapReduce
- Hadoop Yet Another Resource Negotiator (YARN)

Apache Spark
- RDD
- HDFS

※ Hadoop MapReduceは他の分散エンジンの隆盛によってフェードアウト気味らしいが、
　Hadoop や Hadoop Distributed File System (HDFS) は進化しつつあるらしい。

ストリーム †

データ収集とエンリッチメントなどを行う。
- データ収集
  - fluentd
  - Beats、Logsatsh
  - Apache Kafka
  - Apache NiFi
- エンリッチメント
  - Apache NiFi
  - 人工知能（AI）

参考
- 分散ストリーム処理エンジンあれこれ - Qiita
  https://qiita.com/takanorig/items/aaa4f116d1564ec20dd3
- HortonworksのCTOが語る「Apache NiFi?」--IoT分野で重視される理由 - ZDNet Japan
  https://japan.zdnet.com/article/35070853/

目的 †

どのような目的を達成できるか？

可視化 †

可視化が目的の場合、
以下のような流れで処理を行う。
1. ストリーム
  1. データ収集
  2. エンリッチメント
2. 分散
  1. 蓄積
  2. 可視化

以下のようなプロダクトがある。
- Elasticsearch ( + Kibana)

, etc. †

プロダクト †

分散系 †

Hadoop †

HDFSを使ったビッグデータの分散処理のプロダクト。

Apache Spark †

ビッグデータの分散処理のプロダクト。

主にRDDを使用する。
オプションでHDFSも利用できる。

ストリーム系 †

Apache Storm †

ビッグデータのストリーム処理のプロダクト

Spark Streaming †

ビッグデータのストリーム処理のプロダクト
※ Apache Stormとの違いはリンク先参照を。

Apache NiFi †

EAI/ETL系のデータフロー・オーケストレーション・ツールだが、
ビッグデータのコンテキストでデータ収集＋エンリッチメント役割を担う。

Apache Kafka †

処理性能を重視したメッセージキュー

複数台のマシンでクラスタを構成
分散処理により高いスループットを発揮

目的別 †

Elasticsearch †

ビッグデータの可視化のプロダクト
Elastic Stackという推奨構成があるっぽい。

参考 †

「Hadoopの時代は終わった」の意味を正しく理解する - 科学と非科学の迷宮
https://shiumachi.hatenablog.com/entry/2017/07/10/080827

Hadoopエコシステムの最新動向とNTTデータの取り組み（OSC 2016 Tokyo/Spring 講演資料）
https://www.slideshare.net/hadoopxnttdata/hadoop-osc2015spring-nttdata

分散処理に入門してみた（Hadoop + Spark） | キャスレーコンサルティング株式会社
https://www.casleyconsulting.co.jp/blog/engineer/150/

＠IT †

Database Watch（2016年3月版） Sparkは“誰”に例えられる？
多様化と進化を続ける「Hadoop」、人気急上昇「Spark」
https://www.atmarkit.co.jp/ait/articles/1603/07/news002.html

Amazon EMRで構築するApache Spark超入門
- （1）Apache Sparkとは何か――使い方や基礎知識を徹底解説
  https://www.atmarkit.co.jp/ait/articles/1608/24/news014.html
- （2）Spark 2.0の回帰分析アプリをScalaのSBTで実装し、EMRで実行
  https://www.atmarkit.co.jp/ait/articles/1609/27/news018.html

Think IT †

伊藤雅博
https://thinkit.co.jp/author/10002

Qiita †

分散ストリーム処理エンジンあれこれ
https://qiita.com/takanorig/items/aaa4f116d1564ec20dd3

sigmalist
https://qiita.com/sigmalist