分散処理のバックアップ(No.10) - .NET 開発基盤部会 Wiki

[ トップ ] [ 新規 | 一覧 | 単語検索 | 最終更新 | ヘルプ ]

「.NET 開発基盤部会 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

戻る

目次 †

概要 †

Apache NiFi - Processorで、色々なプロダクトがあったので勉強。

詳細 †

分散処理（分散コンピューティング）とは、
複雑な計算などをネットワークを介して複数のコンピュータを利用して行うことで、
スループットを上げようとする取り組み、またはそれを実現する為の仕組み。

ストア †

データ・ストア、ディスクか？メモリか？

ディスク †

Hadoop の Hadoop Distributed File System (HDFS)

メモリ †

Apache Spark の Resilient Distributed Dataset (RDD)

その他 †

ストレージ

NoSQL
SparkとCassandraなんて組み合わせもある模様。

処理 †

どのような処理を実行できるか？

分散（バッチ） †

得意とするストレージによってフレームワークが異なる感じ。

Hadoop
- Hadoop MapReduce
- Hadoop Yet Another Resource Negotiator (YARN)

Apache Spark
- RDD
- HDFS

※ Hadoop MapReduceは他の分散エンジンの隆盛によってフェードアウト気味らしいが、
　Hadoop や Hadoop Distributed File System (HDFS) は進化しつつあるらしい。

ストリーム †

データ収集とエンリッチメントなどを行う。
- データ収集
  - fluentd
  - Beats、Logsatsh
  - Apache Kafka
  - Apache NiFi
- エンリッチメント
  - Apache NiFi
  - 人工知能（AI）

参考
- 分散ストリーム処理エンジンあれこれ - Qiita
  https://qiita.com/takanorig/items/aaa4f116d1564ec20dd3
- HortonworksのCTOが語る「Apache NiFi?」--IoT分野で重視される理由 - ZDNet Japan
  https://japan.zdnet.com/article/35070853/

本質 †

可視化 †

可視化が目的の場合、
以下のような流れで処理を行う。
1. ストリーム
  1. データ収集
  2. エンリッチメント
2. 分散（バッチ）
  1. 蓄積
  2. 可視化

以下のようなプロダクトがある。
- Elasticsearch ( + Kibana)

予測 †

最適化 †

目的 †

ビジネス上の目的の例。

... †

プロダクト †

分散（バッチ）系 †

Hadoop †

HDFSを使ったビッグデータの分散処理のプロダクト。

Apache Spark †

ビッグデータの分散処理のプロダクト。

主にRDDを使用する。
オプションでHDFSも利用できる。

ストリーム系 †

Apache Storm †

ビッグデータのストリーム処理のプロダクト

Hadoop Streaming †

ビッグデータのストリーム処理のプロダクト
標準入出力を使い、好きな言語でMapReduce?を実行

Spark Streaming †

ビッグデータのストリーム処理のプロダクト
※ Apache Stormとの違いはリンク先参照を。

Apache NiFi †

EAI/ETL系のデータフロー・オーケストレーション・ツールだが、
ビッグデータのコンテキストでデータ収集＋エンリッチメント役割を担う。

Apache Kafka †

処理性能を重視したメッセージキュー

複数台のマシンでクラスタを構成
分散処理により高いスループットを発揮

目的別 †

Elasticsearch †

ビッグデータの可視化のプロダクト
Elastic Stackという推奨構成があるっぽい。

参考 †

分散コンピューティング - Wikipedia
https://ja.wikipedia.org/wiki/%E5%88%86%E6%95%A3%E3%82%B3%E3%83%B3%E3%83%94%E3%83%A5%E3%83%BC%E3%83%86%E3%82%A3%E3%83%B3%E3%82%B0

「Hadoopの時代は終わった」の意味を正しく理解する - 科学と非科学の迷宮
https://shiumachi.hatenablog.com/entry/2017/07/10/080827

分散処理に入門してみた（Hadoop + Spark） | キャスレーコンサルティング株式会社
https://www.casleyconsulting.co.jp/blog/engineer/150/

＠IT †

Database Watch（2016年3月版） Sparkは“誰”に例えられる？
多様化と進化を続ける「Hadoop」、人気急上昇「Spark」
https://www.atmarkit.co.jp/ait/articles/1603/07/news002.html

Amazon EMRで構築するApache Spark超入門
- （1）Apache Sparkとは何か――使い方や基礎知識を徹底解説
  https://www.atmarkit.co.jp/ait/articles/1608/24/news014.html
- （2）Spark 2.0の回帰分析アプリをScalaのSBTで実装し、EMRで実行
  https://www.atmarkit.co.jp/ait/articles/1609/27/news018.html

Think IT †

伊藤雅博
https://thinkit.co.jp/author/10002

Qiita †

分散ストリーム処理エンジンあれこれ
https://qiita.com/takanorig/items/aaa4f116d1564ec20dd3

sigmalist
https://qiita.com/sigmalist

NTTデータ †

システム技術本部 †

Hadoopエコシステムの最新動向とNTTデータの取り組み（OSC 2016 Tokyo/Spring 講演資料）
https://www.slideshare.net/hadoopxnttdata/hadoop-osc2015spring-nttdata

先端技術株式会社 †

ビッグデータコラム Column on Big Data Analytics and Platform
http://www.intellilink.co.jp/article/column/bigdata/index.html

ビッグデータ分析の意義と、分析のためのシステム基盤
http://www.intellilink.co.jp/plan/corporate/column1.html
ビッグデータ活用から価値を生む仕組みについて
http://www.intellilink.co.jp/article/column/bigdata-ok01.html