「[[.NET 開発基盤部会 Wiki>http://dotnetdevelopmentinfrastructure.osscons.jp]]」は、「[[Open棟梁Project>https://github.com/OpenTouryoProject/]]」,「[[OSSコンソーシアム .NET開発基盤部会>https://www.osscons.jp/dotNetDevelopmentInfrastructure/]]」によって運営されています。

-戻る（[[分散処理]] > [[Hadoop]]）

*目次 [#b4f4615e]
#contents

*概要 [#j501cb90]
YARN ベースの Hadoop のデータ処理アプリケーションのためのフレームワーク
-Hadoopのデータ処理アプリケーションのためのフレームワーク
-YARNベースで、MapReduceの代替となることを意識している。

*詳細 [#dc3d9af5]
-パラダイムを改善（バッチやインタラクティブなデータ処理）
--ジョブを非循環有向グラフ（DAG）でジョブを直感的に記述することが可能）⁠。
--複数のMapReduceジョブを１つのTezのジョブとして表現できる。

-Hadoop MapReduceの制約を取り払う
--データの転送に関する設定や、永続化に関する設定を記述できる。
--分散ファイルシステムへの入出力回数は削減されパイプライン並列性を活用できる。

-MapReduceランタイムの開発も進められている。
--CPUキャッシュを高効率に活用する外部ソート
--Reducer数の動的再構成
--起動時のオーバーヘッドの削減

-サードパーティのSQL処理系やDSLから用いられることが増えている
--[[Apache Hive]]
--[[Apache Pig]]

*参考 [#zdeed400]
-Apache Tez | Cloudera~
https://jp.cloudera.com/products/open-source/apache-hadoop/apache-tez.html

**gihyo.jp … 技術評論社 [#e2369c9c]
Hadoopはどのように動くのか~
─並列・分散システム技術から読み解くHadoop処理系の設計と実装

-第16回　並列データ処理系 Apache Tez~
https://gihyo.jp/admin/serial/01/how_hadoop_works/0016
トップ   編集 差分 バックアップ 添付 複製 名前変更 リロード   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS