Apache Tez

「.NET 開発基盤部会 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

• 戻る（分散処理 > Hadoop）

目次 †

概要 †

• Hadoopのデータ処理アプリケーションのためのフレームワーク
• YARNベースで、MapReduce?の代替となることを意識している。

詳細 †

• パラダイムを改善（バッチやインタラクティブなデータ処理）
  • ジョブを非循環有向グラフ（DAG）でジョブを直感的に記述することが可能）⁠。
  • 複数のMapReduce?ジョブを１つのTezのジョブとして表現できる。

• Hadoop MapReduce?の制約を取り払う
  • データの転送に関する設定や、永続化に関する設定を記述できる。
  • 分散ファイルシステムへの入出力回数は削減されパイプライン並列性を活用できる。

• MapReduce?ランタイムの開発も進められている。
  • CPUキャッシュを高効率に活用する外部ソート
  • Reducer数の動的再構成
  • 起動時のオーバーヘッドの削減

• サードパーティのSQL処理系やDSLから用いられることが増えている
  • Apache Hive
  • Apache Pig

参考 †

• Apache Tez | Cloudera
  https://jp.cloudera.com/products/open-source/apache-hadoop/apache-tez.html

gihyo.jp … 技術評論社 †

Hadoopはどのように動くのか
─並列・分散システム技術から読み解くHadoop処理系の設計と実装

• 第16回　並列データ処理系 Apache Tez
  https://gihyo.jp/admin/serial/01/how_hadoop_works/0016