Apache Tez
をテンプレートにして作成
[
トップ
] [
新規
|
一覧
|
単語検索
|
最終更新
|
ヘルプ
]
開始行:
「[[.NET 開発基盤部会 Wiki>http://dotnetdevelopmentinfras...
-戻る（[[分散処理]] > [[Hadoop]]）
*目次 [#b4f4615e]
#contents
*概要 [#j501cb90]
-Hadoopのデータ処理アプリケーションのためのフレームワーク
-YARNベースで、MapReduceの代替となることを意識している。
*詳細 [#dc3d9af5]
-パラダイムを改善（バッチやインタラクティブなデータ処理）
--ジョブを非循環有向グラフ（DAG）でジョブを直感的に記述す...
--複数のMapReduceジョブを１つのTezのジョブとして表現でき...
-Hadoop MapReduceの制約を取り払う
--データの転送に関する設定や、永続化に関する設定を記述で...
--分散ファイルシステムへの入出力回数は削減されパイプライ...
-MapReduceランタイムの開発も進められている。
--CPUキャッシュを高効率に活用する外部ソート
--Reducer数の動的再構成
--起動時のオーバーヘッドの削減
-サードパーティのSQL処理系やDSLから用いられることが増えて...
--[[Apache Hive]]
--[[Apache Pig]]
*参考 [#zdeed400]
-Apache Tez | Cloudera~
https://jp.cloudera.com/products/open-source/apache-hadoo...
**gihyo.jp … 技術評論社 [#e2369c9c]
Hadoopはどのように動くのか~
─並列・分散システム技術から読み解くHadoop処理系の設計と実装
-第16回 並列データ処理系 Apache Tez~
https://gihyo.jp/admin/serial/01/how_hadoop_works/0016
終了行:
「[[.NET 開発基盤部会 Wiki>http://dotnetdevelopmentinfras...
-戻る（[[分散処理]] > [[Hadoop]]）
*目次 [#b4f4615e]
#contents
*概要 [#j501cb90]
-Hadoopのデータ処理アプリケーションのためのフレームワーク
-YARNベースで、MapReduceの代替となることを意識している。
*詳細 [#dc3d9af5]
-パラダイムを改善（バッチやインタラクティブなデータ処理）
--ジョブを非循環有向グラフ（DAG）でジョブを直感的に記述す...
--複数のMapReduceジョブを１つのTezのジョブとして表現でき...
-Hadoop MapReduceの制約を取り払う
--データの転送に関する設定や、永続化に関する設定を記述で...
--分散ファイルシステムへの入出力回数は削減されパイプライ...
-MapReduceランタイムの開発も進められている。
--CPUキャッシュを高効率に活用する外部ソート
--Reducer数の動的再構成
--起動時のオーバーヘッドの削減
-サードパーティのSQL処理系やDSLから用いられることが増えて...
--[[Apache Hive]]
--[[Apache Pig]]
*参考 [#zdeed400]
-Apache Tez | Cloudera~
https://jp.cloudera.com/products/open-source/apache-hadoo...
**gihyo.jp … 技術評論社 [#e2369c9c]
Hadoopはどのように動くのか~
─並列・分散システム技術から読み解くHadoop処理系の設計と実装
-第16回 並列データ処理系 Apache Tez~
https://gihyo.jp/admin/serial/01/how_hadoop_works/0016
ページ名:
![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
