Apache Pig

「.NET 開発基盤部会 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

• 戻る
  • データウェアハウス

• NoSQL, 分散処理
  • Hadoop
    '> Apache Tez
    '> Apache HBase > Apache Hive

• Apache Spark

目次 †

概要 †

• 2006年頃にYahoo Researchで開発され、2007年にApache Software Foundationに移行。

• PigはHadoopジョブをMapReduce?、Apache Tez、Apache Sparkで実行できる。

• Hadoop用高級言語
  • 言語はPig Latinと呼ばれている。
  • Apache Hiveと同様にSQLライクな記法でMapReduce?を書けるDSL
  • 手続き型であり、パイプラインのパラダイムに非常に自然にフィットする。
  • Java、Python、JavaScript、Ruby、Groovyなどで拡張して直接呼出せる。
  • パイプラインの任意の時点でユーザーコードを含めることができる。

詳細 †

...。

参考 †

• Apache Pig - Wikipedia
  https://en.wikipedia.org/wiki/Apache_Pig

• Apache Pig で大規模データセットを分散処理する - Qiita
  https://qiita.com/ynakayama/items/8f334b3314561c5d48af