.NET 開発基盤部会 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

目次

概要

  • 事前定義されたスキーマを提供する必要がある。
  • Hadoop用高級言語
    • 言語はHive Query Language(HiveQL)と呼ばれている。
    • Apache Pigと同様にSQLライクな記法でMapReduceを書けるDSL
  • バッチ処理としての高スループットを目指す用途ではHiveを用い,
    分析などのアドホッククエリに対して高速に応答を返す用途ではImpalaを用いる。

詳細

実行プランにおいては,map()関数を実行するオペレータとreduce()関数を実行するオペレータをLeft-Deep Tree型で接続する。

機能

バッチ分析ワークロード

データウェアハウススタイルのバッチ分析ワークロードを処理する機能。

  • クエリの高速化のため、ビットマップインデックスを含めたインデクス機能
  • 日付型・文字列型を扱ったり他のデータ操作を可能とする組み込みユーザ定義関数
  • MapReduceをサポートしたSQLライクなHiveQLでデータの集約・問合・分析を行う。
    コンパイラがHiveQL文をMapReduceジョブの有向非巡回グラフに変換し、それがHadoopに渡され実行される。

SQLに基づいている。

JDBCに準拠するものの、

  • 厳密にはSQL-92をフルサポートしてはいない。
  • 副問い合わせ、インデクスのサポートも限定的。
  • 更新処理、トランザクション、マテリアライズドビューはサポートしない。

ストレージタイプ

  • プレーンテキスト
  • RCFile
  • Apache HBase
  • メタデータをRDBMSに格納する機能
  • Hadoop環境に格納された圧縮データを扱う機能

コンポーネント

以下の5つの主要コンポーネントで構成されている。

クエリプランナ

クエリ実行エンジン

メタデータリポジトリ

カラム型ストレージレイアウト

参考


トップ   編集 凍結 差分 バックアップ 添付 複製 名前変更 リロード   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS
Last-modified: 2020-10-27 (火) 12:45:08 (2d)