「.NET 開発基盤部会 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。
目次 †
概要 †
Hadoopの上に構築されたデータウェアハウス 構築環境
詳細 †
機能 †
データウェアハウススタイルのバッチ分析ワークロードを処理する機能。
- クエリの高速化のため、ビットマップインデックスを含めたインデクス機能
- 日付型・文字列型を扱ったり他のデータ操作を可能とする組み込みユーザ定義関数
- MapReduceをサポートしたSQLライクなHiveQLでデータの集約・問合・分析を行う。
コンパイラがHiveQL文をMapReduceジョブの有向非巡回グラフに変換し、それがHadoopに渡され実行される。
- SQLに基づいている。
- JDBCに準拠するものの、厳密にはSQL-92をフルサポートしてはいない。
- 副問い合わせ、インデクスのサポートも限定的。
- 更新処理、トランザクション、マテリアライズドビューはサポートしない。
- ストレージタイプ
- プレーンテキスト、RCFile、HBase
- メタデータをRDBMSに格納する機能
- Hadoop環境に格納された圧縮データを扱う機能
コンポーネント †
以下の5つの主要コンポーネントで構成されている。
- クエリプランナ
- クエリ実行エンジン
- メタデータリポジトリ
- カラム型ストレージレイアウト
参考 †
![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
