Apache Impala
をテンプレートにして作成
[
トップ
] [
新規
|
一覧
|
単語検索
|
最終更新
|
ヘルプ
]
開始行:
「[[.NET 開発基盤部会 Wiki>http://dotnetdevelopmentinfras...
-戻る
--[[データウェアハウス>ビジネス インテリジェンス(BI)#f3...
--[[NoSQL]], [[分散処理]]
---[[Hadoop]] > [[Apache HBase]] > [[Apache Hive]]
*目次 [#ob8f9dc1]
#contents
*概要 [#nc0921b9]
-Apache [[Hadoop]]ベース
-大規模並列処理(MPP)SQLクエリエンジン
-低レイテンシのSQLクエリを発行できる
-[[Apache Hive]]のHive Query Language(HiveQL)との対比
--Hiveの特性に合わないアドホックなSQL処理の要望に応える。
--Hiveより高速な、新規に開発された並列データ処理系エンジ...
--バッチ処理としての高スループットを目指す用途ではHiveを...
分析などのアドホッククエリに対して高速に応答を返す用途で...
---耐障害性を多少犠牲にしてメモリ上で処理を完結することに...
---事前に取得された統計情報を元にメモリの使用量なども推測...
*詳細 [#i81c443d]
**機能 [#r5a2186d]
***基本機能 [#cd3e6569]
-[[HDFS>Hadoop#l2a0cd99]]と[[Apache HBase]]ストレージをサ...
-[[Hadoop]]ファイル形式を読み込み。
-[[Apache Hive]]の
--メタデータ
--ODBCドライバ
--SQL構文
>を使用。
***認証機能 [#m894d088]
-[[Hadoop]]セキュリティ(Kerberos認証)をサポート
-Apache Sentryでのきめ細かなロールベースのアクセス制御。
**コンポーネント [#q3a43852]
***Impala クライアント [#d7ea1141]
ユーザーのアプリケーションからクエリを実行する。
-JDBC / ODBC
-impala-shell(CUI)
***Catalog Server(catalogd) [#v3887313]
-Hadoopクラスタ上のDataNodeで起動される。
-ImpalaにおけるSQL処理の中核を担うデーモン
***Impala Daemon(impalad) [#gcf233a8]
-Hadoopクラスタ上で1つだけ起動される。
-Impalaが使用するメタデータを管理するデーモン
***StateStore [#o37ce1cf]
-Hadoopクラスタ上で1つだけ起動される。
-[[impalad>#gcf233a8]]の状態を監視するデーモン
***Hive Metastore Server(HMS) [#i1ed9cf7]
Hiveのメタデータを管理するデーモン
***HDFS NameNode(NN) [#q5a460cf]
HDFSが管理するブロックのメタデータを管理するデーモン
***HDFS DataNode(DN) [#d7ab973b]
HDFSが管理するブロック自体を管理するデーモン
*参考 [#p9ceb6bb]
-Apache Impala - Wikipedia~
https://en.wikipedia.org/wiki/Apache_Impala
-Impalaとは?:Hadoop上で稼動するクエリエンジン|データ分...
https://www.gixo.jp/blog/12489/
-ImpalaとHiveの戦略について | by Sho Shimauchi | Cloudera...
https://blog.cloudera.co.jp/impala%E3%81%A8hive%E3%81%AE%...
**gihyo.jp … 技術評論社 [#ib9c9b50]
Hadoopはどのように動くのか~
─並列・分散システム技術から読み解くHadoop処理系の設計と実装
-Impalaの設計と実装
--第17回[1]~
https://gihyo.jp/admin/serial/01/how_hadoop_works/0017
--第18回[2]~
https://gihyo.jp/admin/serial/01/how_hadoop_works/0018
--第19回[3]~
https://gihyo.jp/admin/serial/01/how_hadoop_works/0019
終了行:
「[[.NET 開発基盤部会 Wiki>http://dotnetdevelopmentinfras...
-戻る
--[[データウェアハウス>ビジネス インテリジェンス(BI)#f3...
--[[NoSQL]], [[分散処理]]
---[[Hadoop]] > [[Apache HBase]] > [[Apache Hive]]
*目次 [#ob8f9dc1]
#contents
*概要 [#nc0921b9]
-Apache [[Hadoop]]ベース
-大規模並列処理(MPP)SQLクエリエンジン
-低レイテンシのSQLクエリを発行できる
-[[Apache Hive]]のHive Query Language(HiveQL)との対比
--Hiveの特性に合わないアドホックなSQL処理の要望に応える。
--Hiveより高速な、新規に開発された並列データ処理系エンジ...
--バッチ処理としての高スループットを目指す用途ではHiveを...
分析などのアドホッククエリに対して高速に応答を返す用途で...
---耐障害性を多少犠牲にしてメモリ上で処理を完結することに...
---事前に取得された統計情報を元にメモリの使用量なども推測...
*詳細 [#i81c443d]
**機能 [#r5a2186d]
***基本機能 [#cd3e6569]
-[[HDFS>Hadoop#l2a0cd99]]と[[Apache HBase]]ストレージをサ...
-[[Hadoop]]ファイル形式を読み込み。
-[[Apache Hive]]の
--メタデータ
--ODBCドライバ
--SQL構文
>を使用。
***認証機能 [#m894d088]
-[[Hadoop]]セキュリティ(Kerberos認証)をサポート
-Apache Sentryでのきめ細かなロールベースのアクセス制御。
**コンポーネント [#q3a43852]
***Impala クライアント [#d7ea1141]
ユーザーのアプリケーションからクエリを実行する。
-JDBC / ODBC
-impala-shell(CUI)
***Catalog Server(catalogd) [#v3887313]
-Hadoopクラスタ上のDataNodeで起動される。
-ImpalaにおけるSQL処理の中核を担うデーモン
***Impala Daemon(impalad) [#gcf233a8]
-Hadoopクラスタ上で1つだけ起動される。
-Impalaが使用するメタデータを管理するデーモン
***StateStore [#o37ce1cf]
-Hadoopクラスタ上で1つだけ起動される。
-[[impalad>#gcf233a8]]の状態を監視するデーモン
***Hive Metastore Server(HMS) [#i1ed9cf7]
Hiveのメタデータを管理するデーモン
***HDFS NameNode(NN) [#q5a460cf]
HDFSが管理するブロックのメタデータを管理するデーモン
***HDFS DataNode(DN) [#d7ab973b]
HDFSが管理するブロック自体を管理するデーモン
*参考 [#p9ceb6bb]
-Apache Impala - Wikipedia~
https://en.wikipedia.org/wiki/Apache_Impala
-Impalaとは?:Hadoop上で稼動するクエリエンジン|データ分...
https://www.gixo.jp/blog/12489/
-ImpalaとHiveの戦略について | by Sho Shimauchi | Cloudera...
https://blog.cloudera.co.jp/impala%E3%81%A8hive%E3%81%AE%...
**gihyo.jp … 技術評論社 [#ib9c9b50]
Hadoopはどのように動くのか~
─並列・分散システム技術から読み解くHadoop処理系の設計と実装
-Impalaの設計と実装
--第17回[1]~
https://gihyo.jp/admin/serial/01/how_hadoop_works/0017
--第18回[2]~
https://gihyo.jp/admin/serial/01/how_hadoop_works/0018
--第19回[3]~
https://gihyo.jp/admin/serial/01/how_hadoop_works/0019
ページ名: