![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
「[[.NET 開発基盤部会 Wiki>http://dotnetdevelopmentinfrastructure.osscons.jp]]」は、「[[Open棟梁Project>https://github.com/OpenTouryoProject/]]」,「[[OSSコンソーシアム .NET開発基盤部会>https://www.osscons.jp/dotNetDevelopmentInfrastructure/]]」によって運営されています。 -戻る --[[データウェアハウス>ビジネス インテリジェンス（BI）#f38a28c0]] --[[NoSQL]], [[分散処理]] ---[[Hadoop]] > [[Apache HBase]] > [[Apache Hive]] *目次 [#ob8f9dc1] #contents *概要 [#nc0921b9] -Apache [[Hadoop]]ベース -大規模並列処理（MPP）SQLクエリエンジン -低レイテンシのSQLクエリを発行できる -[[Apache Hive]]のHive Query Language（HiveQL）との対比 --Hiveの特性に合わないアドホックなSQL処理の要望に応える。 --Hiveより高速な、新規に開発された並列データ処理系エンジン。 --バッチ処理としての高スループットを目指す用途ではHiveを用い，~ 分析などのアドホッククエリに対して高速に応答を返す用途ではImpalaを用いる。 ---耐障害性を多少犠牲にしてメモリ上で処理を完結することにより高速化を実現する。 ---事前に取得された統計情報を元にメモリの使用量なども推測し、当該処理の並列化方法を決定する。 *詳細 [#i81c443d] **機能 [#r5a2186d] ***基本機能 [#cd3e6569] -[[HDFS>Hadoop#l2a0cd99]]と[[Apache HBase]]ストレージをサポート -[[Hadoop]]ファイル形式を読み込み。 -[[Apache Hive]]の --メタデータ --ODBCドライバ --SQL構文 >を使用。 ***認証機能 [#m894d088] -[[Hadoop]]セキュリティ（Kerberos認証）をサポート -Apache Sentryでのきめ細かなロールベースのアクセス制御。 **コンポーネント [#q3a43852] ***Impala クライアント [#d7ea1141] ユーザーのアプリケーションからクエリを実行する。 -JDBC / ODBCを使用できる。 -impala-shellというCUIを使用できる。 -JDBC / ODBC -impala-shell（CUI） ***Catalog Server（catalogd） [#v3887313] -Hadoopクラスタ上のDataNodeで起動される。 -ImpalaにおけるSQL処理の中核を担うデーモン ***Impala Daemon（impalad） [#gcf233a8] -Hadoopクラスタ上で１つだけ起動される。 -Impalaが使用するメタデータを管理するデーモン ***StateStore [#o37ce1cf] -Hadoopクラスタ上で１つだけ起動される。 -[[impalad>#gcf233a8]]の状態を監視するデーモン ***Hive Metastore Server（HMS） [#i1ed9cf7] Hiveのメタデータを管理するデーモン ***HDFS NameNode（NN） [#q5a460cf] HDFSが管理するブロックのメタデータを管理するデーモン ***HDFS DataNode（DN） [#d7ab973b] HDFSが管理するブロック自体を管理するデーモン *参考 [#p9ceb6bb] -Apache Impala - Wikipedia~ https://en.wikipedia.org/wiki/Apache_Impala -Impalaとは？：Hadoop上で稼動するクエリエンジン｜データ分析用語を解説 - GiXo Ltd.~ https://www.gixo.jp/blog/12489/ -ImpalaとHiveの戦略について | by Sho Shimauchi | Cloudera Japan Official Blog~ https://blog.cloudera.co.jp/impala%E3%81%A8hive%E3%81%AE%E6%88%A6%E7%95%A5%E3%81%AB%E3%81%A4%E3%81%84%E3%81%A6-c08913d991a0 **gihyo.jp … 技術評論社 [#ib9c9b50] Hadoopはどのように動くのか~ ─並列・分散システム技術から読み解くHadoop処理系の設計と実装 -Impalaの設計と実装 --第17回［1］~ https://gihyo.jp/admin/serial/01/how_hadoop_works/0017 --第18回［2］~ https://gihyo.jp/admin/serial/01/how_hadoop_works/0018 --第19回［3］~ https://gihyo.jp/admin/serial/01/how_hadoop_works/0019
