Spark SQL のバックアップ(No.6)

「.NET 開発基盤部会 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

戻る

目次 †

目次
概要
詳細
参考

↑

概要 †

SQLで記述できる構造化データの処理の分散処理フレームワーク

↑

詳細 †

↑

機能 †

バックエンドでApache Sparkが動作する、
Spark Coreより上位のコンポーネント

Apache Hiveとの関連
- 先行するApache Hiveと互換性を保ちながら発展中
- Apache Hiveで培われた SQLによる分散処理を利用

↑

提供 †

↑

ドメイン固有言語 (DSL) > SQL言語 †

RDDの処理をクエリ・エンジン経由で実行プラン生成して処理。
- 基本的にはDataFrameというオンメモリのテーブルに対し、LINQ的に処理を行うことが出来る。
- 強く型付けされたデータセットも完全にサポート（DataFrameは型無しAPI）

サポート
- Scala、Java、PythonからDataFrameを操作できる。
- CLI、JDBC / ODBCサポートを実装している。
- 2つのLINQ的な構文

遅延評価
- 実行計画は有向グラフ（DAG）として表現される。
- エグゼキュータでDAGが生成され、
- DAGを用いた遅延評価で、一回、処理が解析される。
- RDDを消費するAPIが呼ばれるとジョブが作られる。
- ドライバはエグゼキュータにジョブを転送する。

↑

DataFrame?と言う構造化データ †

テーブルのようなデータ構造をもった分散処理用データセット

同名のRのデータ構造をモデルとした
表形式データ（型と名前を持った列のテーブル）

作業性のサポート向上を目的としている。
- フィルタ，グループ，集合演算も提供する。
- また、SQLライクにデータを操作できる。

今後は、RDDではなくDataFrame?が主流になって行く。

↑

Get started in 10 minutes †

データ

Hello World
This .NET app uses .NET for Apache Spark
This .NET app counts words with Apache Spark

コード

// Create Spark session
SparkSession spark =
  SparkSession
    .Builder()
    .AppName("word_count_sample")
    .GetOrCreate();

// Create initial DataFrame
string filePath = args[0];
DataFrame dataFrame = spark.Read().Text(filePath);

// Count words
DataFrame words =
  dataFrame
    .Select(Split(Col("value")," ").Alias("words"))
    .Select(Explode(Col("words")).Alias("word"))
    .GroupBy("word")
    .Count()
    .OrderBy(Col("count").Desc());

// Display results
words.Show();

// Stop Spark session
spark.Stop();