Spark SQL のバックアップ(No.1) - .NET 開発基盤部会 Wiki

[ トップ ] [ 新規 | 一覧 | 単語検索 | 最終更新 | ヘルプ ]

「.NET 開発基盤部会 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

戻る

目次 †

目次
概要
詳細
参考

概要 †

SQLによる構造化データの処理

SQLで記述できる分散処理フレームワーク
- バックエンドでSparkが動作する
- Spark Coreより上位のコンポーネント
- 先行するApache Hiveと互換性を保ちながら発展中
- Apache Hiveで培われた SQLによる分散処理を利用
- 強く型付けされたデータセットも完全にサポート

提供
- DataFrames?と言う構造化データ
  - テーブルのようなデータ構造をもった分散処理用データセット
  - テーブル構造なのでSQLライクにデータを操作できる。
  - RDDではなくDataFrame?が主流になって行く。

ドメイン固有言語（DSL） > SQL言語
- CLI、JDBC / ODBCサポートを実装している。
- Scala、Java、PythonからDataFrames?を操作できる。

記法
LINQの
- 「クエリ構文」的記法
- 「メソッド構文」的記法

がある。

詳細 †

参考 †