「.NET 開発基盤部会 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。
目次 †
概要 †
SQLで記述できる構造化データの処理の分散処理フレームワーク
詳細 †
機能 †
提供 †
ドメイン固有言語 (DSL) > SQL言語 †
- RDDの処理をクエリ・エンジン経由で実行プラン生成して処理。
- 遅延評価
- 実行計画は有向グラフ（DAG）として表現される。
- エグゼキュータでDAGが生成され、
- DAGを用いた遅延評価で、一回、処理が解析される。
- RDDを消費するAPIが呼ばれるとジョブが作られる。
- ドライバはエグゼキュータにジョブを転送する。
DataFrame?と言う構造化データ †
- テーブルのようなデータ構造をもった分散処理用データセット
- 同名のRのデータ構造をモデルとした
表形式データ（型と名前を持った列のテーブル）
- 今後は、RDDではなくDataFrame?が主流になって行く。
構文 †
LINQ的
「クエリ構文」的記法 †
「メソッド構文」的記法 †
参考 †
![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
