.NET 開発基盤部会 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

目次

概要

SQLで記述できる構造化データの処理の分散処理フレームワーク

詳細

機能

提供

ドメイン固有言語 (DSL) > SQL言語

  • RDDの処理をクエリ・エンジン経由で実行プラン生成して処理。
    • 基本的にはDataFrameというオンメモリのテーブルに対し、LINQ的に処理を行うことが出来る。
    • 強く型付けされたデータセットも完全にサポート(DataFrameは型無しAPI)
  • 遅延評価
    • 実行計画は有向グラフ(DAG)として表現される。
    • エグゼキュータでDAGが生成され、
    • DAGを用いた遅延評価で、一回、処理が解析される。
    • RDDを消費するAPIが呼ばれるとジョブが作られる。
    • ドライバはエグゼキュータにジョブを転送する。

DataFrame?と言う構造化データ

  • テーブルのようなデータ構造をもった分散処理用データセット
  • 同名のRのデータ構造をモデルとした
    表形式データ(型と名前を持った列のテーブル)
  • 作業性のサポート向上を目的としている。
  • 今後は、RDDではなくDataFrame?が主流になって行く。

構文

LINQ

「クエリ構文」的記法

「メソッド構文」的記法

参考


トップ   編集 凍結 差分 バックアップ 添付 複製 名前変更 リロード   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS
Last-modified: 2020-12-14 (月) 14:15:29 (37d)