.NET 開発基盤部会 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

目次

概要

  • Javaにより書かれている。
  • Powerset社において自然言語処理を行うため、
    大規模データの処理プロジェクトとして始まった。

詳細

特徴

  • オープンソースの、列(カラム)指向型、分散データベース。HDFSを活用する。
  • ビッグデータに対してランダムなリアルタイムの読み書きアクセスを行う必要がある場合に使う。
    普通のハードウェアのクラスタ上で、数十億行 x 数百万列規模の超巨大テーブルを格納できる。

機能

  • HDFSの上でGoogleのBigTable?のような機能を提供する。
    MapReduceジョブではなくデータベース上でリアルタイムに実行される。
    • 圧縮
    • インメモリ処理
    • 各列毎にブルームフィルタ
  • 独自のメタデータリポジトリとカラム型ストレージレイアウトがある。
    • テーブルはHadoop上のMapReduceジョブの入出力として機能
    • Java APIのほか、REST、Avro、ThriftといったゲートウェイAPIを通じアクセス可能
  • クエリ
    • カスタム言語でパーサ、クエリプランナ、クエリ実行エンジンを利用できる。
    • 完全にACIDに準拠しておらず、複雑なアクセスパターン(結合など)は使用できない。
    • 近年ではパフォーマンスが向上し、データ駆動型のWebサイトでも使用されている。

参考


トップ   編集 凍結 差分 バックアップ 添付 複製 名前変更 リロード   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS
Last-modified: 2020-04-07 (火) 18:37:34 (233d)