RCFile

「.NET 開発基盤部会 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

• 戻る
  • Hadoop
  • 列（カラム）指向型

目次 †

概要 †

• Record Columnar File の略
• Apache Hiveから利用できる
• 列指向のストレージフォーマット
• 分散ストレージ上でパフォーマンスがでるように設計されている．

詳細 †

• 複数の Record をまとめて固定長の row group として扱い，かつそれを列毎に並び替える．
• ブロックが複数計算機に分割配置されることを抑え
  • 圧縮を効きやすくする．
  • オブジェクトのデシリアライズ・解凍を lazy に行うことができる．

ORCFile †

RCFile の苦手な操作を克服するためにメタデータを追加したファイルフォーマット

参考 †

• RCFile - Wikipedia
  https://en.wikipedia.org/wiki/RCFile

• /var/log/oza.log: RCFile，Parquet，ORCFile
  http://ozalog.blogspot.com/2013/03/rcfileparquetorcfile.html