「.NET 開発基盤部会 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。
目次 †
概要 †
トレジャーデータが開発するオープンソースのデータ収集ツール
詳細 †
Fluentd †
- Webサーバのアクセスログやセンサーデータなどのリアルタイムに生成されるデータに対応
- 特徴
- スキーマレス
- データ入出力加工がプラグインで実装可能
- バッファリング機構による信頼性の高いログ転送
Embulk †
- Fluentdのバッチ版のようなツール
- RDBや外部サービスから定期的に数GB生成されるようなデータに対応
- 入力、出力、データ加工などのプラグインを書くことができる。
参考 †
- これなら使える!ビッグデータ分析基盤のエコシステム|gihyo.jp … 技術評論社