![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
|
「.NET 開発基盤部会 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。
目次 †概要 †データからの知識発見を行うための実装。 v1 †取り敢えず書いてみた、最初の版。  v2 †Databricksのセミナーに影響を受けた結果を反映。  DXは＝IoT, ビッグデータ（分散処理）, AIじゃねーよ。
まぁ、技術マッピング中に含まれているから良いのでは？と。 v3 †
 Path（Hot、Warm、Cold） †
認証について。 †監視 → 制御へ。 †
詳細 †データ収集（データ転送） †バルク型（bulk） †ストリーミング型（streaming） †データレイク → データマート †
データマート †データレイク †ワークフロー管理ツール †前述の、データレイク → データマートの処理をワークフロー化する。 データ集約プロセス †
可視化プロセス †
エンジニア、アナリスト †データ エンジニア †データの設計や統合、クレンジングの仕組み、カタログの整備。 データベース エンジニア †データ基盤のインフラ・アーキテクチャを設計し、安定して運用する。 データ アナリスト †データから価値ある情報を引き出す。 参考 †Qiita †
NoSQLプロダクトのタイプ †ビッグデータ界隈のシステムにおいて、
DWHとは異なる。 †DWHは、業務データを長期的に蓄積し管理したもの（なので、バッチ的アーキテクチャである）。 NoSQLはイベント駆動型である。 †NoSQLは、業務データではなく、様々なデータソースから発生するデータを対象にする。 スタック＆コラボレーション的例 †NiFi, Kafka, Storm †
Elastic Stack †Elastic Stackは、１つの完成された事例的。 Databricksのレイクハウス †Apache Sparkを使用し、
までをこなす。 |
無題3.png
無題2.png
無題.png
