ビジネス インテリジェンス（BI）
をテンプレートにして作成
[
トップ
] [
新規
|
一覧
|
単語検索
|
最終更新
|
ヘルプ
]
開始行:
「[[.NET 開発基盤部会 Wiki>http://dotnetdevelopmentinfras...
-[[戻る>BI / AI]]
--ビジネス インテリジェンス（BI）
--[[人工知能（AI）]]
*目次 [#t801890c]
#contents
*概要 [#v4f56464]
経営・会計・情報処理などの用語で、
**目的 [#xb4ae1d9]
-ビジネス上の意思決定の支援
-企業などの組織のデータを、収集・蓄積・分析・報告すること...
経営判断上の過去・現在・未来予測などの視点を提供し意思決...
**機能 [#l7c91a06]
***データ分析 [#oc80b210]
-[[データディスカバリ>#e82a6237]]等、~
単純なグラフなどの記述統計的な可視化
-回帰分析や最小二乗法など推論統計的な推論
***[[オンライン分析処理（OLAP）>#w08ddd0e]] [#d92f2044]
***[[データマイニング（DM）>#ffd92f5f]] [#fa6b9f78]
-データマイニング
-テキストマイニング
-イメージマイニング
-プロセスマイニング
***その他 [#ra2c861f]
-複合イベント処理
-ビジネス業績管理(BPM)
-ベンチマーキング
-予測分析
-規範分析
*用語 [#c51e327c]
[[ビッグデータ]]の流れで遡って...。
-ストアに関連した用語~
→ [[データレイク>#w2d56f91]]~
→ （[[データクレンジング>#e0fa2951]]）~
→ [[データウェアハウス（DWH）>#f38a28c0]]~
→（[[特定データ切出>#y4a5e5fc]]）~
→ [[データマート>#la758647]]
-分析に関連した用語
--[[オンライン分析処理（OLAP）>#w08ddd0e]]
--[[データディスカバリ>#e82a6237]]
--[[データマイニング（DM）>#ffd92f5f]]
**ストアに関連した用語 [#r2688335]
***データレイク [#w2d56f91]
データレイク は構造化/非構造化データやバイナリ等の~
ファイル含めたローデータを一元的に格納するデータリポジト...
（雑に言うと、雑にデータを放り込んでおく入れ物。
-特徴
--⾮常に安価で、優れた耐久性をもつ。~
“10 nines”の耐久性。安価。無限のスケーラビリティ。
--多様な形式の⽣データを蓄積可能。~
動画, ⾳声, テキスト, 構造化データ, ⾮構造化データ
--オープンで標準のフォーマット。~
Parquetフォーマット, 多種多様なツールが対応可能な形式
-課題
--データ処理・扱いに関する課題~
---データを追加することが難しい。~
新しいデータを追加すると正しくない読み取りが⾏われる。
---既存データの変更が難しい。~
GDPRなどの規制対応で既存データの細かな変更が必要。
---ジョブエラー時の対応が難しい。~
半分のデータがデータレイクに追加され、残りが消えてしまう。
--⼀貫性・データ管理に関する課題
---リアルタイム連携が難しい。~
ストリーミングとバッチデータを混合すると⼀貫性が保てなく...
---データ履歴の管理が難しい。~
規制対象システムの場合、再現性、監査、ガバナンスが必要。
---巨⼤メタデータの扱いが難しい。~
⼤規模なデータレイクではメタデータ⾃体が⼤量で管理が難し...
--処理性能・データ品質に関する課題
---“膨⼤なファイル”の扱いが難しい。~
データレイクは数百万の⼩さなファイルの処理には適していな...
---最⾼の処理性能担保が難しい。~
性能改善のためにデータをパーティション化することなど変更...
---データ品質の担保が難しい。~
全てのデータが正確で⾼品質であることを保証することは、常...
***（データ・クレンジング） [#e0fa2951]
-[[データレイク>#w2d56f91]]から抽出したデータを[[DWH>#f38...
整合されたデータ属性やコード体系などに合うように変換及び...
-従来は、[[EAI/ETL]]で行っていた。
-昨今の[[ビッグデータ]]のコンテキストでは、~
[[分散処理のプロダクト>分散処理#yc726057]]が使用される傾...
***データウェアハウス（DWH） [#f38a28c0]
[[（データ・クレンジング）>#e0fa2951]]により処理された~
[[データレイク>#w2d56f91]]より、より洗練されたデータを格...
-従来のデータウェアハウス（DWH）は、
--業務データを長期的に蓄積し管理したもの。
--基幹系システムとは別に構築され、経営的意思決定のための~
ビジネス インテリジェンス（BI）や[[データマイニング>#ffd9...
-しかし、以下のサポートに課題がある。
--動画、⾳声、テキスト
--オープンなフォーマットでの格納
--[[ストリーミング処理>分散処理：ストリーム系]]
--機械学習、深層学習
-昨今のビッグデータのコンテキストで、対応が可能になってき...
***（特定データ切出） [#y4a5e5fc]
-[[DWH>#f38a28c0]]中の特定データを[[データマート>#la75864...
-従来は、[[EAI/ETL]]で行っていた。
-しかし、昨今の[[ビッグデータ]]のコンテキストでは、~
[[分散処理のプロダクト>分散処理#yc726057]]が使用される傾...
***データマート [#la758647]
-[[DWH>#f38a28c0]]に保存されたデータの中から、~
特定の部門やユーザの使用目的に応じて特定のデータを切り出...
別のデータベースに整理したもの。
-従来のデータマートは、[[多次元データベース>#hd76f1af]]と...
-しかし、昨今の[[ビッグデータ]]のコンテキストでは、[[デー...
-- 分析超並列処理（MPP）データベース
--インメモリ・データベース
>などが利用されるようになってきている。
***多次元データベース [#hd76f1af]
-データ分析に特化したデータベースで、[[OLAP>#u527f8b9]]の...
-RDBのデータ構造でも構築可能だが（ROLAP）、~
RDBより分析性能の良い独自のデータ構造もある（MOLAP）。
-多次元データベースは、多次元モデルのスター・スキーマ構造...
--データ自体を蓄積するファクト・テーブル（非正規化する）
--分析軸を設定するディメンション・テーブル（高速化のため...
--このようにして作成された多次元データを、[[OLAP>#u527f8b...
-多次元データを分析する。
--Multidimensional Expressions (MDX)でクエリを行う。
--クエリの結果セットのカラムは、以下の様に分類される。
---ディメンジョン：グループを表示する列
---メジャー：集計値を表示する列
***[[レイクハウス>https://techinfoofmicrosofttech.osscons...
-分散処理基盤の発達に伴い誕生
-[[データレイク>#w2d56f91]]と[[データウェアハウス（DWH）>...
-オンデマンドで、[[データレイク>#w2d56f91]]上のデータを[[...
**分析に関連した用語 [#v26ce9a5]
***データディスカバリ [#e82a6237]
-[[DWH>#f38a28c0]]や[[データマート>#la758647]]と組み合わ...
-対話的にデータを可視化することで価値ある情報を見つけよう...
***オンライン分析処理（OLAP） [#w08ddd0e]
エンドユーザが[[多次元データベース>#hd76f1af]]等の[[デー...
問題発見・解決するための、分析を主とした利用形態
→ [[詳細>#u527f8b9]]
***データマイニング（DM） [#ffd92f5f]
-明示されておらず今まで知られていなかったが、~
役立つ可能性があり、かつ、自明でない情報を、~
[[DWH>#f38a28c0]]や[[データマート>#la758647]]のデータから...
-通常は想像が及びにくい、ヒューリスティクな~
知識獲得が可能であるという期待を含意している。
→ [[詳細>#e41307d0]]
*詳細 [#f26bfbc3]
**BIツール（可視化 [#j255e469]
***概要 [#bce29d46]
-[[データマート>#la758647]]のデータの[[可視化>データ分析#...
-古くは、[[OLAP用>#u527f8b9]]の[[多次元データベース>#hd76...
最近は、それ以外のデータベースが利用されるようになってき...
--MPPデータベース
--インメモリ・データベース
-[[データディスカバリ>#e82a6237]]を行う色々な利用形態
--[[アドホック分析>データ解析#l43753a6]]用のツール
--[[ダッシュボード>データ解析#xdaf8a56]]・ツール
--[[モニタリング>データ解析#e02e4838]]・ツール
***分析方法 [#u1c4f372]
1つのデータを多角的に分析する
-全体を俯瞰
-KPIを一覧
-対話的に条件を変更
***プロダクト [#u6f83f4e]
-Tableau
-QlikView
-[[Power BI>https://techinfoofmicrosofttech.osscons.jp/in...
-SAS Visual Analytics
-MotionBoard（国産）
**オンライン分析処理（OLAP） [#u527f8b9]
-OLAP(Online Analytical Processing)
-RDBの生みの親でもある E.F.Codd 博士が生み出した言葉~
「RDB は、基幹系処理（≒OLTP）を行うために理論化されたもの...
と言って、分析処理に関する「OLAP」を提唱したのが語源 ... ...
***ディメンションとメジャー [#x8c07960]
-データセットの中に存在する属性か、計算した結果取得した派...
-データセットをそれぞれディメンションもしくはメジャーとい...
-これらを組み合わせて使用してデータ集計することで、様々な...
-ディメンション~
データをグループ化、分離、フィルタリングする、分析の切り...
--データ分析を行う際には、様々な切り口でデータを分割する。
--ディメンションの例として、都道府県別、月別、商品カテゴ...
--主に属性を使用するが、年代別などの数値範囲を使用するこ...
-メジャー~
分析の対象とする測定可能な数値属性（単純にディメンション...
--「商品カテゴリ」ディメンションの場合、
---「売上金額」を集計した「商品カテゴリ別売上金額」。
---「決済数」を集計した「商品カテゴリ別決済数」。
---「購買点数」を集計した「商品カテゴリ別購買点数」。
--主に数値を使用するが、過去データと比較した上昇・維持・...
***解析手法 [#p8a008cb]
-[[クロス集計分析]]
-また、得られた二次元表をEXCELなどの表計算ソフトに取り込...
表計算ソフトの機能を利用して、様々な分析を行うことができ...
***機能の例（SQL Server [#fd192c94]
リレーショナル データベースなどの外部データ ソースから、~
集計したデータを含む多次元構造を設計、作成、および管理で...
**データ マイニング（DM） [#e41307d0]
***基礎 [#ge614fe5]
-[[統計学>統計解析]]、[[人工知能等>人工知能（AI）]]の技法...
--[[統計学>統計解析]]：
---データの特徴
---説明変数で分類
---目的変数と説明変数の関係（集約、予測）
--[[人工知能等>人工知能（AI）]]
---エンリッチメント
---...
-X マイニング
--[[テキスト マイニング>言語処理（AI）#ec90b2d0]]~
---テキストデータから知識を取り出す
---その中でもウェブページを対象にしたものをウェブ マイニ...
--イメージ マイニング~
大量の画像データから知識を取り出す手法
--プロセス マイニング~
大量のプロセスのデータから知識を取り出す手法
-参考：[[機械学習 - 教師なし学習>機械学習（machine learni...
***解析手法 [#jbd1c0de]
-[[データ分析 > 分析の目的と手法>データ分析#k6ccf8ee]]
-[[データマイニング（DM）- CRISP-DM]]
-[[データマイニング（DM）- DataSet]]
***プロダクト [#a6010f57]
-[[データマイニング（DM）- Excel]]
-[[データマイニング（DM）- KNIME]]
-[[データマイニング（DM）- Python]]
-[[データマイニング（DM）- Python - DL]]
*参考 [#t82e8d1b]
終了行:
「[[.NET 開発基盤部会 Wiki>http://dotnetdevelopmentinfras...
-[[戻る>BI / AI]]
--ビジネス インテリジェンス（BI）
--[[人工知能（AI）]]
*目次 [#t801890c]
#contents
*概要 [#v4f56464]
経営・会計・情報処理などの用語で、
**目的 [#xb4ae1d9]
-ビジネス上の意思決定の支援
-企業などの組織のデータを、収集・蓄積・分析・報告すること...
経営判断上の過去・現在・未来予測などの視点を提供し意思決...
**機能 [#l7c91a06]
***データ分析 [#oc80b210]
-[[データディスカバリ>#e82a6237]]等、~
単純なグラフなどの記述統計的な可視化
-回帰分析や最小二乗法など推論統計的な推論
***[[オンライン分析処理（OLAP）>#w08ddd0e]] [#d92f2044]
***[[データマイニング（DM）>#ffd92f5f]] [#fa6b9f78]
-データマイニング
-テキストマイニング
-イメージマイニング
-プロセスマイニング
***その他 [#ra2c861f]
-複合イベント処理
-ビジネス業績管理(BPM)
-ベンチマーキング
-予測分析
-規範分析
*用語 [#c51e327c]
[[ビッグデータ]]の流れで遡って...。
-ストアに関連した用語~
→ [[データレイク>#w2d56f91]]~
→ （[[データクレンジング>#e0fa2951]]）~
→ [[データウェアハウス（DWH）>#f38a28c0]]~
→（[[特定データ切出>#y4a5e5fc]]）~
→ [[データマート>#la758647]]
-分析に関連した用語
--[[オンライン分析処理（OLAP）>#w08ddd0e]]
--[[データディスカバリ>#e82a6237]]
--[[データマイニング（DM）>#ffd92f5f]]
**ストアに関連した用語 [#r2688335]
***データレイク [#w2d56f91]
データレイク は構造化/非構造化データやバイナリ等の~
ファイル含めたローデータを一元的に格納するデータリポジト...
（雑に言うと、雑にデータを放り込んでおく入れ物。
-特徴
--⾮常に安価で、優れた耐久性をもつ。~
“10 nines”の耐久性。安価。無限のスケーラビリティ。
--多様な形式の⽣データを蓄積可能。~
動画, ⾳声, テキスト, 構造化データ, ⾮構造化データ
--オープンで標準のフォーマット。~
Parquetフォーマット, 多種多様なツールが対応可能な形式
-課題
--データ処理・扱いに関する課題~
---データを追加することが難しい。~
新しいデータを追加すると正しくない読み取りが⾏われる。
---既存データの変更が難しい。~
GDPRなどの規制対応で既存データの細かな変更が必要。
---ジョブエラー時の対応が難しい。~
半分のデータがデータレイクに追加され、残りが消えてしまう。
--⼀貫性・データ管理に関する課題
---リアルタイム連携が難しい。~
ストリーミングとバッチデータを混合すると⼀貫性が保てなく...
---データ履歴の管理が難しい。~
規制対象システムの場合、再現性、監査、ガバナンスが必要。
---巨⼤メタデータの扱いが難しい。~
⼤規模なデータレイクではメタデータ⾃体が⼤量で管理が難し...
--処理性能・データ品質に関する課題
---“膨⼤なファイル”の扱いが難しい。~
データレイクは数百万の⼩さなファイルの処理には適していな...
---最⾼の処理性能担保が難しい。~
性能改善のためにデータをパーティション化することなど変更...
---データ品質の担保が難しい。~
全てのデータが正確で⾼品質であることを保証することは、常...
***（データ・クレンジング） [#e0fa2951]
-[[データレイク>#w2d56f91]]から抽出したデータを[[DWH>#f38...
整合されたデータ属性やコード体系などに合うように変換及び...
-従来は、[[EAI/ETL]]で行っていた。
-昨今の[[ビッグデータ]]のコンテキストでは、~
[[分散処理のプロダクト>分散処理#yc726057]]が使用される傾...
***データウェアハウス（DWH） [#f38a28c0]
[[（データ・クレンジング）>#e0fa2951]]により処理された~
[[データレイク>#w2d56f91]]より、より洗練されたデータを格...
-従来のデータウェアハウス（DWH）は、
--業務データを長期的に蓄積し管理したもの。
--基幹系システムとは別に構築され、経営的意思決定のための~
ビジネス インテリジェンス（BI）や[[データマイニング>#ffd9...
-しかし、以下のサポートに課題がある。
--動画、⾳声、テキスト
--オープンなフォーマットでの格納
--[[ストリーミング処理>分散処理：ストリーム系]]
--機械学習、深層学習
-昨今のビッグデータのコンテキストで、対応が可能になってき...
***（特定データ切出） [#y4a5e5fc]
-[[DWH>#f38a28c0]]中の特定データを[[データマート>#la75864...
-従来は、[[EAI/ETL]]で行っていた。
-しかし、昨今の[[ビッグデータ]]のコンテキストでは、~
[[分散処理のプロダクト>分散処理#yc726057]]が使用される傾...
***データマート [#la758647]
-[[DWH>#f38a28c0]]に保存されたデータの中から、~
特定の部門やユーザの使用目的に応じて特定のデータを切り出...
別のデータベースに整理したもの。
-従来のデータマートは、[[多次元データベース>#hd76f1af]]と...
-しかし、昨今の[[ビッグデータ]]のコンテキストでは、[[デー...
-- 分析超並列処理（MPP）データベース
--インメモリ・データベース
>などが利用されるようになってきている。
***多次元データベース [#hd76f1af]
-データ分析に特化したデータベースで、[[OLAP>#u527f8b9]]の...
-RDBのデータ構造でも構築可能だが（ROLAP）、~
RDBより分析性能の良い独自のデータ構造もある（MOLAP）。
-多次元データベースは、多次元モデルのスター・スキーマ構造...
--データ自体を蓄積するファクト・テーブル（非正規化する）
--分析軸を設定するディメンション・テーブル（高速化のため...
--このようにして作成された多次元データを、[[OLAP>#u527f8b...
-多次元データを分析する。
--Multidimensional Expressions (MDX)でクエリを行う。
--クエリの結果セットのカラムは、以下の様に分類される。
---ディメンジョン：グループを表示する列
---メジャー：集計値を表示する列
***[[レイクハウス>https://techinfoofmicrosofttech.osscons...
-分散処理基盤の発達に伴い誕生
-[[データレイク>#w2d56f91]]と[[データウェアハウス（DWH）>...
-オンデマンドで、[[データレイク>#w2d56f91]]上のデータを[[...
**分析に関連した用語 [#v26ce9a5]
***データディスカバリ [#e82a6237]
-[[DWH>#f38a28c0]]や[[データマート>#la758647]]と組み合わ...
-対話的にデータを可視化することで価値ある情報を見つけよう...
***オンライン分析処理（OLAP） [#w08ddd0e]
エンドユーザが[[多次元データベース>#hd76f1af]]等の[[デー...
問題発見・解決するための、分析を主とした利用形態
→ [[詳細>#u527f8b9]]
***データマイニング（DM） [#ffd92f5f]
-明示されておらず今まで知られていなかったが、~
役立つ可能性があり、かつ、自明でない情報を、~
[[DWH>#f38a28c0]]や[[データマート>#la758647]]のデータから...
-通常は想像が及びにくい、ヒューリスティクな~
知識獲得が可能であるという期待を含意している。
→ [[詳細>#e41307d0]]
*詳細 [#f26bfbc3]
**BIツール（可視化 [#j255e469]
***概要 [#bce29d46]
-[[データマート>#la758647]]のデータの[[可視化>データ分析#...
-古くは、[[OLAP用>#u527f8b9]]の[[多次元データベース>#hd76...
最近は、それ以外のデータベースが利用されるようになってき...
--MPPデータベース
--インメモリ・データベース
-[[データディスカバリ>#e82a6237]]を行う色々な利用形態
--[[アドホック分析>データ解析#l43753a6]]用のツール
--[[ダッシュボード>データ解析#xdaf8a56]]・ツール
--[[モニタリング>データ解析#e02e4838]]・ツール
***分析方法 [#u1c4f372]
1つのデータを多角的に分析する
-全体を俯瞰
-KPIを一覧
-対話的に条件を変更
***プロダクト [#u6f83f4e]
-Tableau
-QlikView
-[[Power BI>https://techinfoofmicrosofttech.osscons.jp/in...
-SAS Visual Analytics
-MotionBoard（国産）
**オンライン分析処理（OLAP） [#u527f8b9]
-OLAP(Online Analytical Processing)
-RDBの生みの親でもある E.F.Codd 博士が生み出した言葉~
「RDB は、基幹系処理（≒OLTP）を行うために理論化されたもの...
と言って、分析処理に関する「OLAP」を提唱したのが語源 ... ...
***ディメンションとメジャー [#x8c07960]
-データセットの中に存在する属性か、計算した結果取得した派...
-データセットをそれぞれディメンションもしくはメジャーとい...
-これらを組み合わせて使用してデータ集計することで、様々な...
-ディメンション~
データをグループ化、分離、フィルタリングする、分析の切り...
--データ分析を行う際には、様々な切り口でデータを分割する。
--ディメンションの例として、都道府県別、月別、商品カテゴ...
--主に属性を使用するが、年代別などの数値範囲を使用するこ...
-メジャー~
分析の対象とする測定可能な数値属性（単純にディメンション...
--「商品カテゴリ」ディメンションの場合、
---「売上金額」を集計した「商品カテゴリ別売上金額」。
---「決済数」を集計した「商品カテゴリ別決済数」。
---「購買点数」を集計した「商品カテゴリ別購買点数」。
--主に数値を使用するが、過去データと比較した上昇・維持・...
***解析手法 [#p8a008cb]
-[[クロス集計分析]]
-また、得られた二次元表をEXCELなどの表計算ソフトに取り込...
表計算ソフトの機能を利用して、様々な分析を行うことができ...
***機能の例（SQL Server [#fd192c94]
リレーショナル データベースなどの外部データ ソースから、~
集計したデータを含む多次元構造を設計、作成、および管理で...
**データ マイニング（DM） [#e41307d0]
***基礎 [#ge614fe5]
-[[統計学>統計解析]]、[[人工知能等>人工知能（AI）]]の技法...
--[[統計学>統計解析]]：
---データの特徴
---説明変数で分類
---目的変数と説明変数の関係（集約、予測）
--[[人工知能等>人工知能（AI）]]
---エンリッチメント
---...
-X マイニング
--[[テキスト マイニング>言語処理（AI）#ec90b2d0]]~
---テキストデータから知識を取り出す
---その中でもウェブページを対象にしたものをウェブ マイニ...
--イメージ マイニング~
大量の画像データから知識を取り出す手法
--プロセス マイニング~
大量のプロセスのデータから知識を取り出す手法
-参考：[[機械学習 - 教師なし学習>機械学習（machine learni...
***解析手法 [#jbd1c0de]
-[[データ分析 > 分析の目的と手法>データ分析#k6ccf8ee]]
-[[データマイニング（DM）- CRISP-DM]]
-[[データマイニング（DM）- DataSet]]
***プロダクト [#a6010f57]
-[[データマイニング（DM）- Excel]]
-[[データマイニング（DM）- KNIME]]
-[[データマイニング（DM）- Python]]
-[[データマイニング（DM）- Python - DL]]
*参考 [#t82e8d1b]
ページ名:
![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
