「[[.NET 開発基盤部会 Wiki>http://dotnetdevelopmentinfrastructure.osscons.jp]]」は、「[[Open棟梁Project>https://github.com/OpenTouryoProject/]]」,「[[OSSコンソーシアム .NET開発基盤部会>https://www.osscons.jp/dotNetDevelopmentInfrastructure/]]」によって運営されています。 -[[戻る>ビッグデータ]] *目次 [#y7dd5ccf] #contents *概要 [#rf442508] EAI/ETLに関する情報をまとめる。 *EAI [#g1a18cd1] **概要 [#n7bd1ef4] -Enterprise Application Integration -イベント指向、企業合併に伴うシステム統合を目的としている。 -多様なコンピュータ・システムやビジネス・パッケージを連携させ、再構築する技術 **ツール [#zcf331f3] ***機能 [#f2ed626d] -アダプター~ 複数のシステムへのインターフェイスを提供。 -フォーマット変換機能~ 異なるシステムからのデータ形式やプロトコルの違いを判断し、変換。 -フロープロセッサ(ルーティング)~ 受け取ったデータを、内容によって自動的に各システムに振り分けて送信。 -ワークフロー(プロセス制御)~ 上記機能を組み合わせて、業務に合わせたビジネスプロセスの自動化を構築。 ***プロダクト [#vb0ba5ee] 以下が有名なプロダクト。 -DataSpider -Informatica -[[ASTERIA>https://techinfoofmicrosofttech.osscons.jp/index.php?%E3%83%87%E3%83%BC%E3%82%BF%E9%80%A3%E6%90%BA#i8e8e820]] *ETL [#eed58b6f] **概要 [#j27bc857] -Extract / Transform / Load -バッチ指向、データの集約を目的としている。 -複数のシステムに含まれているデータを抽出し、変換と加工を行ったうえで~ データの集積を行うデータウェアハウスへ渡す処理、またはソフトのことを表す。 **ツール [#la90f510] ***機能 [#g1e249f2] -GUIベースのノンプログラミング開発環境 -様々なデータストアからのデータ抽出機能 -様々なネットワーク・プロトコル対応 --HTTP(S) ---SOAP ---REST --FTP(SFTP) --LDAP -様々なファイル形式の入出力に対応 --Excel ---CSV ---TSV --XML ---HTML ---XBRL --JSON --ZIP ---GZIP --Base64 -様々なOLAPソフトウェアとのデータ連携機能 ***プロダクト [#jb77657a] -画面からデータフローを定義できるプロダクトってどんなのがあるの?~ https://qiita.com/kimutansk/items/df9c601d2d21c20c79f7 --サーバー・クラスタ ---[[Apache NiFi]] --ローカル・マシン ---[[MiNiFi]] ---[[Node-RED]] --[[Elasticsearch]] ---[[Logsatsh>Elasticsearch#h0b258a7]] ---[[Beats>Elasticsearch#h15c1264]] --詳細不明 ---Apache Apex ---Cask Hydrator *EDI [#q78714a0] ちょっとシニアな項目移送おじさんレベルな感じ(業務寄りの意)。 **概要 [#c7cba578] -電子データ交換(EDI、Electronic Data Interchange) -標準化された規約(プロトコル)にもとづいて電子化された~ ビジネス文書(注文書や請求書など)を通信回線を通してやり取りすること。 -とりわけ、企業間の取引を行うこと~ (初期には企業間における受発注の電子データ交換を意味したため)。 **規格 [#xf5b61e5] -データ交換において使われるデータの構文には、~ 国・地域や業界によっていくつかの規格がある。 -ただし独自フォーマットが使われることも少なくない。 ***経済産業省による定義 [#f531ef7c] 異なる組織間で、取引のためのメッセージを、通信回線を介して~ 標準的な規約を用いて、コンピュータ間で交換すること。 -レベル1:情報伝達規約~ OSI階層のような通信方法の取り決め。 -レベル2:情報表現規約~ 双方のコンピュータがデータを理解できるように~ するためのデータ構造やデータ項目の取り決め。 -レベル3:業務運用規約~ 業務やシステムの運用の取り決め。 -レベル4:取引基本規約~ 法的有効性を確保する契約書 ***中小企業共通EDI標準 [#n5e08871] -国際標準であるCEFACTに準拠 -業種を横断し、大企業と中小企業とをつなぐため~ 中小企業庁が主導して、実証し、普及が始まっている。 -商流EDIと金融EDIとの連携が検討されているが、~ 47全銀システムの更新を機に、大きな動きとなっている。 --商流EDI~ 受発注の企業間の取引で使用している前述のEDI --金融EDI~ 金融機関と接続し、自動記帳、自動仕訳、~ さらには、売掛金の自動消込など行う。 **EDI化の現状 [#y5caf1e2] ***受注企業の問題 [#mb573018] -発注元システムにログインが必要 -発注元システムの画面がバラバラ -データ・フォーマットがバラバラ -発注企業毎に利用料を払うケースがある -受注専用で発注に使えない。 ***発注企業の問題 [#sedda506] -大手発注企業は専用線EDI、WEB-EDI、FAX注文など多様な発注方式を併存 -発注企業第3層取引ではFAX, 紙帳票の取引が継続 -発注企業第2層取引では独自WEB-EDIでバラバラに接続 -発注企業第1層取引では業界EDIが相互に繋がらない ***中小企業間取引の問題 [#k46a7757] -中小の受注企業は安価で誰とでも繋がるFAXを選択する。 -中小企業間B2B取引はFAX利用が全面的に継続したままとなっている。 **EAI/ETLとの関連 [#x58d203e] -業務色が強く、ツールと言うより、業務システムやパッケージの扱い。 -従って、EAI/ETLツールを使用して、EDIを構築という話はあるもよう。 *参考 [#w5940c14] **EAI [#x7a55657] **ETL [#e8dfde02] -ETLツール・ソフト比較8選! ETLとは・フリー・EAIなども解説 - BIツール | ボクシルマガジン~ https://boxil.jp/mag/a2392/ -【SEが教える】どこよりも詳しいETLの全知識とおすすめ製品~ http://it-koala.com/etl-1220 **EDI [#ud99e95b] -生産管理システム24個を徹底比較~ メリット・導入に失敗しない方法とは~ https://boxil.jp/mag/a2419/ -EDI化の現状 | 共通EDIとは | つなぐIT:企業間商取引(中小企業共通EDI)~ https://tsunagu-it.com/trade/about_edi/situation/ **Wikipedia [#j5ba4023] -Enterprise application integration~ https://ja.wikipedia.org/wiki/Enterprise_application_integration -Extract/Transform/Load~ https://ja.wikipedia.org/wiki/Extract/Transform/Load -電子データ交換 - Wikipedia~ https://ja.wikipedia.org/wiki/%E9%9B%BB%E5%AD%90%E3%83%87%E3%83%BC%E3%82%BF%E4%BA%A4%E6%8F%9B **アシスト [#b9516bb1] -EAIを学ぶ~ https://www.ashisuto.co.jp/eai_blog/eai/ -ETLを学ぶ~ https://www.ashisuto.co.jp/eai_blog/etl/ -EAIとETL、その違いってそもそもなんでしょう?~ https://www.ashisuto.co.jp/eai_blog/article/201802_eaietl_difference.html -EAI/ETLツールの比較、選定ポイントをまとめました~ https://www.ashisuto.co.jp/eai_blog/article/eai_etl_evaluation.html **ITトレンド [#e8053180] -ETLに関連する記事の一覧~ https://it-trend.jp/etl/article --ETLツールの基本的な機能とは~ https://it-trend.jp/etl/article/function -EAIに関連する記事の一覧~ https://it-trend.jp/eai/article --EAIの機能と導入のメリット~ https://it-trend.jp/eai/article/merit