Apache NiFi - RDBMS系のProcessor のバックアップ(No.3) - .NET 開発基盤部会 Wiki

[ トップ ] [ 新規 | 一覧 | 単語検索 | 最終更新 | ヘルプ ]

バックアップ一覧
差分を表示
現在との差分を表示
ソースを表示
Apache NiFi - RDBMS系のProcessor へ行く。
- 1 (2018-07-11 (水) 12:42:53)
- 2 (2018-07-11 (水) 12:46:00)
- 3 (2018-07-11 (水) 17:46:55)

「.NET 開発基盤部会 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

戻る

目次 †

目次
概要
詳細
- 参照系
- 更新系
- SQL生成
- Avro
- その他
参考
- Hortonworks

概要 †

Apache NiFi?のRDBMS系のProcessor

詳細 †

参照系 †

ExecuteSQL
QueryDatabaseTable?

※ パラメタライズするには、

NiFi? Expression Language（EL）

若しくは、sql.args.N.value, sql.args.N.type

を使用するが、SQL Injection対策には後者が必要。
だた、後者は難しいので、ConvertJSONToSQLを使用して、属性やSQLを確認すると良い。

更新系 †

PutSQL
- 参照以外の更新系SQLを実行する。
- ConvertJSONToSQLと組合せて利用可能。

SQL生成 †

ConvertJSONToSQL

JSONとTable間のアダプタのようなもの。

ContentにはSQLを設定する。

DELETE FROM Shippers WHERE ShipperID = ? AND CompanyName = ? AND Phone = ?

Attributeにはパラメタを設定する。

{
  "sql.table":"Shippers",
  "sql.args.1.value":"1",
  "sql.args.1.type":"4",
  "sql.args.2.type":"-9",
  "sql.args.2.value":"hoge",
  "sql.args.3.type":"-9",
  "sql.args.3.value":"hogehoge"
}

Avro †

レコードの値のデータ・スキーマを定義する。
ExecuteSQLの結果は、Avro形式で入力される。

SplitAvro?
ConvertAvroToJSON
ConvertAvroToORC

ConvertCSVToAvro?
ConvertJSONToAvro?

ExtractAvroMetadata?
InferAvroSchema?
ConvertAvroSchema?

その他 †

ListDatabaseTables?
CaptureChangeMySQL

参考 †

Apache NiFi?でSQLを投げてみる
https://qiita.com/grachro/items/2933606bf5c276a87572

Apache nifi ローカルファイル_to_Database - すだちっこのOrdinary Days
http://kashigeru.hatenablog.com/entry/2016/12/22/162319

How to create DBCPConnectionPool? in Syncfusion Data Integration Platform | Big Data Platform | Syncfusion
https://www.syncfusion.com/kb/7678/how-to-create-dbcpconnectionpool-in-syncfusion-data-integration-platform

Hortonworks †

NiFi? Processor to Dynamically Create SQL Query From FlowFile? or JSon
https://community.hortonworks.com/questions/110791/nifi-processor-to-dynamically-create-sql-query-fro.html

NiFi? example template to execute SQL from JSON.
https://gist.github.com/ijokarumawak/6d2bbfe48809e036008153f15113ab80
SQLFromJSON.xml

Nifi ExecuteSQL prepared statements to prevent SQL Injection?
https://community.hortonworks.com/questions/138649/nifi-executesql-prepared-statements-to-prevent-sql.html

Data Inject To Database Through Ni-Fi
https://community.hortonworks.com/idea/118504/data-inject-to-database-through-ni-fi.html