Apache NiFi - RDBMS系のProcessor
をテンプレートにして作成
[
トップ
] [
新規
|
一覧
|
単語検索
|
最終更新
|
ヘルプ
]
開始行:
「[[.NET 開発基盤部会 Wiki>http://dotnetdevelopmentinfras...
-[[戻る>Apache NiFi - Processor]]
*目次 [#t6df51c0]
#contents
*概要 [#n97a3943]
Apache NiFiのRDBMS系のProcessor
*詳細 [#f01f8b62]
**参照系 [#z1b238a5]
-ExecuteSQL
-QueryDatabaseTable
**更新系 [#e88d7ec2]
-PutSQL~
参照以外の更新系SQLを実行する。
**パラメタライズ [#hcfbb4b4]
パラメタライズするには、
-NiFi Expression Language（EL）
-若しくは、sql.args.N.value, sql.args.N.type
を使用するが、SQL Injection対策には後者が必要。~
だた、後者は難しいので、[[ConvertJSONToSQL>#sff9e16d]]を...
**SQL生成 [#sff9e16d]
-ConvertJSONToSQL
--JSONとTable間のアダプタのようなもの。
--ContentにはSQLを設定する。
DELETE FROM Shippers WHERE ShipperID = ? AND CompanyName...
--Attributeにはパラメタを設定する。
{
"sql.table":"Shippers",
"sql.args.1.value":"1",
"sql.args.1.type":"4",
"sql.args.2.type":"-9",
"sql.args.2.value":"hoge",
"sql.args.3.type":"-9",
"sql.args.3.value":"hogehoge"
}
**Avro [#ge5df7a5]
レコードの値のデータ・スキーマを定義する。~
[[ExecuteSQL>#z1b238a5]]の結果は、Avro形式で入力される。
-SplitAvro~
-ConvertAvroToJSON~
-ConvertAvroToORC~
-ConvertCSVToAvro~
-ConvertJSONToAvro~
-ExtractAvroMetadata~
-InferAvroSchema~
-ConvertAvroSchema~
**その他 [#wde56309]
-ListDatabaseTables~
-CaptureChangeMySQL~
*参考 [#dcf5b75e]
-Apache NiFiでSQLを投げてみる~
https://qiita.com/grachro/items/2933606bf5c276a87572
-Apache nifi ローカルファイル_to_Database - すだちっこのO...
http://kashigeru.hatenablog.com/entry/2016/12/22/162319
-How to create DBCPConnectionPool in Syncfusion Data Inte...
https://www.syncfusion.com/kb/7678/how-to-create-dbcpconn...
**Hortonworks [#q9365c03]
-NiFi Processor to Dynamically Create SQL Query From Flow...
https://community.hortonworks.com/questions/110791/nifi-p...
--NiFi example template to execute SQL from JSON.~
https://gist.github.com/ijokarumawak/6d2bbfe48809e0360081...
>&ref(SQLFromJSON.xml);
-Nifi ExecuteSQL prepared statements to prevent SQL Injec...
https://community.hortonworks.com/questions/138649/nifi-e...
-Data Inject To Database Through Ni-Fi~
https://community.hortonworks.com/idea/118504/data-inject...
終了行:
「[[.NET 開発基盤部会 Wiki>http://dotnetdevelopmentinfras...
-[[戻る>Apache NiFi - Processor]]
*目次 [#t6df51c0]
#contents
*概要 [#n97a3943]
Apache NiFiのRDBMS系のProcessor
*詳細 [#f01f8b62]
**参照系 [#z1b238a5]
-ExecuteSQL
-QueryDatabaseTable
**更新系 [#e88d7ec2]
-PutSQL~
参照以外の更新系SQLを実行する。
**パラメタライズ [#hcfbb4b4]
パラメタライズするには、
-NiFi Expression Language（EL）
-若しくは、sql.args.N.value, sql.args.N.type
を使用するが、SQL Injection対策には後者が必要。~
だた、後者は難しいので、[[ConvertJSONToSQL>#sff9e16d]]を...
**SQL生成 [#sff9e16d]
-ConvertJSONToSQL
--JSONとTable間のアダプタのようなもの。
--ContentにはSQLを設定する。
DELETE FROM Shippers WHERE ShipperID = ? AND CompanyName...
--Attributeにはパラメタを設定する。
{
"sql.table":"Shippers",
"sql.args.1.value":"1",
"sql.args.1.type":"4",
"sql.args.2.type":"-9",
"sql.args.2.value":"hoge",
"sql.args.3.type":"-9",
"sql.args.3.value":"hogehoge"
}
**Avro [#ge5df7a5]
レコードの値のデータ・スキーマを定義する。~
[[ExecuteSQL>#z1b238a5]]の結果は、Avro形式で入力される。
-SplitAvro~
-ConvertAvroToJSON~
-ConvertAvroToORC~
-ConvertCSVToAvro~
-ConvertJSONToAvro~
-ExtractAvroMetadata~
-InferAvroSchema~
-ConvertAvroSchema~
**その他 [#wde56309]
-ListDatabaseTables~
-CaptureChangeMySQL~
*参考 [#dcf5b75e]
-Apache NiFiでSQLを投げてみる~
https://qiita.com/grachro/items/2933606bf5c276a87572
-Apache nifi ローカルファイル_to_Database - すだちっこのO...
http://kashigeru.hatenablog.com/entry/2016/12/22/162319
-How to create DBCPConnectionPool in Syncfusion Data Inte...
https://www.syncfusion.com/kb/7678/how-to-create-dbcpconn...
**Hortonworks [#q9365c03]
-NiFi Processor to Dynamically Create SQL Query From Flow...
https://community.hortonworks.com/questions/110791/nifi-p...
--NiFi example template to execute SQL from JSON.~
https://gist.github.com/ijokarumawak/6d2bbfe48809e0360081...
>&ref(SQLFromJSON.xml);
-Nifi ExecuteSQL prepared statements to prevent SQL Injec...
https://community.hortonworks.com/questions/138649/nifi-e...
-Data Inject To Database Through Ni-Fi~
https://community.hortonworks.com/idea/118504/data-inject...
ページ名:
![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
