Apache NiFi - Processor のバックアップ(No.12)

[ トップ ]   [ 新規 | 一覧 | 単語検索 | 最終更新 | ヘルプ ]

• バックアップ一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• Apache NiFi - Processor へ行く。
  • 1 (2018-07-09 (月) 18:57:47)
  • 2 (2018-07-09 (月) 21:47:33)
  • 3 (2018-07-10 (火) 11:00:52)
  • 4 (2018-07-10 (火) 13:55:52)
  • 5 (2018-07-10 (火) 17:46:18)
  • 6 (2018-07-10 (火) 22:31:06)
  • 7 (2018-07-11 (水) 12:40:42)
  • 8 (2018-07-11 (水) 14:03:03)
  • 9 (2018-07-11 (水) 17:52:59)
  • 10 (2018-07-13 (金) 11:17:37)
  • 11 (2018-07-13 (金) 15:18:02)
  • 12 (2018-07-24 (火) 19:31:45)

---

「.NET 開発基盤部会 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

• 戻る

目次 †

概要 †

「Processorを極めれば、NiFi?を極められそう。」
と言う事で、NiFi?のProcessorのまとめを作成してみた。

利用可能なProcessor †

色々なProcessorが用意されており、様々なシステムのデータを処理する機能を提供する。

Processorのタイプ †

以下は、Processorのタイプ。
具体的なProcessorは下記「参考」のURLを参照。

データの取込 †

Data Ingestion

接続 †

• 分岐
• 分割
• 合流
• 速度調整

変換・処理 †

• Attribute Extraction（属性の抽出・付与）
• Data Transformation（フォーマットの変換）

データの配信 †

Data Egress / Sending Data

取込・配信 †

• System Interaction（OSコマンドの実行）
• Database Access（SQLの実行）
• HTTP（HTTSクライアント or サーバの実行）
• Amazon Web Services（サービスへのI/Oの実行）

Processorの共通設定 †

Name †

Processorの名称

Terminate †

• 処理（フロー）を止めるケースを設定する。
• 後続に対応するRelationship の Connectionが無い場合チェックが必要

詳細 †

詳しい使い方については、チュートリアルも参考にできる。

頻繁に使う。 †

以下は頻繁に使う。

ファイルI/O †

• GetFile?
• PutFile?
• FetchFile?
• ListFile?
  

ログ出力 †

• LogAttribute?
• LogMessage?

• 参考
  • In Apache Ni-fi, how can I log all the flowFile 'attributes' in a text file - Hortonworks
    https://community.hortonworks.com/questions/63071/in-apache-ni-fi-how-can-i-log-all-the-flowfile-att.html

属性 †

• 抽出
  • EvaluateXPath
  • EvaluateJsonPath?
  • EvaluateXQuery
  • ExtractText?

• 更新
  • UpdateAttribute?

• 設定
  • AttributesToJSON
  • AttributesToCSV

※ 属性は、分岐やNiFi? Expression Language（EL）で使用可能。

• 参考
  • ExtractText? from file content and put it as file attributes - Hortonworks
    https://community.hortonworks.com/questions/96907/extracttext-from-file-content-and-put-it-as-file-a.html

合流 †

分岐・分割後の合流時のmergeに使用できる。

• MergeContent?
  
• MergeRecord?
  

よく使う。 †

分岐 †

• RouteText?

• RouteOnAttribute?
• RouteOnContent?

• ScanAttribute?
  
• ScanContent?
  

分割 †

• SplitText?
• SplitContent?
• SplitXML
• SplitJson?
• SplitRecord?

HTTP †

• クライアント
  • InvokeHTTP
  • GetHTTP
  • PostHTTP

• サーバー
  • HandleHttpRequest?
  • HandleHttpResponse?
  • ListenHTTP
    

• 参考
  • How to Fetch the data from an HTTPS URL in GetHTTP processor using Syncfusion Data Integration Platform | Big Data Platform | Syncfusion
    https://www.syncfusion.com/kb/7677/how-to-fetch-the-data-from-an-https-url-in-gethttp-processor-using-syncfusion-data-integration

RDBMS †

しばしば使う。 †

ControlRate? †

速度の調整。

Text †

• CountText?
  
• ReplaceText?
  
• ReplaceTextWithMapping?
  
• ConvertCharacterSet?
  

CSV †

• ConvertExcelToCSVProcessor
  
• ValidateCsv?
  

XML, JSON †

• ValidateXml?
  
• TransformXml?

• FlattenJson?
  
• JoltTransformJSON
  

圧縮・解凍 †

• CompressContent?
• UnpackContent?
• EncryptContent?
• Base64EncodeContent?

Record †

RecordReader?、RecordWriter?

• PutDatabaseRecord?
  

• QueryRecord?
  
• LookupRecord?
  
• ValidateRecord?
  
• UpdateRecord?
  
• ConvertRecord?
  

• PartitionRecord?
  
• ForkRecord?
  
• CalculateRecordStats?
  

• PutDruidRecord?
  
• PutSolrRecord?
  

Script †

• ExecuteScript
• ExecuteGroovyScript?
• InvokeScriptedProcessor?

Test †

負荷テスト、構成、およびシミュレーション

• GenerateFlowFile?
  
• DuplicateFlowFile?
  

稀に使う。 †

Command †

• Command
  ExecuteProcess?

Debug †

• DebugFlow?
  必要な応答を強制する

機能別 †

Network Protocol †

• TCP
  • GetTCP
    
  • PutTCP
    
  • ListenTCP
    
  • ListenTCPRecord
    

• UDP
  • PutUDP
    
  • ListenUDP
    
  • ListenUDPRecord
    

• FTP
  • GetFTP
    
  • ListFTP
    
  • FetchFTP
    
  • PutFTP
    

• GetSFTP
  
• ListSFTP
  
• FetchSFTP
  
• PutSFTP
  

• Mail
  • PutEmail?
    
  • ListenSMTP
    
  • ConsumeIMAP
    
  • ConsumePOP3
    
  • ExtractEmailAttachments?
    
  • ExtractEmailHeaders?
    

• MQTT, AMQP

• MQTT
  • PublishMQTT
    
  • ConsumeMQTT
    

• AMQP
  • PublishAMQP
    
  • ConsumeAMQP
    

• SNMP
  • GetSNMP
    
  • SetSNMP
    

• DNS
  • QueryDNS
    
  • QueryWhois?
    

• WebSocket?
  • PutWebSocket?
    
  • ConnectWebSocket?
    
  • ListenWebSocket?
    

Log †

• Syslog
  • PutSyslog?
    
  • ListenSyslog?
    
  • ParseSyslog?
    

• ListenRELP
  
• ConsumeWindowsEventLog?
  

HTML †

• GetHTMLElement
  
• ModifyHTMLElement
  
• PutHTMLElement
  

• 参考
  • How to use GetHTMLElement - Hortonworks
    https://community.hortonworks.com/questions/68060/how-to-use-gethtmlelement.html

Middleware or Service †

• Middleware

• JMS
  • GetJMSQueue
    
  • GetJMSTopic
    
  • PutJMS
    
  • PublishJMS
    
  • ConsumeJMS
    

• MapCache?
  • FetchDistributedMapCache?
    
  • PutDistributedMapCache?
    

• Service

• Slack
  • PutSlack?
    

• Twitter
  • GetTwitter?
    

ビッグデータ †

NoSQL †

Hadoop †

クラウド †

Azure †

• EventHub?
  • GetAzureEventHub?
    
  • PutAzureEventHub?
    
  • ConsumeAzureEventHub?
    

• QueueStorage?
  • GetAzureQueueStorage?
    
  • PutAzureQueueStorage?
    

• BlobStorage?
  • PutAzureBlobStorage?
    
  • ListAzureBlobStorage?
    
  • FetchAzureBlobStorage?
    
  • DeleteAzureBlobStorage?
    

AWS †

• S3
  • ListS3
    
  • FetchS3Object
    
  • PutS3Object
    
  • DeleteS3Object
    

• DynamoDB
  • GetDynamoDB
    
  • PutDynamoDB
    
  • DeleteDynamoDB
    

• SQS
  • GetSQS
    
  • PutSQS
    
  • DeleteSQS
    

• Kinesis
  • PutKinesisFirehose?
    
  • PutKinesisStream?
    

• PutSNS
• PutLambda?
  
• InvokeAWSGatewayApi?
  
• PutCloudWatchMetric?
  

GCP †

• GCPubSub?
  • PublishGCPubSub?
    
  • ConsumeGCPubSub?
    

• GCS
  • ListGCSBucket
    
  • FetchGCSObject
    
  • PutGCSObject
    
  • DeleteGCSObject
    

未分類 †

• AttributeRollingWindow?
  
• CompareFuzzyHash?
  
• ConsumeEWS
  

• DetectDuplicate?
  
• DistributeLoad?
  
• EnforceOrder?
  

• FetchParquet?
  
• FuzzyHashContent?
  

• GenerateTableFetch?
  
• GeoEnrichIP
  
• HashAttribute?
  
• HashContent?
  
• IdentifyMimeType?
  
• ISPEnrichIP
  
• ListenBeats?
  
• ListenLumberjack?
  
• LookupAttribute?
  
• ModifyBytes?
  
• MonitorActivity?
  
• Notify
  
• ParseCEF
  
• ParseEvtx?
  
• ResizeImage?
  
• RouteHL7
  
• SegmentContent?
  
• SpringContextProcessor?
  
• StoreInKiteDataset?
  
• TailFile?
  
• UpdateCounter?
  
• Wait
  
• YandexTranslate?
  

Execute †

• ExecuteFlumeSink?
  
• ExecuteFlumeSource?
  
• ExecuteSparkInteractive?
  
• ExecuteStreamCommand?
  

Extract †

• ExtractCCDAAttributes
  
• ExtractGrok?
  
• ExtractHL7Attributes
  
• ExtractImageMetadata?
  
• ExtractMediaMetadata?
  
• ExtractTNEFAttachments
  

Get & Put †

• PutParquet?
  
• PutRiemann?
  

参考 †

nifi.apache.org †

• Apache NiFi? Documentation
  https://nifi.apache.org/docs.html

• Getting Started with Apache NiFi? > What Processors are Available
  https://nifi.apache.org/docs/nifi-docs/html/getting-started.html#what-processors-are-available

gist.github.com †

• ijokarumawak’s gists
  https://gist.github.com/ijokarumawak

• alopresto’s gists
  https://gist.github.com/alopresto

     

Site admin: TechInfoOfMicrosoftTech

PukiWiki 1.4.7 Copyright © 2001-2006 PukiWiki Developers Team. License is GPL.
Based on "PukiWiki" 1.3 by yu-ji. Powered by PHP 5.3.3. HTML convert time: 0.070 sec.