Apache NiFi - Processor のバックアップ(No.8)

[ トップ ]   [ 新規 | 一覧 | 単語検索 | 最終更新 | ヘルプ ]

• バックアップ一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• Apache NiFi - Processor へ行く。
  • 1 (2018-07-09 (月) 18:57:47)
  • 2 (2018-07-09 (月) 21:47:33)
  • 3 (2018-07-10 (火) 11:00:52)
  • 4 (2018-07-10 (火) 13:55:52)
  • 5 (2018-07-10 (火) 17:46:18)
  • 6 (2018-07-10 (火) 22:31:06)
  • 7 (2018-07-11 (水) 12:40:42)
  • 8 (2018-07-11 (水) 14:03:03)
  • 9 (2018-07-11 (水) 17:52:59)
  • 10 (2018-07-13 (金) 11:17:37)
  • 11 (2018-07-13 (金) 15:18:02)
  • 12 (2018-07-24 (火) 19:31:45)

---

「.NET 開発基盤部会 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

• 戻る
  • Apache NiFi
  • Apache NiFiファースト・ステップ

目次 †

概要 †

「Processorを極めれば、NiFi?を極められそう。」
と言う事で、NiFi?のProcessorのまとめを作成してみた。

利用可能なProcessor †

色々なProcessorが用意されており、様々なシステムのデータを処理する機能を提供する。

Processorのタイプ †

以下は、Processorのタイプ。
具体的なProcessorは下記「参考」のURLを参照。

データの取込 †

Data Ingestion

接続 †

• 分岐
• 分割
• 合流
• 速度調整

変換・処理 †

• Attribute Extraction（属性の抽出・付与）
• Data Transformation（フォーマットの変換）

データの配信 †

Data Egress / Sending Data

取込・配信 †

• System Interaction（OSコマンドの実行）
• Database Access（SQLの実行）
• HTTP（HTTSクライアント or サーバの実行）
• Amazon Web Services（サービスへのI/Oの実行）

Processorの共通設定 †

Name †

Processorの名称

Terminate †

• 処理（フロー）を止めるケースを設定する。
• 後続に対応するRelationship の Connectionが無い場合チェックが必要

詳細 †

詳しい使い方については、チュートリアルも参考にできる。

頻繁に使う。 †

以下は頻繁に使う。

ファイルI/O †

• GetFile?
• PutFile?
• FetchFile?
• ListFile?
  

ログ出力 †

• LogAttribute?
• LogMessage?

属性 †

• 抽出
  • EvaluateXPath
  • EvaluateJsonPath?
  • EvaluateXQuery
  • ExtractText?

• 更新
  • UpdateAttribute?

• 設定
  • AttributesToJSON
  • AttributesToCSV

※ 属性は、分岐やNiFi? Expression Language（EL）で使用可能。

• 参考
  • ExtractText? from file content and put it as file attributes - Hortonworks
    https://community.hortonworks.com/questions/96907/extracttext-from-file-content-and-put-it-as-file-a.html

合流 †

分岐・分割後の合流時のmergeに使用できる。

• MergeContent?
  
• MergeRecord?
  

よく使う。 †

分岐 †

• RouteText?

• RouteOnAttribute?
• RouteOnContent?

• ScanAttribute?
  
• ScanContent?
  

分割 †

• SplitText?
• SplitContent?
• SplitXML
• SplitJson?
• SplitRecord?

HTTP †

• クライアント
  • InvokeHTTP
  • GetHTTP
  • PostHTTP

• サーバー
  • HandleHttpRequest?
  • HandleHttpResponse?
  • ListenHTTP
    

• 参考
  • How to Fetch the data from an HTTPS URL in GetHTTP processor using Syncfusion Data Integration Platform | Big Data Platform | Syncfusion
    https://www.syncfusion.com/kb/7677/how-to-fetch-the-data-from-an-https-url-in-gethttp-processor-using-syncfusion-data-integration

RDBMS †

しばしば使う。 †

ControlRate? †

速度の調整。

Text †

• CountText?
  
• ReplaceText?
  
• ReplaceTextWithMapping?
  

XML, JSON †

• ValidateXml?
  
• TransformXml?

• FlattenJson?
  
• JoltTransformJSON
  

HTML †

• GetHTMLElement
  
• ModifyHTMLElement
  
• PutHTMLElement
  

• 参考
  • How to use GetHTMLElement - Hortonworks
    https://community.hortonworks.com/questions/68060/how-to-use-gethtmlelement.html

圧縮・解凍 †

• CompressContent?
• UnpackContent?
• EncryptContent?
• Base64EncodeContent?

Record †

RecordReader?、RecordWriter?

• PutDatabaseRecord?
  

• QueryRecord?
  
• LookupRecord?
  
• ValidateRecord?
  
• UpdateRecord?
  
• ConvertRecord?
  

• PartitionRecord?
  
• ForkRecord?
  
• CalculateRecordStats?
  

• PutDruidRecord?
  
• PutSolrRecord?
  

稀に使う。 †

Command & Script †

• Command
  ExecuteProcess?

• Script
  • ExecuteScript?
  • ExecuteGroovyScript?
  • InvokeScriptedProcessor?

Get & Put †

• Get
  • GetCouchbaseKey?
    

• Put
  • PutCouchbaseKey?
    

• PutParquet?
  
• PutRiemann?
  

機能別 †

Network Protocol †

• TCP
  • GetTCP
    
  • PutTCP
    
  • ListenTCP
    
  • ListenTCPRecord
    

• UDP
  • PutUDP
    
  • ListenUDP
    
  • ListenUDPRecord
    

• FTP
  • GetFTP
    
  • ListFTP
    
  • FetchFTP
    
  • PutFTP
    

• GetSFTP
  
• ListSFTP
  
• FetchSFTP
  
• PutSFTP
  

• Mail
  • PutEmail?
    
  • ListenSMTP
    
  • ConsumeIMAP
    
  • ConsumePOP3
    
  • ExtractEmailAttachments?
    
  • ExtractEmailHeaders?
    

• MQTT, AMQP

• MQTT
  • PublishMQTT
    
  • ConsumeMQTT
    

• AMQP
  • PublishAMQP
    
  • ConsumeAMQP
    

• SNMP
  • GetSNMP
    
  • SetSNMP
    

• DNS
  • QueryDNS
    
  • QueryWhois?
    

• WebSocket?
  • PutWebSocket?
    
  • ConnectWebSocket?
    
  • ListenWebSocket?
    

Log †

• Syslog
  • PutSyslog?
    
  • ListenSyslog?
    
  • ParseSyslog?
    

• ListenRELP
  
• ConsumeWindowsEventLog?
  

NoSQL †

• mongoDB?
  • GetMongo?
    
  • PutMongo?
    
  • PutMongoRecord?
    
  • DeleteMongo?
    
  • RunMongoAggregation?
    

• Apache Cassandra
  • QueryCassandra?
    
  • PutCassandraQL
    

• Apache Ignite
  
  • GetIgniteCache?
    
  • PutIgniteCache?
    

• InfluxDB
  
  • PutInfluxDB
    
  • ExecuteInfluxDBQuery
    

• RethinkDB
  • GetRethinkDB
    
  • PutRethinkDB
    
  • DeleteRethinkDB
    

ビッグデータ †

• Hadoop

• CreateHadoopSequenceFile?
  

• HDFS
  • PutHDFS
    
  • GetHDFS
    
  • GetHDFSEvents
    
  • GetHDFSFileInfo?
    
  • GetHDFSSequenceFile?
    
  • FetchHDFS
    
  • ListHDFS
    
  • MoveHDFS
    
  • DeleteHDFS
    

• Apache HBase
  
  • GetHBase
    
  • PutHBaseCell?
    
  • PutHBaseJSON
    
  • PutHBaseRecord?
    
  • ScanHBase
    
  • FetchHBaseRow?
    
  • DeleteHBaseCells?
    
  • DeleteHBaseRow?
    

• Apache Hive
  
  • SelectHiveQL
    
  • PutHiveQL
    
  • PutHiveStreaming?
    

• Apache Kudu
  
  • PutKudu?
    

• Apache Kafka
  分散ストリーミングプラットフォーム
  • GetKafka?
    
  • PutKafka?
    
  • PublishKafka?
    
  • PublishKafka_0_10
    
  • PublishKafka_0_11
    
  • PublishKafka_1_0
    
  • PublishKafkaRecord_0_10
    
  • PublishKafkaRecord_0_11
    
  • PublishKafkaRecord_1_0
    
  • ConsumeKafka?
    
  • ConsumeKafka_0_10
    
  • ConsumeKafka_0_11
    
  • ConsumeKafka_1_0
    
  • ConsumeKafkaRecord_0_10
    
  • ConsumeKafkaRecord_0_11
    
  • ConsumeKafkaRecord_1_0
    

• Splunk
  データの収集、検索、分析、可視化を行うデータ分析プラットフォーム
  • GetSplunk?
    
  • PutSplunk?
    

• 全文検索エンジン
  • Elasticsearch
    • PutElasticsearch?
      
    • PutElasticsearch5
      
    • PutElasticsearchHttp?
      
    • PutElasticsearchHttpRecord?
      
    • FetchElasticsearch?
      
    • FetchElasticsearch5
      
    • FetchElasticsearchHttp?
      
    • QueryElasticsearchHttp?
      
    • JsonQueryElasticsearch?
      
    • ScrollElasticsearchHttp?
      
    • DeleteByQueryElasticsearch?
      
    • DeleteElasticsearch5
      

• Apache Solr
  
  • GetSolr?
    
  • QuerySolr?
    
  • PutSolrContentStream?

Middleware or Service †

• Middleware

• JMS
  • GetJMSQueue
    
  • GetJMSTopic
    
  • PutJMS
    
  • PublishJMS
    
  • ConsumeJMS
    

• MapCache?
  • FetchDistributedMapCache?
    
  • PutDistributedMapCache?
    

• Service

• Slack
  • PutSlack?
    

• Twitter
  • GetTwitter?
    

クラウド †

Azure †

• EventHub?
  • GetAzureEventHub?
    
  • PutAzureEventHub?
    
  • ConsumeAzureEventHub?
    

• QueueStorage?
  • GetAzureQueueStorage?
    
  • PutAzureQueueStorage?
    

• BlobStorage?
  • PutAzureBlobStorage?
    
  • ListAzureBlobStorage?
    
  • FetchAzureBlobStorage?
    
  • DeleteAzureBlobStorage?
    

AWS †

• S3
  • ListS3
    
  • FetchS3Object
    
  • PutS3Object
    
  • DeleteS3Object
    

• DynamoDB
  • GetDynamoDB
    
  • PutDynamoDB
    
  • DeleteDynamoDB
    

• SQS
  • GetSQS
    
  • PutSQS
    
  • DeleteSQS
    

• Kinesis
  • PutKinesisFirehose?
    
  • PutKinesisStream?
    

• PutSNS
• PutLambda?
  
• InvokeAWSGatewayApi?
  
• PutCloudWatchMetric?
  

GCP †

• GCPubSub?
  • PublishGCPubSub?
    
  • ConsumeGCPubSub?
    

• GCS
  • ListGCSBucket
    
  • FetchGCSObject
    
  • PutGCSObject
    
  • DeleteGCSObject
    

未分類 †

• AttributeRollingWindow?
  
• CompareFuzzyHash?
  
• ConsumeEWS
  
• ConvertCharacterSet?
  
• ConvertExcelToCSVProcessor
  
• DebugFlow?
  
• DetectDuplicate?
  
• DistributeLoad?
  
• DuplicateFlowFile?
  
• EnforceOrder?
  
• ExecuteFlumeSink?
  
• ExecuteFlumeSource?
  
• ExecuteSparkInteractive?
  
• ExecuteStreamCommand?
  
• ExtractCCDAAttributes
  
• ExtractGrok?
  
• ExtractHL7Attributes
  
• ExtractImageMetadata?
  
• ExtractMediaMetadata?
  
• ExtractTNEFAttachments
  
• FetchParquet?
  
• FuzzyHashContent?
  
• GenerateFlowFile?
  
• GenerateTableFetch?
  
• GeoEnrichIP
  
• HashAttribute?
  
• HashContent?
  
• IdentifyMimeType?
  
• ISPEnrichIP
  
• ListenBeats?
  
• ListenLumberjack?
  
• LookupAttribute?
  
• ModifyBytes?
  
• MonitorActivity?
  
• Notify
  
• ParseCEF
  
• ParseEvtx?
  
• ResizeImage?
  
• RouteHL7
  
• SegmentContent?
  
• SpringContextProcessor?
  
• StoreInKiteDataset?
  
• TailFile?
  
• UpdateCounter?
  
• ValidateCsv?
  
• Wait
  
• YandexTranslate?
  

参考 †

• Apache NiFi? Documentation
  https://nifi.apache.org/docs.html

• Getting Started with Apache NiFi? > What Processors are Available
  https://nifi.apache.org/docs/nifi-docs/html/getting-started.html#what-processors-are-available

     

Site admin: TechInfoOfMicrosoftTech

PukiWiki 1.4.7 Copyright © 2001-2006 PukiWiki Developers Team. License is GPL.
Based on "PukiWiki" 1.3 by yu-ji. Powered by PHP 5.3.3. HTML convert time: 0.078 sec.