Apache NiFi - Processor のバックアップ(No.2)

[ トップ ]   [ 新規 | 一覧 | 単語検索 | 最終更新 | ヘルプ ]

• バックアップ一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• Apache NiFi - Processor へ行く。
  • 1 (2018-07-09 (月) 18:57:47)
  • 2 (2018-07-09 (月) 21:47:33)
  • 3 (2018-07-10 (火) 11:00:52)
  • 4 (2018-07-10 (火) 13:55:52)
  • 5 (2018-07-10 (火) 17:46:18)
  • 6 (2018-07-10 (火) 22:31:06)
  • 7 (2018-07-11 (水) 12:40:42)
  • 8 (2018-07-11 (水) 14:03:03)
  • 9 (2018-07-11 (水) 17:52:59)
  • 10 (2018-07-13 (金) 11:17:37)
  • 11 (2018-07-13 (金) 15:18:02)
  • 12 (2018-07-24 (火) 19:31:45)

---

「.NET 開発基盤部会 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

• 戻る
  • Apache NiFi
  • Apache NiFiファースト・ステップ

目次 †

概要 †

Processorを極めれば、NiFi?を極められそう。

利用可能なProcessor †

• 色々なProcessorが用意されており、様々なシステムのデータを

• 取込
• 分岐、分割・集約
• 変換・処理
• 配信

する機能を提供する。

• なお、Webサービスを作成する場合は、

  HandleHttpRequest?/HandleHttpResponse?

を使用することができる。

Processorのタイプ †

以下は、Processorのタイプ。
具体的なProcessorは下記「参考」のURLを参照。

データの取込 †

Data Ingestion

接続 †

• Routing and Mediation（分岐と速度調整）
• Splitting and Aggregation（分割・集約）

変換・処理 †

• Attribute Extraction（属性の抽出・付与）
• Data Transformation（フォーマットの変換）

データの配信 †

Data Egress / Sending Data

取込・配信 †

• System Interaction（OSコマンドの実行）
• Database Access（SQLの実行）
• HTTP（HTTSクライアント or サーバの実行）
• Amazon Web Services（サービスへのI/Oの実行）

Processorの共通設定 †

Name †

Processorの名称

Terminate †

• 処理（フロー）を止めるケースを設定する。
• 後続に対応するRelationshipのConnectionが無い場合チェックが必要

詳細 †

頻繁に使う。 †

以下は頻繁に使う。詳しくはチュートリアルを参照。

ファイルI/O †

• GetFile?
• PutFile?
• FetchFile?
• ListFile?
  

ログ出力 †

• LogAttribute?
• LogMessage?

属性 †

• 抽出
  • EvaluateXPath
  • EvaluateJsonPath?
  • EvaluateXQuery
  • ExtractText?

• 更新
  • UpdateAttribute?

• 設定
  • AttributesToJSON
  • AttributesToCSV

• 参考
  • ExtractText? from file content and put it as file attributes - Hortonworks
    https://community.hortonworks.com/questions/96907/extracttext-from-file-content-and-put-it-as-file-a.html

合流 †

分岐・分割後の合流時のmergeに使用できる。

• MergeContent?
  
• MergeRecord?
  

よく使う。 †

ControlRate? †

速度の調整。

分岐 †

• RouteText?

• RouteOnAttribute?
• RouteOnContent?

• ScanAttribute?
  
• ScanContent?
  

分割 †

• SplitText?
• SplitContent?
• SplitXML
• SplitJson?
• SplitRecord?

圧縮・解凍 †

• CompressContent?
• UnpackContent?
• EncryptContent?
• Base64EncodeContent?

Text †

• CountText?
  
• ReplaceText?
  
• ReplaceTextWithMapping?
  

XML, JSON †

• ValidateXml?
  
• TransformXml?

• FlattenJson?
  
• JoltTransformJSON
  

HTTP †

• クライアント
  • InvokeHTTP
  • GetHTTP
  • PostHTTP

• サーバー
  • HandleHttpRequest?
  • HandleHttpResponse?
  • ListenHTTP
    

RDBMS †

• SELECT
  • ExecuteSQL
    
  • QueryDatabaseTable?
    

• UPDATE or INSERT
  • PutSQL
    

• SQL生成
  • ConvertJSONToSQL
    

• その他
  • ListDatabaseTables?
    
  • CaptureChangeMySQL
    

Record †

RecordReader?、RecordWriter?

• PutDatabaseRecord?
  

• QueryRecord?
  
• LookupRecord?
  
• ValidateRecord?
  
• UpdateRecord?
  
• ConvertRecord?
  

• PartitionRecord?
  
• ForkRecord?
  
• CalculateRecordStats?
  

• PutDruidRecord?
  
• PutSolrRecord?
  

稀に使う。 †

Network Protocol †

• TCP
  • GetTCP
    
  • PutTCP
    
  • ListenTCP
    
  • ListenTCPRecord
    

• UDP
  • PutUDP
    
  • ListenUDP
    
  • ListenUDPRecord
    

• FTP
  • GetFTP
    
  • ListFTP
    
  • FetchSFTP
    
  • PutFTP
    

• GetSFTP
  
• ListSFTP
  
• FetchFTP
  
• PutSFTP
  

• Mail
  • PutEmail?
    
  • ListenSMTP
    
  • ConsumeIMAP
    
  • ConsumePOP3
    
  • ExtractEmailAttachments?
    
  • ExtractEmailHeaders?
    

• MQTT, AMQP
  • MQTT
  • ConsumeMQTT
    
  • PublishMQTT
    
  • AMQP
    • PublishAMQP
      
    • ConsumeAMQP
      

• SNMP
  • GetSNMP
    
  • SetSNMP
    

• QueryDNS

• WebSocket?
  • PutWebSocket?
    
  • ConnectWebSocket?
    
  • ListenWebSocket?
    

Log †

• Syslog
  • PutSyslog?
    
  • ListenSyslog?
    
  • ParseSyslog?
    

• ListenRELP
  
• ConsumeWindowsEventLog?
  

NoSQL †

• Mongo
  • GetMongo?
    
  • PutMongo?
    
  • PutMongoRecord?
    
  • DeleteMongo?
    
  • RunMongoAggregation?
    

• DynamoDB
  • GetDynamoDB
    
  • PutDynamoDB
    
  • DeleteDynamoDB
    

• HBase
  • GetHBase
    
  • PutHBaseCell?
    
  • PutHBaseJSON
    
  • PutHBaseRecord?
    
  • ScanHBase
    
  • FetchHBaseRow?
    
  • DeleteHBaseCells?
    
  • DeleteHBaseRow?
    

• RethinkDB
  • GetRethinkDB
    
  • PutRethinkDB
    
  • DeleteRethinkDB
    

• Cassandra
  • QueryCassandra?
    
  • PutCassandraQL
    

Hadoop †

• Hadoop
  CreateHadoopSequenceFile?
  

• HDFS
  • PutHDFS
    
  • GetHDFS
    
  • GetHDFSEvents
    
  • GetHDFSFileInfo?
    
  • GetHDFSSequenceFile?
    
  • FetchHDFS
    
  • ListHDFS
    
  • MoveHDFS
    
  • DeleteHDFS
    

• Hive
  • SelectHiveQL
    
  • PutHiveQL
    
  • PutHiveStreaming?
    

Middleware or Service †

• Middleware

• JMS
  • GetJMSQueue
    
  • GetJMSTopic
    
  • ConsumeJMS
    
  • PutJMS
    
  • PublishJMS
    

• Kafka
  • GetKafka?
    
  • PutKafka?
    
  • PublishKafka?
    
  • PublishKafka_0_10
    
  • PublishKafka_0_11
    
  • PublishKafka_1_0
    
  • PublishKafkaRecord_0_10
    
  • PublishKafkaRecord_0_11
    
  • PublishKafkaRecord_1_0
    
  • ConsumeKafka?
    
  • ConsumeKafka_0_10
    
  • ConsumeKafka_0_11
    
  • ConsumeKafka_1_0
    
  • ConsumeKafkaRecord_0_10
    
  • ConsumeKafkaRecord_0_11
    
  • ConsumeKafkaRecord_1_0
    

• Splunk
  • GetSplunk?
    
  • PutSplunk?
    

• Elasticsearch
  • PutElasticsearch?
    
  • PutElasticsearch5
    
  • PutElasticsearchHttp?
    
  • PutElasticsearchHttpRecord?
    
  • FetchElasticsearch?
    
  • FetchElasticsearch5
    
  • FetchElasticsearchHttp?
    
  • QueryElasticsearchHttp?
    
  • JsonQueryElasticsearch?
    
  • ScrollElasticsearchHttp?
    
  • DeleteByQueryElasticsearch?
    
  • DeleteElasticsearch5
    

• Solr
  • GetSolr?
    
  • QuerySolr?
    
  • PutSolrContentStream?

• InfluxDB
  • PutInfluxDB
    
  • ExecuteInfluxDBQuery
    

• Service

• Slack
  • PutSlack?
    

• Twitter
  • GetTwitter?
    

HTMLElement？ †

• GetHTMLElement
  
• ModifyHTMLElement
  
• PutHTMLElement
  

• 参考
  • How to use GetHTMLElement - Hortonworks
    https://community.hortonworks.com/questions/68060/how-to-use-gethtmlelement.html

Avro †

レコードの値のデータ・スキーマを定義

• ConvertAvroToJSON
  
• ConvertAvroToORC
  
• ConvertCSVToAvro?
  
• ConvertJSONToAvro?
  

• SplitAvro?
  

• ExtractAvroMetadata?
  
• InferAvroSchema?
  
• ConvertAvroSchema?
  

Get&Put †

• Get
  • GetCouchbaseKey?
    
  • GetIgniteCache?
    

• Put
  • PutCloudWatchMetric?
    
  • PutCouchbaseKey?
    
  • PutDistributedMapCache?
    
  • PutIgniteCache?
    
  • PutKinesisFirehose?
    
  • PutKinesisStream?
    
  • PutKudu?
    
  • PutParquet?
    
  • PutRiemann?
    

ExecuteScript? †

クラウド †

Azure †

• EventHub?
  • GetAzureEventHub?
    
  • ConsumeAzureEventHub?
    
  • PutAzureEventHub?
    

• QueueStorage?
  • GetAzureQueueStorage?
    
  • PutAzureQueueStorage?
    

• BlobStorage?
  • PutAzureBlobStorage?
    
  • ListAzureBlobStorage?
    
  • FetchAzureBlobStorage?
    
  • DeleteAzureBlobStorage?
    

AWS †

• S3
  • ListS3
    
  • FetchS3Object
    
  • PutS3Object
    
  • DeleteS3Object
    

• SQS
  • GetSQS
    
  • PutSQS
    
  • DeleteSQS
    

• PutSNS
• PutLambda?
  
• InvokeAWSGatewayApi?
  

GCP †

• GCPubSub?
  • ConsumeGCPubSub?
    
  • PublishGCPubSub?
    

• GCS
  • ListGCSBucket
    
  • FetchGCSObject
    
  • PutGCSObject
    
  • DeleteGCSObject
    

未分類 †

• AttributeRollingWindow?
  
• CompareFuzzyHash?
  
• ConsumeEWS
  
• ConvertCharacterSet?
  
• ConvertExcelToCSVProcessor
  
• DebugFlow?
  
• DetectDuplicate?
  
• DistributeLoad?
  
• DuplicateFlowFile?
  
• EnforceOrder?
  
• ExecuteFlumeSink?
  
• ExecuteFlumeSource?
  
• ExecuteGroovyScript?
  
• ExecuteProcess?
  
• ExecuteSparkInteractive?
  
• ExecuteStreamCommand?
  
• ExtractCCDAAttributes
  
• ExtractGrok?
  
• ExtractHL7Attributes
  
• ExtractImageMetadata?
  
• ExtractMediaMetadata?
  
• ExtractTNEFAttachments
  
• FetchDistributedMapCache?
  
• FetchParquet?
  
• FuzzyHashContent?
  
• GenerateFlowFile?
  
• GenerateTableFetch?
  
• GeoEnrichIP
  
• HashAttribute?
  
• HashContent?
  
• IdentifyMimeType?
  
• InvokeScriptedProcessor?
  
• ISPEnrichIP
  
• ListenBeats?
  
• ListenLumberjack?
  
• LookupAttribute?
  
• ModifyBytes?
  
• MonitorActivity?
  
• Notify
  
• ParseCEF
  
• ParseEvtx?
  
• QueryWhois?
  
• ResizeImage?
  
• RouteHL7
  
• SegmentContent?
  
• SpringContextProcessor?
  
• StoreInKiteDataset?
  
• TailFile?
  
• UpdateCounter?
  
• ValidateCsv?
  
• Wait
  
• YandexTranslate?
  

参考 †

• Apache NiFi? Documentation
  https://nifi.apache.org/docs.html

• Getting Started with Apache NiFi? > What Processors are Available
  https://nifi.apache.org/docs/nifi-docs/html/getting-started.html#what-processors-are-available

     

Site admin: TechInfoOfMicrosoftTech

PukiWiki 1.4.7 Copyright © 2001-2006 PukiWiki Developers Team. License is GPL.
Based on "PukiWiki" 1.3 by yu-ji. Powered by PHP 5.3.3. HTML convert time: 0.080 sec.