.NET 開発基盤部会 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

目次

概要

「Processorを極めれば、NiFi?を極められそう。」
と言う事で、NiFi?のProcessorのまとめを作成してみた。

利用可能なProcessor

色々なProcessorが用意されており、様々なシステムのデータを処理する機能を提供する。

Processorのタイプ

以下は、Processorのタイプ。
具体的なProcessorは下記「参考」のURLを参照。

データの取込

Data Ingestion

接続

変換・処理

データの配信

Data Egress / Sending Data

取込・配信

  • System Interaction(OSコマンドの実行)
  • Database Access(SQLの実行)
  • HTTP(HTTSクライアント or サーバの実行)
  • Amazon Web Services(サービスへのI/Oの実行)

Processorの共通設定

Name

Processorの名称

Terminate

  • 処理(フロー)を止めるケースを設定する。
  • 後続に対応するRelationshipConnectionが無い場合チェックが必要

詳細

詳しい使い方については、チュートリアルも参考にできる。

頻繁に使う。

以下は頻繁に使う。

ファイルI/O

  • GetFile?
  • PutFile?
  • FetchFile?
  • ListFile?

ログ出力

  • LogAttribute?
  • LogMessage?

属性

  • 抽出
    • EvaluateXPath
    • EvaluateJsonPath?
    • EvaluateXQuery
    • ExtractText?
  • 更新
    • UpdateAttribute?
  • 設定
    • AttributesToJSON
    • AttributesToCSV

※ 属性は、分岐NiFi? Expression Language(EL)で使用可能。

合流

分岐・分割後の合流時のmergeに使用できる。

  • MergeContent?
  • MergeRecord?

よく使う。

分岐

  • RouteText?
  • RouteOnAttribute?
  • RouteOnContent?
  • ScanAttribute?
  • ScanContent?

分割

  • SplitText?
  • SplitContent?
  • SplitXML
  • SplitJson?
  • SplitRecord?

HTTP

  • クライアント
    • InvokeHTTP
    • GetHTTP
    • PostHTTP
  • サーバー
    • HandleHttpRequest?
    • HandleHttpResponse?
    • ListenHTTP

RDBMS

しばしば使う。

ControlRate?

速度の調整。

Text

  • CountText?
  • ReplaceText?
  • ReplaceTextWithMapping?
  • ConvertCharacterSet?

CSV

  • ConvertExcelToCSVProcessor
  • ValidateCsv?

XML, JSON

  • ValidateXml?
  • TransformXml?
  • FlattenJson?
  • JoltTransformJSON

圧縮・解凍

  • CompressContent?
  • UnpackContent?
  • EncryptContent?
  • Base64EncodeContent?

Record

RecordReader?RecordWriter?

  • PutDatabaseRecord?
  • QueryRecord?
  • LookupRecord?
  • ValidateRecord?
  • UpdateRecord?
  • ConvertRecord?
  • PartitionRecord?
  • ForkRecord?
  • CalculateRecordStats?
  • PutDruidRecord?
  • PutSolrRecord?

Script

Test

負荷テスト、構成、およびシミュレーション

  • GenerateFlowFile?
  • DuplicateFlowFile?

稀に使う。

Command

  • Command
    ExecuteProcess?

Debug

  • DebugFlow?
    必要な応答を強制する

機能別

Network Protocol

  • TCP
    • GetTCP
    • PutTCP
    • ListenTCP
    • ListenTCPRecord
  • UDP
    • PutUDP
    • ListenUDP
    • ListenUDPRecord
  • FTP
    • GetFTP
    • ListFTP
    • FetchFTP
    • PutFTP
  • GetSFTP
  • ListSFTP
  • FetchSFTP
  • PutSFTP
  • Mail
    • PutEmail?
    • ListenSMTP
    • ConsumeIMAP
    • ConsumePOP3
    • ExtractEmailAttachments?
    • ExtractEmailHeaders?
  • MQTT, AMQP
  • MQTT
    • PublishMQTT
    • ConsumeMQTT
  • AMQP
    • PublishAMQP
    • ConsumeAMQP
  • SNMP
    • GetSNMP
    • SetSNMP
  • DNS
    • QueryDNS
    • QueryWhois?
  • WebSocket?
    • PutWebSocket?
    • ConnectWebSocket?
    • ListenWebSocket?

Log

  • Syslog
    • PutSyslog?
    • ListenSyslog?
    • ParseSyslog?
  • ListenRELP
  • ConsumeWindowsEventLog?

HTML

  • GetHTMLElement
  • ModifyHTMLElement
  • PutHTMLElement

Middleware or Service

  • Middleware
  • JMS
    • GetJMSQueue
    • GetJMSTopic
    • PutJMS
    • PublishJMS
    • ConsumeJMS
  • MapCache?
    • FetchDistributedMapCache?
    • PutDistributedMapCache?
  • Service
  • Slack
    • PutSlack?
  • Twitter
    • GetTwitter?

ビッグデータ

NoSQL

Hadoop

クラウド

Azure

  • EventHub?
    • GetAzureEventHub?
    • PutAzureEventHub?
    • ConsumeAzureEventHub?
  • QueueStorage?
    • GetAzureQueueStorage?
    • PutAzureQueueStorage?
  • BlobStorage?
    • PutAzureBlobStorage?
    • ListAzureBlobStorage?
    • FetchAzureBlobStorage?
    • DeleteAzureBlobStorage?

AWS

  • S3
    • ListS3
    • FetchS3Object
    • PutS3Object
    • DeleteS3Object
  • DynamoDB
    • GetDynamoDB
    • PutDynamoDB
    • DeleteDynamoDB
  • SQS
    • GetSQS
    • PutSQS
    • DeleteSQS
  • Kinesis
    • PutKinesisFirehose?
    • PutKinesisStream?
  • PutSNS
  • PutLambda?
  • InvokeAWSGatewayApi?
  • PutCloudWatchMetric?

GCP

  • GCPubSub?
    • PublishGCPubSub?
    • ConsumeGCPubSub?
  • GCS
    • ListGCSBucket
    • FetchGCSObject
    • PutGCSObject
    • DeleteGCSObject

未分類

  • AttributeRollingWindow?
  • CompareFuzzyHash?
  • ConsumeEWS
  • DetectDuplicate?
  • DistributeLoad?
  • EnforceOrder?
  • FetchParquet?
  • FuzzyHashContent?
  • GenerateTableFetch?
  • GeoEnrichIP
  • HashAttribute?
  • HashContent?
  • IdentifyMimeType?
  • ISPEnrichIP
  • ListenBeats?
  • ListenLumberjack?
  • LookupAttribute?
  • ModifyBytes?
  • MonitorActivity?
  • Notify
  • ParseCEF
  • ParseEvtx?
  • ResizeImage?
  • RouteHL7
  • SegmentContent?
  • SpringContextProcessor?
  • StoreInKiteDataset?
  • TailFile?
  • UpdateCounter?
  • Wait
  • YandexTranslate?

Execute

  • ExecuteFlumeSink?
  • ExecuteFlumeSource?
  • ExecuteSparkInteractive?
  • ExecuteStreamCommand?

Extract

  • ExtractCCDAAttributes
  • ExtractGrok?
  • ExtractHL7Attributes
  • ExtractImageMetadata?
  • ExtractMediaMetadata?
  • ExtractTNEFAttachments

Get & Put

  • PutParquet?
  • PutRiemann?

参考

nifi.apache.org

gist.github.com


添付ファイル: fileSQLFromJSON.xml 14件 [詳細]

トップ   編集 凍結 差分 バックアップ 添付 複製 名前変更 リロード   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS
Last-modified: 2018-07-24 (火) 19:31:45 (82d)