wordpress表白主題襄陽seo
Flink 數(shù)據(jù)源主要分為內(nèi)置數(shù)據(jù)源和第三方數(shù)據(jù)源。其中內(nèi)置數(shù)據(jù)源包含文件、Socket 連接、集合類型數(shù)據(jù)等,不需要引入其它依賴庫。第三方數(shù)據(jù)源定義了 Flink 和外部系統(tǒng)數(shù)據(jù)交互的邏輯,F(xiàn)link 提供了非常豐富的數(shù)據(jù)源連接器,例如 Kafka、Elasticsearch、RabbitMQ、JDBC 等。
目錄
(一)文件數(shù)據(jù)源
(二)Socket 數(shù)據(jù)源
(三)集合數(shù)據(jù)源
(四)外部數(shù)據(jù)源
(五)自定義數(shù)據(jù)源
(一)文件數(shù)據(jù)源
文件連接器提供了 BATCH 模式和 STREAMING 模式統(tǒng)一的 Source 和 Sink。Flink FileSystem Abstraction 支持連接器對文件系統(tǒng)進(jìn)行(分區(qū))讀寫。文件系統(tǒng)連接器為 BATCH 和 STREAMING 模式提供了相同的保證,而且對 STREAMING 模式執(zhí)行提供了精確一次(Exactly-once)語義保證。
文件連接器支持對任意(分布式的)文件系統(tǒng)(例如,POSIX、S3、HDFS)以某種數(shù)據(jù)格式 (例如,Avro、CSV、Parquet) 對文件進(jìn)行寫入,或者讀取后生成數(shù)據(jù)流或一組記錄。
使用方法:
可以通過創(chuàng)建 FileSource.FileSourceBuilder 設(shè)置 File Source 的所有參數(shù):
// 從文件流中讀取文件內(nèi)容
FileSource.forRecordStreamFormat(StreamFormat,Path...); // 從文件中一次讀取一批記錄
FileSource.forBulkFileFormat(BulkFormat,Path...);