🥇🥇【大數(shù)據(jù)學習記錄篇】-持續(xù)更新中~🥇🥇

---

個人主頁：beixi@
本文章收錄于專欄（點擊傳送）：【大數(shù)據(jù)學習】

💓💓持續(xù)更新中，感謝各位前輩朋友們支持學習~

1.Flink組件介紹

Flink（Apache Flink）是一個開源的流處理和批處理框架，它具有高性能、低延遲、容錯性和靈活性的特點。Flink擁有強大而靈活的數(shù)據(jù)處理能力，用戶可以根據(jù)自己的需求選擇合適的組件和API來構(gòu)建復(fù)雜的數(shù)據(jù)處理流程和批處理任務(wù)。以下是 Flink 的一些重要組件的介紹：

• Flink Core: Flink核心組件提供了任務(wù)調(diào)度、作業(yè)管理、資源管理、容錯機制和數(shù)據(jù)傳輸?shù)然A(chǔ)功能。它負責將用戶提交的作業(yè)進行解析、分配任務(wù)并對其進行執(zhí)行。
• DataStream API: DataStream API 是 Flink提供的用于處理無界流式數(shù)據(jù)的高級API。它允許用戶定義有狀態(tài)的流處理操作，如轉(zhuǎn)換、過濾、聚合、窗口操作等。DataStream API支持事件時間和處理時間，并且具備低延遲和高吞吐量的能力。
• DataSet API: DataSet API 是 Flink 用于處理有界靜態(tài)數(shù)據(jù)集的API。它提供了類似于傳統(tǒng)編程模型的操作符，如Map、Reduce、Join、GroupBy 等。DataSet API 適用于離線批處理任務(wù)，具有良好的可擴展性和優(yōu)化能力。
• Table API 和 SQL: Table API 和 SQL 提供了類似于關(guān)系型數(shù)據(jù)庫的查詢語言和操作符。用戶可以使用 SQL查詢和操作流或批數(shù)據(jù)，也可以在 Table API 中使用類似的操作符來處理數(shù)據(jù)。這種方式使得數(shù)據(jù)處理更加直觀和易用。
• CEP（Complex Event Processing）: Flink 提供了復(fù)雜事件處理的能力。CEP庫允許用戶定義規(guī)則來監(jiān)測數(shù)據(jù)流中的模式和事件，并觸發(fā)相應(yīng)的操作。它可以用于實時監(jiān)控、異常檢測、欺詐檢測等場景。
• Gelly: Gelly 是 Flink的圖處理庫，支持執(zhí)行圖算法和操作。它提供了一組高級算法，如圖遍歷、連通性分析、最短路徑等。Gelly 可以在圖結(jié)構(gòu)數(shù)據(jù)上進行大規(guī)模的并行計算。
• Connectors: Flink 提供了與各種數(shù)據(jù)源和數(shù)據(jù)存儲的連接器，如 Kafka、Hadoop HDFS、AmazonS3、Elasticsearch 等。這些連接器使得 Flink 可以方便地與外部系統(tǒng)集成，讀取和寫入數(shù)據(jù)。
  

2.環(huán)境準備

本次用到的環(huán)境有：
1.Oracle Linux 7.4
2.JDK 1.8
3.Flink 1.13.0

3.Flink搭建

1.解壓flink壓縮文件至/opt目錄下

tar -zxvf /root/experiment/file/flink-1.13.0-bin-scala_2.11.tg -C /opt

2.修改解壓后為文件名為flink

mv /opt/flink-1.13.0 /opt/flink

3.修改環(huán)境變量

vim /etc/profile

4.按鍵Shift+g鍵定位到最后一行，按鍵 i 切換到輸入模式下，添加如下代碼

export FLINK_HOME=/opt/flink
export PATH=$PATH:$FLINK_HOME/bin

5.按鍵Esc，按鍵:wq保存退出
6.刷新配置文件

source /etc/profile

7.啟動flink。

start-cluster.sh

8.查看flink版本信息。

flink --version

9.關(guān)閉flink。

stop-cluster.sh

至此，Flink搭建就到此結(jié)束了，如果本篇文章對你有幫助記得點贊收藏+關(guān)注~