【極數(shù)系列】Flink環(huán)境搭建（02）

引言

1.linux

直接在linux上使用jdk11+flink1.18.0版本部署

2.docker

使用容器部署比較方便，一鍵啟動(dòng)停止，方便參數(shù)調(diào)整

3.windows

搭建Flink 1.18.0版本需要使用Cygwin或wsl工具模擬unix環(huán)境+編寫對(duì)應(yīng)bat腳本以及路徑存在轉(zhuǎn)義符問(wèn)題，暫時(shí)還沒(méi)搭建成功，小伙伴要是有成功的可以評(píng)論區(qū)留言下，新版本在windows搭建已經(jīng)搞得我汗流浹背了！！

一.Linux部署Flink

(1) 部署Linux版本JDK

1.下載Linux版本的JDK11

版本：jdk-11.0.2_linux-x64_bin.tar.gz

https://repo.huaweicloud.com/java/jdk/

2.創(chuàng)建目錄

mkdir /usr/java

3.上傳并解壓

cd /usr/java
rz jdk-11.0.2_linux-x64_bin.tar.gz
tar -xzvf jdk-11.0.2_linux-x64_bin.tar.gz
解壓后目錄：/usr/java/jdk-11.0.2

4.配置環(huán)境變量

vi /etc/profile
#把下面三行加到文件末尾
export JAVA_HOME=/usr/java/jdk-11.0.2
export CLASSPATH=$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib
export PATH=$JAVA_HOME/bin:$PATH

5.刷新環(huán)境變量

source /etc/profile

6.檢查jdk安裝是否成功

看到版本即可 java -version

(2) 部署Flink1.18.0

1.下載Flink1.18.0版本包

地址：https://www.apache.org/dyn/closer.lua/flink/flink-1.18.0/flink-1.18.0-bin-scala_2.12.tgz

2.上傳壓縮包到服務(wù)器

cd /www
rz flink-1.18.0-bin-scala_2.12.tgz
tar -xvf flink-1.18.0-bin-scala_2.12.tgz

3.修改flink-config.yaml配置

tips：修改這個(gè)配置主要是為了外部網(wǎng)絡(luò)可以訪問(wèn)，否則只能本地訪問(wèn)

vi /www/flink-1.18.0/conf/flink-config.yaml
把這個(gè)配置#rest.bind-address: 0.0.0.0前面的#去掉,如果value是localhost則改為0.0.0.0

4.啟動(dòng)服務(wù)

cd /www/flink-1.18.0
./bin/start-cluster.sh

5.瀏覽器訪問(wèn)

flinkUI地址：http://127.0.0.1:8081

注意云服務(wù)器可能需要關(guān)閉對(duì)應(yīng)的防火墻或者是開(kāi)發(fā)端口

#通過(guò)命令查看防火墻策略
sudo iptables -L | more
#如果輸出內(nèi)容為Chain INPUT (policy DROP)，再執(zhí)行修改策略
sudo iptables -P INPUT ACCEPT
#直到確認(rèn)輸出為Chain INPUT (policy ACCEPT)，才可清除所有規(guī)則停止防火墻
sudo iptables -F 
#關(guān)閉防火墻
systemctl stop firewalld.service

6.停止服務(wù)

cd /www/flink-1.18.0
./bin/stop-cluster.sh

二.docker部署Flink

1.安裝yum-utils軟件包

tips：提供yum-config-manager 實(shí)用程序，配置加速源

yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

2.安裝docker

yum install -y docker-ce docker-ce-cli containerd.io  

3.啟動(dòng)docker

systemctl start docker  

4.設(shè)置docker自啟動(dòng)

systemctl enable docker 

5.配置Docker使用systemd作為默認(rèn)Cgroup驅(qū)動(dòng)

cat <<EOF > /etc/docker/daemon.json
{"exec-opts": ["native.cgroupdriver=systemd"]
}
EOF

6.重啟docker

systemctl restart docker

7.拉取最新鏡像

tips：目前最新鏡像默認(rèn)是：flink 1.18.0

docker pull flink

8.檢查鏡像

docker images

9.編寫dockerFile文件

docker-compose.yaml文件內(nèi)容如下

version: "1.0"
services:jobmanager:image: flinkexpose:- "6123"ports:- "8081:8081"command: jobmanagerenvironment:- JOB_MANAGER_RPC_ADDRESS=jobmanagertaskmanager:image: flinkexpose:- "6121"- "6122"depends_on:- jobmanagercommand: taskmanagerlinks:- "jobmanager:jobmanager"environment:- JOB_MANAGER_RPC_ADDRESS=jobmanager

10.執(zhí)行dockerFile

tips：在docker-compose.yaml文件同級(jí)目錄執(zhí)行

docker-compose up -d

11.檢查flink是否啟動(dòng)成功

docker ps |grep flink

12.檢查日志是否正常

docker logs --tail="500" root-jobmanager-1
docker logs -f root-taskmanager-1

13.查看端口是否存在

netstat -anltp|grep 8081

14.瀏覽器訪問(wèn)

tips：查看FLink頁(yè)面web UI頁(yè)面，云服務(wù)器查看防火墻是否開(kāi)啟

http://ip:port/8081

三.本地開(kāi)發(fā)安裝JDK11

1.下載jdk11版本包

tips：下載地址https://repo.huaweicloud.com/java/jdk/

2.安裝jdk11服務(wù)

雙擊解壓后jdk的exe運(yùn)行文件

3.路徑選擇

tips：一般不安裝在C盤，修改路徑，接著直接next

#使用管理員身份打開(kāi)cmd命令，進(jìn)入剛才安裝的jdk目錄
E:
cd E:\java_11\#生成jre目錄文件
bin\jlink.exe --module-path jmods --add-modules java.desktop --output jre

4.設(shè)置環(huán)境變量

此電腦–屬性–高級(jí)系統(tǒng)設(shè)置–環(huán)境變量–找到系統(tǒng)變量path–選擇新建–把jdk與jre目錄均加上

5.多版本JDK共存

進(jìn)入oracle目錄,如我的是C:\ProgramData\Oracle\Java\javapath，刪除該目錄下的所有 java.exe，javaw.exe 文件，后續(xù)就會(huì)按照環(huán)境變量的順序默認(rèn)選擇jdk11，如果想切換回jdk8，只需要把jdk8的環(huán)境變量移動(dòng)到j(luò)dk11環(huán)境變量之前即可

6.驗(yàn)證安裝成功與否

打開(kāi)cmd命令行，執(zhí)行java -version，出現(xiàn)對(duì)應(yīng)版本表示安裝成功

四.idea配置JDK11

1.修改JDK編譯版本

tips：或者在編譯打包插件也可

idea--->Settings-->Build,Execution,Deployment--->Java Compiler

2.調(diào)整JDK開(kāi)發(fā)版本

tips： 在 idea 的左上角找到 File 選擇 Peoject Structure