好網(wǎng)站制作自助建站系統(tǒng)代理
【極數(shù)系列】Flink環(huán)境搭建(02)
引言
1.linux
直接在linux上使用jdk11+flink1.18.0版本部署
2.docker
使用容器部署比較方便,一鍵啟動(dòng)停止,方便參數(shù)調(diào)整
3.windows
搭建Flink 1.18.0版本需要使用Cygwin或wsl工具模擬unix環(huán)境+編寫對(duì)應(yīng)bat腳本以及路徑存在轉(zhuǎn)義符問(wèn)題,暫時(shí)還沒(méi)搭建成功,小伙伴要是有成功的可以評(píng)論區(qū)留言下,新版本在windows搭建已經(jīng)搞得我汗流浹背了!!
一.Linux部署Flink
(1) 部署Linux版本JDK
1.下載Linux版本的JDK11
版本:jdk-11.0.2_linux-x64_bin.tar.gz
https://repo.huaweicloud.com/java/jdk/
2.創(chuàng)建目錄
mkdir /usr/java
3.上傳并解壓
cd /usr/java
rz jdk-11.0.2_linux-x64_bin.tar.gz
tar -xzvf jdk-11.0.2_linux-x64_bin.tar.gz
解壓后目錄:/usr/java/jdk-11.0.2
4.配置環(huán)境變量
vi /etc/profile
#把下面三行加到文件末尾
export JAVA_HOME=/usr/java/jdk-11.0.2
export CLASSPATH=$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib
export PATH=$JAVA_HOME/bin:$PATH
5.刷新環(huán)境變量
source /etc/profile
6.檢查jdk安裝是否成功
看到版本即可 java -version
(2) 部署Flink1.18.0
1.下載Flink1.18.0版本包
地址:https://www.apache.org/dyn/closer.lua/flink/flink-1.18.0/flink-1.18.0-bin-scala_2.12.tgz
2.上傳壓縮包到服務(wù)器
cd /www
rz flink-1.18.0-bin-scala_2.12.tgz
tar -xvf flink-1.18.0-bin-scala_2.12.tgz
3.修改flink-config.yaml配置
tips:修改這個(gè)配置主要是為了外部網(wǎng)絡(luò)可以訪問(wèn),否則只能本地訪問(wèn)
vi /www/flink-1.18.0/conf/flink-config.yaml
把這個(gè)配置#rest.bind-address: 0.0.0.0前面的#去掉,如果value是localhost則改為0.0.0.0
4.啟動(dòng)服務(wù)
cd /www/flink-1.18.0
./bin/start-cluster.sh
5.瀏覽器訪問(wèn)
flinkUI地址:http://127.0.0.1:8081
注意云服務(wù)器可能需要關(guān)閉對(duì)應(yīng)的防火墻或者是開(kāi)發(fā)端口
#通過(guò)命令查看防火墻策略
sudo iptables -L | more
#如果輸出內(nèi)容為Chain INPUT (policy DROP),再執(zhí)行修改策略
sudo iptables -P INPUT ACCEPT
#直到確認(rèn)輸出為Chain INPUT (policy ACCEPT),才可清除所有規(guī)則停止防火墻
sudo iptables -F
#關(guān)閉防火墻
systemctl stop firewalld.service
6.停止服務(wù)
cd /www/flink-1.18.0
./bin/stop-cluster.sh
二.docker部署Flink
1.安裝yum-utils軟件包
tips:提供yum-config-manager 實(shí)用程序,配置加速源
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
2.安裝docker
yum install -y docker-ce docker-ce-cli containerd.io
3.啟動(dòng)docker
systemctl start docker
4.設(shè)置docker自啟動(dòng)
systemctl enable docker
5.配置Docker使用systemd作為默認(rèn)Cgroup驅(qū)動(dòng)
cat <<EOF > /etc/docker/daemon.json
{"exec-opts": ["native.cgroupdriver=systemd"]
}
EOF
6.重啟docker
systemctl restart docker
7.拉取最新鏡像
tips:目前最新鏡像默認(rèn)是:flink 1.18.0
docker pull flink
8.檢查鏡像
docker images
9.編寫dockerFile文件
docker-compose.yaml文件內(nèi)容如下
version: "1.0"
services:jobmanager:image: flinkexpose:- "6123"ports:- "8081:8081"command: jobmanagerenvironment:- JOB_MANAGER_RPC_ADDRESS=jobmanagertaskmanager:image: flinkexpose:- "6121"- "6122"depends_on:- jobmanagercommand: taskmanagerlinks:- "jobmanager:jobmanager"environment:- JOB_MANAGER_RPC_ADDRESS=jobmanager
10.執(zhí)行dockerFile
tips:在docker-compose.yaml文件同級(jí)目錄執(zhí)行
docker-compose up -d
11.檢查flink是否啟動(dòng)成功
docker ps |grep flink
12.檢查日志是否正常
docker logs --tail="500" root-jobmanager-1
docker logs -f root-taskmanager-1
13.查看端口是否存在
netstat -anltp|grep 8081
14.瀏覽器訪問(wèn)
tips:查看FLink頁(yè)面web UI頁(yè)面,云服務(wù)器查看防火墻是否開(kāi)啟
http://ip:port/8081
三.本地開(kāi)發(fā)安裝JDK11
1.下載jdk11版本包
tips:下載地址https://repo.huaweicloud.com/java/jdk/
2.安裝jdk11服務(wù)
雙擊解壓后jdk的exe運(yùn)行文件
3.路徑選擇
tips:一般不安裝在C盤,修改路徑,接著直接next
#使用管理員身份打開(kāi)cmd命令,進(jìn)入剛才安裝的jdk目錄
E:
cd E:\java_11\#生成jre目錄文件
bin\jlink.exe --module-path jmods --add-modules java.desktop --output jre
4.設(shè)置環(huán)境變量
此電腦–屬性–高級(jí)系統(tǒng)設(shè)置–環(huán)境變量–找到系統(tǒng)變量path–選擇新建–把jdk與jre目錄均加上
5.多版本JDK共存
進(jìn)入oracle目錄,如我的是C:\ProgramData\Oracle\Java\javapath,刪除該目錄下的所有 java.exe,javaw.exe 文件,后續(xù)就會(huì)按照環(huán)境變量的順序默認(rèn)選擇jdk11,如果想切換回jdk8,只需要把jdk8的環(huán)境變量移動(dòng)到j(luò)dk11環(huán)境變量之前即可
6.驗(yàn)證安裝成功與否
打開(kāi)cmd命令行,執(zhí)行java -version,出現(xiàn)對(duì)應(yīng)版本表示安裝成功
四.idea配置JDK11
1.修改JDK編譯版本
tips:或者在編譯打包插件也可
idea--->Settings-->Build,Execution,Deployment--->Java Compiler
2.調(diào)整JDK開(kāi)發(fā)版本
tips: 在 idea 的左上角找到 File 選擇 Peoject Structure