zlink 是一個基于 flink 開發(fā)的分布式數(shù)據(jù)開發(fā)工具，提供簡單的易用的操作界面，降低用戶學(xué)習(xí) flink 的成本，縮短任務(wù)配置時間，避免配置過程中出現(xiàn)錯誤。用戶可以通過拖拉拽的方式實(shí)現(xiàn)數(shù)據(jù)的實(shí)時同步，支持多數(shù)據(jù)源之間的數(shù)據(jù)同步。同時一鍵部署，支持查看日志，任務(wù)報(bào)警，任務(wù)重啟等功能。

鏈接地址：GitHub - zzzzzzzs/zlink: zlink 是一個基于 flink 開發(fā)的分布式數(shù)據(jù)開發(fā)工具，提供簡單的易用的操作界面，降低用戶學(xué)習(xí) flink 的成本，縮短任務(wù)配置時間，避免配置過程中出現(xiàn)錯誤。用戶可以通過拖拉拽的方式實(shí)現(xiàn)數(shù)據(jù)的實(shí)時同步，支持多數(shù)據(jù)源之間的數(shù)據(jù)同步。同時一鍵部署，支持查看日志，任務(wù)報(bào)警，任務(wù)重啟等功能。zlink 是一個基于 flink 開發(fā)的分布式數(shù)據(jù)開發(fā)工具，提供簡單的易用的操作界面，降低用戶學(xué)習(xí) flink 的成本，縮短任務(wù)配置時間，避免配置過程中出現(xiàn)錯誤。用戶可以通過拖拉拽的方式實(shí)現(xiàn)數(shù)據(jù)的實(shí)時同步，支持多數(shù)據(jù)源之間的數(shù)據(jù)同步。同時一鍵部署，支持查看日志，任務(wù)報(bào)警，任務(wù)重啟等功能。 - GitHub - zzzzzzzs/zlink: zlink 是一個基于 flink 開發(fā)的分布式數(shù)據(jù)開發(fā)工具，提供簡單的易用的操作界面，降低用戶學(xué)習(xí) flink 的成本，縮短任務(wù)配置時間，避免配置過程中出現(xiàn)錯誤。用戶可以通過拖拉拽的方式實(shí)現(xiàn)數(shù)據(jù)的實(shí)時同步，支持多數(shù)據(jù)源之間的數(shù)據(jù)同步。同時一鍵部署，支持查看日志，任務(wù)報(bào)警，任務(wù)重啟等功能。https://github.com/zzzzzzzs/zlink

使用場景

• 提供可視化界面，實(shí)現(xiàn)實(shí)時數(shù)據(jù)的快速編排
• 任務(wù)報(bào)警
• 元數(shù)據(jù)監(jiān)控
• 解決復(fù)雜數(shù)據(jù)的同步問題
• 以 flink 為基礎(chǔ)，獲得數(shù)據(jù)一致性保障

技術(shù)概述

特征

• 支持FlinkCDC全庫實(shí)時入庫入湖，多庫輸出，自動建表。
• 通過 web 拖拉拽的方式構(gòu)建實(shí)時同步任務(wù)，減輕了大量字段校驗(yàn)等繁雜工作
• 支持 flinksql 開發(fā)，自動提示補(bǔ)全、語法高亮、語句美化、在線調(diào)試
• 支持FlinkSQL多開發(fā)執(zhí)行模式：Local, Standalone, Yarn Per-Job, Kubernetes Application.
• 支持自動管理的 SavePoint/CheckPoint 恢復(fù)和觸發(fā)機(jī)制：最新、最早、指定等。
• flink 任務(wù)運(yùn)行記錄展示，可以在頁面操作停止任務(wù)
• 支持修改任務(wù)狀態(tài)，啟動/停止，即時生效
• 支持實(shí)時工作告警和告警群：釘釘、微信、飛書、郵箱等。
• 支持 SPI 插件

登錄界面

訪問?http:ip:5465?地址，進(jìn)入登錄界面

數(shù)據(jù)源配置中心

可以進(jìn)行創(chuàng)建，修改，刪除數(shù)據(jù)源，并且可以識別出ip是否為內(nèi)網(wǎng)

此處為編輯數(shù)據(jù)源，默認(rèn)在保存前會進(jìn)行一次測試連接，如果測試不通過，則不保存。

flink 配置中心

flink 配置展示界面

創(chuàng)建 flink 環(huán)境界面，flink 模式有 3 中，已支持 standalone 以及 yarn，目前 k8s 正在開發(fā)中。如果是 yarn 模式需要填寫 FLINK_HOME、core_site、hdfs_site、yarn_site 路徑。

例如下圖：

元數(shù)據(jù)中心

此處的源端數(shù)據(jù)庫和目標(biāo)數(shù)據(jù)庫是在數(shù)據(jù)源中心配置的

同步表結(jié)構(gòu)

在源端數(shù)據(jù)庫?數(shù)據(jù)庫中勾選上要同步的表結(jié)構(gòu)，同時在?目標(biāo)數(shù)據(jù)庫?上勾選上將要同步到的數(shù)據(jù)庫，點(diǎn)擊創(chuàng)建表結(jié)構(gòu)按鈕，將會按照下面表結(jié)構(gòu)的前后綴自動創(chuàng)建表（可以不填）。

cdc 實(shí)時同步數(shù)據(jù)

在?源端數(shù)據(jù)庫?和?目標(biāo)數(shù)據(jù)庫?選中要同步的表結(jié)構(gòu)，將會在右側(cè)生成表名。注意：如果是多個表，要保證源端數(shù)據(jù)庫表?和目標(biāo)數(shù)據(jù)庫表?順序一致，若順序不一致可以拖動

然后點(diǎn)擊?生成cdc任務(wù)按鈕?就可以生成 flink 任務(wù)

flink 任務(wù)列表

此時生成的列表就是剛剛生成的同步表結(jié)構(gòu)任務(wù)，每個任務(wù)都可以單獨(dú)操作，也可以批量操作。點(diǎn)擊 url 連接就會跳轉(zhuǎn)到對應(yīng)的 flink-web 界面。

推送

點(diǎn)擊飛機(jī)按鈕就可以選擇集群（在flink 配置中心設(shè)置的）推送到指定的集群上，此時就可以在 yarn 管理界面上查看任務(wù)。

flink-sql

未來這里會添加 flink-sql 功能，避免在代碼中寫死 sql。同時可以添加調(diào)試功能，一鍵推送到指定集群上運(yùn)行。