任縣企業(yè)做網(wǎng)站怎么推廣淘寶店鋪
文章目錄
阿里云Flink的基本名稱概念
一、層次結(jié)構(gòu)
二、??????????????概念說明
1、工作空間(Workspace)
2、項目空間(Namespace)
3、資源(Resource)
4、草稿(Draft)
5、部署(Deployment)
6、作業(yè)實例(Job)
7、集群(Cluster)
8、連接器(Connector)
9、函數(shù)(Function)
10、元數(shù)據(jù)(Catalog)
11、角色(Role)
12、成員(User)
阿里云Flink的基本名稱概念
一、??????????????層次結(jié)構(gòu)
通過了解實時計算Flink版產(chǎn)品基本概念的層次結(jié)構(gòu),為后期作業(yè)開發(fā)、作業(yè)部署、作業(yè)運維和安全管理等操作提供思路。實時計算Flink版產(chǎn)品基本概念的層次結(jié)構(gòu)如下圖所示。
二、??????????????概念說明
1、工作空間(Workspace)
工作空間是Flink全托管管理項目空間的基本單元,每個工作空間的計算資源隔離,開發(fā)控制臺相互獨立。
重要:創(chuàng)建成功后工作空間名稱和OSS存儲地址不可修改。
2、項目空間(Namespace)
項目空間是Flink全托管管理作業(yè)的基本單元,我們的所有配置、作業(yè)、權(quán)限均在單個項目空間下進(jìn)行。我們可以創(chuàng)建多個項目空間,為每個項目空間分配單獨的資源和權(quán)限,實現(xiàn)多租戶通過項目空間進(jìn)行資源和權(quán)限的完全隔離。
3、資源(Resource)
Flink全托管的基本計量單位為Compute Unit(CU),即計算資源,1 CU=1核CPU+4 GiB內(nèi)存+20 GB本地存儲(放置日志、系統(tǒng)檢查點等信息)。
CU對應(yīng)實時計算底層系統(tǒng)的CPU計算能力。1個實時計算作業(yè)的CU使用量取決于此Job輸入數(shù)據(jù)流的QPS、計算復(fù)雜程度,以及具體的輸入數(shù)據(jù)分布情況。我們可以根據(jù)業(yè)務(wù)規(guī)模以及實時計算的計算能力,估算所需購買的資源數(shù)量。
4、草稿(Draft)
在實時計算Flink版SQL開發(fā)界面中創(chuàng)建的SQL作業(yè)稱為草稿。該概念只適用于通過實時計算控制臺方式進(jìn)行作業(yè)開發(fā),不適用于SDK方式。
5、部署(Deployment)
為了避免修改草稿中的內(nèi)容會影響到線上正在運行的作業(yè),提出了部署(Deployment)概念,目的是將開發(fā)和生產(chǎn)隔離,SQL開發(fā)中的作業(yè)草稿、上傳的JAR和Python包都可以成為部署。通過部署使草稿變?yōu)榫€上作業(yè),具有確定的流批屬性。該概念只適用于通過實時計算控制臺和SDK方式進(jìn)行的作業(yè)開發(fā)。
6、作業(yè)實例(Job)
線上運行的一個作業(yè)實例,由部署生成,具有確定的流批屬性。
7、集群(Cluster)
集群為作業(yè)上線后的運行環(huán)境,以內(nèi)存速度和任何規(guī)模執(zhí)行計算。Flink全托管支持Per-Job集群和Session集群兩種集群模式,分別用于正式和測試開發(fā)環(huán)境。
8、連接器(Connector)
實時計算Flink版內(nèi)置了豐富的連接器用于多種上下游的數(shù)據(jù)讀寫與同步,并支持上傳和使用自定義連接器。
9、函數(shù)(Function)
實時計算Flink版提供函數(shù)功能,包括內(nèi)置函數(shù)和自定義函數(shù)。
10、元數(shù)據(jù)(Catalog)
數(shù)據(jù)處理最關(guān)鍵的方面之一是管理元數(shù)據(jù),實時計算Flink版的元數(shù)據(jù)提供了元數(shù)據(jù)信息,例如數(shù)據(jù)庫、表、字段、分區(qū)以及數(shù)據(jù)庫或其他外部系統(tǒng)中存儲的信息。
11、角色(Role)
角色是實時計算Flink版安全功能中的概念,可以理解為擁有相同權(quán)限的用戶的集合。多個用戶可以同時存在于一個角色下,一個用戶也可以隸屬于多個角色。給角色授權(quán)后,該角色下的所有用戶擁有相同的權(quán)限。
12、成員(User)
成員是實時計算Flink版安全功能中的概念,支持將阿里云賬號和RAM用戶添加為成員。非實時計算Flink項目所有者的成員必須被加入實時計算Flink項目中,且被授予相應(yīng)的權(quán)限,才能操作實時計算Flink項目中的數(shù)據(jù)、作業(yè)、資源及函數(shù)。
- 📢博客主頁:https://lansonli.blog.csdn.net
- 📢歡迎點贊 👍 收藏 ?留言 📝 如有錯誤敬請指正!
- 📢本文由 Lansonli 原創(chuàng),首發(fā)于 CSDN博客🙉
- 📢停下休息的時候不要忘了別人還在奔跑,希望大家抓緊時間學(xué)習(xí),全力奔赴更美好的生活?