當(dāng)前位置：首頁(yè) > news >正文

做投票網(wǎng)站全網(wǎng)搜索引擎優(yōu)化

news 2025/7/8 5:27:54

做投票網(wǎng)站,全網(wǎng)搜索引擎優(yōu)化,office里做網(wǎng)站的工具,分銷系統(tǒng)開發(fā)哪家好系列文章目錄 4.查詢數(shù)據(jù)湖 4.1 Catalog 4.1.1 概述 4.1.1.1 基本概念 4.1.1.2 Catalog 4.1.1.3 訪問(wèn)Catalog 4.1.2 Default catalog 4.1.3 External Catalog 4.2 文件外部表 4.2.1 使用限制 4.2.2 開源版本語(yǔ)法 4.2.3 阿里云版本 5. 查詢及優(yōu)化文章目錄系列文章目錄前言4.查…

系列文章目錄

4.查詢數(shù)據(jù)湖
4.1 Catalog
4.1.1 概述
4.1.1.1 基本概念
4.1.1.2 Catalog
4.1.1.3 訪問(wèn)Catalog
4.1.2 Default catalog
4.1.3 External Catalog
4.2 文件外部表
4.2.1 使用限制
4.2.2 開源版本語(yǔ)法
4.2.3 阿里云版本
5. 查詢及優(yōu)化

文章目錄

系列文章目錄
前言
4.查詢數(shù)據(jù)湖
- 4.1 Catalog
- 4.1.1 概述
- - - 4.1.1.1 基本概念
    - 4.1.1.2 Catalog
    - 4.1.1.3 訪問(wèn)Catalog
  - 4.1.2 Default catalog
  - 4.1.3 External Catalog
- 4.2 文件外部表
- - 4.2.1 使用限制
  - 4.2.2 開源版本語(yǔ)法
  - 4.2.3 阿里云版本
5. 查詢及優(yōu)化

前言

本文為Flink-StarRocks詳解后續(xù)章節(jié)：主要詳解StarRocks查詢數(shù)據(jù)湖
由于篇幅過(guò)長(zhǎng)，后續(xù)接著下面進(jìn)行詳解：
數(shù)倉(cāng)場(chǎng)景：即席查詢大案例

4.查詢數(shù)據(jù)湖

4.1 Catalog

4.1.1 概述

StarRocks 自 2.3 版本起支持 Catalog（數(shù)據(jù)目錄）功能，實(shí)現(xiàn)在一套系統(tǒng)內(nèi)同時(shí)維護(hù)內(nèi)、外部數(shù)據(jù)，方便輕松訪問(wèn)并查詢存儲(chǔ)在各類外部源的數(shù)據(jù)。

4.1.1.1 基本概念

內(nèi)部數(shù)據(jù)：指保存在 StarRocks 中的數(shù)據(jù)。
外部數(shù)據(jù)：指保存在外部數(shù)據(jù)源（如 Apache Hive?、Apache Iceberg、Apache Hudi、Delta Lake、JDBC）中的數(shù)據(jù)。

4.1.1.2 Catalog

當(dāng)前 StarRocks 提供兩種類型 Catalog：internal catalog 和 external catalog。
在這里插入圖片描述

? Internal catalog: 內(nèi)部數(shù)據(jù)目錄，用于管理 StarRocks 所有內(nèi)部數(shù)據(jù)。例如，執(zhí)行 CREATE DATABASE 和 CREATE TABLE 語(yǔ)句創(chuàng)建的數(shù)據(jù)庫(kù)和數(shù)據(jù)表都由 internal catalog 管理。每個(gè) StarRocks 集群都有且只有一個(gè) internal catalog 名為 default_catalog。
? External catalog: 外部數(shù)據(jù)目錄，用于連接外部 metastore。在 StarRocks 中，可以通過(guò) external catalog 直接查詢外部數(shù)據(jù)，無(wú)需進(jìn)行數(shù)據(jù)導(dǎo)入或遷移。當(dāng)前支持創(chuàng)建以下類型的 external catalog：
? Hive catalog：用于查詢 Hive 數(shù)據(jù)。
? Iceberg catalog：用于查詢 Iceberg 數(shù)據(jù)。
? Hudi catalog：用于查詢 Hudi 數(shù)據(jù)。
? Delta Lake catalog：用于查詢 Delta Lake 數(shù)據(jù)。
? JDBC catalog：用于查詢 JDBC 數(shù)據(jù)源的數(shù)據(jù)。

4.1.1.3 訪問(wèn)Catalog

可以使用 SET CATALOG 切換當(dāng)前會(huì)話里生效的 Catalog，然后通過(guò)該 Catalog 查詢數(shù)據(jù)。
語(yǔ)法：

SET CATALOG <catalog_name>

參數(shù)：
catalog_name：當(dāng)前會(huì)話里生效的 Catalog，支持 Internal Catalog 和 External Catalog。如果指定的 Catalog 不存在，則會(huì)引發(fā)異常。
示例：
通過(guò)如下命令，切換當(dāng)前會(huì)話里生效的 Catalog 為 Hive Catalog hive_metastore：

SET CATALOG hive_metastore;

如想在一個(gè) catalog 中查詢其他 catalog 中數(shù)據(jù)，可通過(guò) catalog_name.db_name.table_name 的格式來(lái)引用目標(biāo)數(shù)據(jù)。
例如，在 default_catalog.olap_db 下查詢 hive_catalog 中的 hive_table。

SELECT * FROM hive_catalog.hive_db.hive_table;

4.1.2 Default catalog

StarRocks 2.3 及以上版本提供了 Internal Catalog（內(nèi)部數(shù)據(jù)目錄），用于管理 StarRocks 的內(nèi)部數(shù)據(jù)。每個(gè) StarRocks 集群都有且只有一個(gè) Internal Catalog，名為 default_catalog。StarRocks 暫不支持修改 Internal Catalog 的名稱，也不支持創(chuàng)建新的 Internal Catalog。
使用：
默認(rèn)是default_catalog，也可以顯示切換。

SET CATALOG default_catalog;

然后通過(guò) SELECT 查詢內(nèi)部數(shù)據(jù)

SELECT * FROM <table_name>;

如在以上步驟中未指定數(shù)據(jù)庫(kù)，則可以在查詢語(yǔ)句中直接指定。

SELECT * FROM <db_name>.<table_name>;
或
SELECT * FROM default_catalog.<db_name>.<table_name>;

4.1.3 External Catalog

External Catalog（外部數(shù)據(jù)目錄），用于管理外部數(shù)據(jù)源的訪問(wèn)信息。
語(yǔ)法：

CREATE EXTERNAL CATALOG <catalog_name>
[COMMENT <comment>]
PROPERTIES
("type" = "<type>",MetastoreParams
)

參數(shù)說(shuō)明：
? catalog_name：External Catalog的名稱，必選參數(shù)。
命名要求如下：
? 總長(zhǎng)度不能超過(guò)64個(gè)字符。
? 必須由字母（a_z或AZ）、數(shù)字（0~9）或下劃線（_）組成，且只能以字母開頭。
comment：External Catalog的描述，可選參數(shù)。
type：數(shù)據(jù)源的類型，必選參數(shù)。
目前開源版本支持hive、hudi、iceberg、delta lake、jdbc、elasticsearch、paimon七種類型的數(shù)據(jù)源，阿里云EMR Serverless StarRocks目前只支持hive、hudi、iceberg三種。
MetastoreParams：StarRocks訪問(wèn)相應(yīng)數(shù)據(jù)源的相關(guān)參數(shù)配置
示例：
開源版本：

CREATE EXTERNAL CATALOG hive_catalog_hms
PROPERTIES
("type" = "hive","hive.metastore.type" = "hive","hive.metastore.uris" = "thrift://xx.xx.xx:9083"
);

阿里云版本：

CREATE EXTERNAL CATALOG hive
PROPERTIES 
("type" = "hive","dlf.catalog.endpoint" = "dlf-vpc.cn-beijing.aliyuncs.com","dlf.catalog.region" = "cn-beijing","dlf.catalog.proxyMode" = "DLF_ONLY","dlf.catalog.akMode" = "MANUAL","hive.metastore.type" = "DLF","dlf.catalog.id" = "dlf_test","dlf.catalog.accessKeyId" = "*******","dlf.catalog.accessKeySecret" = "*****"
);

4.2 文件外部表

文件外部表 (File External Table) 是一種特殊的外部表。可以通過(guò)文件外部表直接查詢外部存儲(chǔ)系統(tǒng)上的 Parquet 和 ORC 格式的數(shù)據(jù)文件，無(wú)需導(dǎo)入數(shù)據(jù)。同時(shí)，文件外部表也不依賴任何 Metastore。StarRocks 當(dāng)前支持的外部存儲(chǔ)系統(tǒng)包括 HDFS、Amazon S3 及其他兼容 S3 協(xié)議的對(duì)象存儲(chǔ)、阿里云對(duì)象存儲(chǔ) OSS 和騰訊云對(duì)象存儲(chǔ) COS。
該特性從 StarRocks 2.5 版本開始支持。

4.2.1 使用限制

? 當(dāng)前僅支持在 default_catalog 下的數(shù)據(jù)庫(kù)內(nèi)創(chuàng)建文件外部表，不支持 external catalog。可以通過(guò) SHOW CATALOGS 來(lái)查詢集群下的 catalog。
? 僅支持查詢 Parquet 和 ORC 格式的數(shù)據(jù)文件。
? 目前僅支持讀取目標(biāo)數(shù)據(jù)文件中的數(shù)據(jù)，不支持例如 INSERT，DELETE，DROP 等寫入操作。

4.2.2 開源版本語(yǔ)法

切換到目前數(shù)據(jù)庫(kù)后，可以使用如下語(yǔ)法創(chuàng)建一個(gè)文件外部表。

CREATE EXTERNAL TABLE <table_name> 
(<col_name> <col_type> [NULL | NOT NULL] [COMMENT "<comment>"]
) 
ENGINE=FILE
COMMENT ["comment"]
PROPERTIES
(FileLayoutParams,StorageCredentialParams
)

參數(shù)說(shuō)明：
參數(shù) 必選說(shuō)明
在這里插入圖片描述

在這里插入圖片描述

具體參考：https://docs.starrocks.io/zh/docs/data_source/file_external_table/

示例：

USE db_example;
CREATE EXTERNAL TABLE table_1
(name string, id int
) 
ENGINE=file
PROPERTIES 
("path" = "s3://bucket-test/folder1/", "format" = "orc","aws.s3.use_instance_profile" = "false","aws.s3.access_key" = "<iam_user_access_key>","aws.s3.secret_key" = "<iam_user_access_key>","aws.s3.region" = "us-west-2" 
);

4.2.3 阿里云版本

在阿里云EMR Serverless StarRocks中，通過(guò)配置正確的OSS AccessKey和OSS Endpiont信息，即可以輕松地連接到OSS Bucket，并在StarRocks中使用SQL語(yǔ)句對(duì)數(shù)據(jù)進(jìn)行查詢和分析等操作。

操作步驟：
（1）進(jìn)入EMR Serverless StarRocks實(shí)例配置頁(yè)面。
1）在EMR控制臺(tái)，點(diǎn)擊StarRocks，單擊待查看的實(shí)例名稱。
在這里插入圖片描述

2）單擊實(shí)例配置頁(yè)簽。

（2）修改core-site.xml配置。
1）單擊core-site.xml頁(yè)簽。
2）搜索并修改以下配置項(xiàng)。
在這里插入圖片描述

①配置accessKey步驟：
登錄AccessKey管理頁(yè)面，

https://ram.console.aliyun.com/manage/ak?spm=a2c4g.11186623.0.0.389247f8OlOaMw

首次進(jìn)入需勾選并點(diǎn)擊確定
在這里插入圖片描述

因?yàn)榘踩?#xff0c;這里使用子用戶的AccessKey
在這里插入圖片描述

點(diǎn)擊創(chuàng)建用戶
在這里插入圖片描述

登錄名為寫自己得，顯示名稱為自己的名稱，勾選兩種訪問(wèn)方式
點(diǎn)擊自定義密碼，設(shè)置為88888666!
然后是不需要重置密碼，不需要MFA多因素認(rèn)證
點(diǎn)擊確定
然后通過(guò)手機(jī)號(hào)或者掃臉進(jìn)行驗(yàn)證。
驗(yàn)證成功后，復(fù)制對(duì)應(yīng)的AccessKey ID 和 Secret
在這里插入圖片描述

②通過(guò)查詢?cè)L問(wèn)域名和數(shù)據(jù)中心

 https://help.aliyun.com/zh/oss/user-guide/regions-and-endpoints 得到 北京的內(nèi)網(wǎng)Endpoint為 oss-cn-beijing-internal.aliyuncs.com

（3）修改BE配置。
1）單擊BE頁(yè)簽。
2）搜索并修改以下配置項(xiàng)。
在這里插入圖片描述

（4）生效配置。
1）單擊提交參數(shù)。
2）在彈出的對(duì)話框中，輸入原因說(shuō)明，單擊確定。
（5）查詢示例
接paimon章節(jié)在oss中創(chuàng)建的表

CREATE DATABASE test;CREATE EXTERNAL TABLE test.UpdateTable
(a STRING,b INT,c INT
) 
ENGINE=file
PROPERTIES 
("path" = "oss://*******-paimon/test.db/UpdateTable/bucket-0/", "format" = "orc"
);SELECT * FROM test.UpdateTable;

查詢結(jié)果如下：
在這里插入圖片描述

注意：如果查詢報(bào)錯(cuò)，原因可能是子賬號(hào)沒(méi)有OSS訪問(wèn)權(quán)限，所以需要給子賬號(hào)開通權(quán)限
在這里插入圖片描述

開通方式，就是在RAM訪問(wèn)控制中，點(diǎn)擊用戶，然后添加權(quán)限。
在這里插入圖片描述

然后把OSS權(quán)限授權(quán)給子用戶。
在這里插入圖片描述

5. 查詢及優(yōu)化

查詢SQL參考：

https://docs.starrocks.io/zh/docs/sql-reference/sql-statements/all-commands/

常用函數(shù)參考：

https://docs.starrocks.io/zh/docs/sql-reference/sql-functions/function-list/

另外，為了獲取更快的查詢速度，StarRocks也提供了一些查詢加速的方法，主要的方式有使用CBO 優(yōu)化器、物化視圖、Colocata Join、索引、數(shù)據(jù)去重等。
具體詳見：

https://docs.starrocks.io/zh/docs/using_starrocks/Cost_based_optimizer/

查看全文

http://www.risenshineclean.com/news/47353.html

中文亚洲精品无码_熟女乱子伦免费_人人超碰人人爱国产_亚洲熟妇女综合网