我們在寫Hive SQL的時候，難免會在運行的時候有報錯，所以知道Hive SQL的執(zhí)行計劃具體是什么，然后假如在之后的運行過程中有報錯，可以根據(jù)執(zhí)行計劃定位問題，調(diào)試自己的SQL開發(fā)腳本。

一、含義

Hive SQL的執(zhí)行計劃描述SQL實際執(zhí)行的整體輪廓，通過執(zhí)行計劃能了解SQL程序在轉(zhuǎn)換成相應(yīng)計算引擎的執(zhí)行邏輯，掌握了執(zhí)行邏輯也就能更好地把握程序出現(xiàn)的瓶頸點，從而能夠?qū)崿F(xiàn)更有針對性的優(yōu)化。此外還能幫助開發(fā)者識別看似等價的SQL其實是不等價的，看似不等價的SQL其實是等價的SQL?？梢哉f執(zhí)行計劃是打開SQL優(yōu)化大門的一把鑰匙。

二、關(guān)鍵字

explain

三、查看SQL的執(zhí)行計劃

Hive提供的執(zhí)行計劃目前可以查看的信息有以下幾種：
explain：查看執(zhí)行計劃的基本信息；
explain dependency：dependency在explain語句中使用會產(chǎn)生有關(guān)計劃中輸入的額外信息。它顯示了輸入的各種屬性；
explain authorization：查看SQL操作相關(guān)權(quán)限的信息；
explain vectorization：查看SQL的向量化描述信息，顯示為什么未對Map和Reduce進行矢量化。從 Hive 2.3.0 開始支持；
explain analyze：用實際的行數(shù)注釋計劃。從 Hive 2.2.0 開始支持；
explain cbo：輸出由Calcite優(yōu)化器生成的計劃。CBO 從 Hive 4.0.0 版本開始支持；
explain locks：這對于了解系統(tǒng)將獲得哪些鎖以運行指定的查詢很有用。LOCKS 從 Hive 3.2.0 開始支持；
explain ast：輸出查詢的抽象語法樹。AST 在 Hive 2.1.0 版本刪除了，存在bug，轉(zhuǎn)儲AST可能會導(dǎo)致OOM錯誤，將在4.0.0版本修復(fù)；
explain extended：加上 extended 可以輸出有關(guān)計劃的額外信息。這通常是物理信息，例如文件名，這些額外信息對我們用處不大；

四、explain的使用方法

1，語法格式：

explain query;   //query為需要查看執(zhí)行計劃的查詢語句

2，執(zhí)行計劃結(jié)果示例：

STAGE DEPENDENCIES:    // 各個stage之間的依賴性Stage-1 is a root stageStage-0 depends on stages: Stage-1STAGE PLANS:        // 各個stage的執(zhí)行計劃Stage: Stage-1Map ReduceMap Operator Tree:TableScanalias: test1Statistics: Num rows: 6 Data size: 75 Basic stats: COMPLETE Column stats: NONESelect Operatorexpressions: id (type: int)outputColumnNames: idStatistics: Num rows: 6 Data size: 75 Basic stats: COMPLETE Column stats: NONEGroup By Operatoraggregations: sum(id)mode: hashoutputColumnNames: _col0Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONEReduce Output Operatorsort order:Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONEvalue expressions: _col0 (type: bigint)Reduce Operator Tree:Group By Operatoraggregations: sum(VALUE._col0)mode: mergepartialoutputColumnNames: _col0Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONEFile Output Operatorcompressed: falseStatistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONEtable:input format: org.apache.hadoop.mapred.SequenceFileInputFormatoutput format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormatserde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDeStage: Stage-0Fetch Operatorlimit: -1Processor Tree:ListSink

3，執(zhí)行計劃結(jié)果釋義

第一部分 stage dependencies ，包含兩個 stage，Stage-1 是根stage，說明這是開始的stage，Stage-0 依賴 Stage-1，Stage-1執(zhí)行完成后執(zhí)行Stage-0。第二部分 stage plan，里面有一個 Map Reduce，一個MR的執(zhí)行計劃分為兩個部分：
1.Map Operator Tree：MAP端的執(zhí)行計劃樹
2.Reduce Operator Tree：Reduce端的執(zhí)行計劃樹這兩個執(zhí)行計劃樹里面包含這條sql語句的 operator：
TableScan：表掃描操作，map端第一個操作肯定是加載表，所以就是表掃描操作，常見的屬性：
alias：表名稱
Statistics：表統(tǒng)計信息，包含表中數(shù)據(jù)條數(shù)，數(shù)據(jù)大小等
Select Operator：選取操作，常見的屬性 ：
expressions：需要的字段名稱及字段類型
outputColumnNames：輸出的列名稱
Statistics：表統(tǒng)計信息，包含表中數(shù)據(jù)條數(shù)，數(shù)據(jù)大小等
Group By Operator：分組聚合操作，常見的屬性：
aggregations：顯示聚合函數(shù)信息
mode：聚合模式，值有 hash：隨機聚合，就是hash partition；partial：局部聚合；final：最終聚合
keys：分組的字段，如果沒有分組，則沒有此字段
outputColumnNames：聚合之后輸出列名
Statistics：表統(tǒng)計信息，包含分組聚合之后的數(shù)據(jù)條數(shù)，數(shù)據(jù)大小等
Reduce Output Operator：輸出到reduce操作，常見屬性：
sort order：值為空 不排序；值為 + 正序排序，值為 - 倒序排序；值為 +-  排序的列為兩列，第一列為正序，第二列為倒序
Filter Operator：過濾操作，常見的屬性：
predicate：過濾條件，如sql語句中的where id>=1，則此處顯示(id >= 1)
Map Join Operator：join 操作，常見的屬性：
condition map：join方式 ，如Inner Join 0 to 1 Left Outer Join0 to 2
keys: join 的條件字段
outputColumnNames：join 完成之后輸出的字段
Statistics：join 完成之后生成的數(shù)據(jù)條數(shù)，大小等
File Output Operator：文件輸出操作，常見的屬性
compressed：是否壓縮
table：表的信息，包含輸入輸出文件格式化方式，序列化方式等
Fetch Operator 客戶端獲取數(shù)據(jù)操作，常見的屬性：
limit，值為 -1 表示不限制條數(shù)，其他值為限制的條數(shù)

4、explain 的使用場景

（1）查詢join 語句是否會過濾 null 的值
（2）查詢group by 分組語句是否會進行排序
（3）哪條sql執(zhí)行效率高
explain 還有很多其他的用途，如查看stage的依賴情況、排查數(shù)據(jù)傾斜、hive 調(diào)優(yōu)等。

五、explain dependency的用法

1，語法

explain dependency query;  // query為需要查看執(zhí)行計劃的SQL語句

2，含義

explain dependency用于描述一段SQL需要的數(shù)據(jù)來源，輸出是一個json格式的數(shù)據(jù)，里面包含以下兩個部分的內(nèi)容：
input_partitions：描述一段SQL依賴的數(shù)據(jù)來源表分區(qū)，里面存儲的是分區(qū)名的列表，如果整段SQL包含的所有表都是非分區(qū)表，則顯示為空。
input_tables：描述一段SQL依賴的數(shù)據(jù)來源表，里面存儲的是Hive表名的列表。

3，使用場景

explain dependency的使用場景有兩個：
場景一：快速排除?？焖倥懦驗樽x取不到相應(yīng)分區(qū)的數(shù)據(jù)而導(dǎo)致任務(wù)數(shù)據(jù)輸出異常。例如，在一個以天分區(qū)的任務(wù)中，上游任務(wù)因為生產(chǎn)過程不可控因素出現(xiàn)異常或者空跑，導(dǎo)致下游任務(wù)引發(fā)異常。通過這種方式，可以快速查看SQL讀取的分區(qū)是否出現(xiàn)異常。
場景二：理清表的輸入，幫助理解程序的運行，特別是有助于理解有多重子查詢，多表連接的依賴輸入。

六、explain authorization

1，語法

explain authorization query;  // query為需要查看執(zhí)行計劃的SQL語句

2，含義

通過explain authorization可以知道當(dāng)前SQL訪問的數(shù)據(jù)來源（INPUTS）
和數(shù)據(jù)輸出（OUTPUTS），以及當(dāng)前Hive的訪問用戶 （CURRENT_USER）和操作（OPERATION）。

3，explain authorization查詢示例

INPUTS: default@student_tb_orc 
OUTPUTS: hdfs://node01:8020/tmp/hive/hdfs/cbf182a5-8258-4157-9194- 90f1475a3ed5/-mr-10000 
CURRENT_USER: hdfs 
OPERATION: QUERY 
AUTHORIZATION_FAILURES: No privilege 'Select' found for inputs { database:default, table:student_ tb_orc, columnName:s_score}

以上的內(nèi)容來源網(wǎng)絡(luò)，僅供學(xué)習(xí)交流，如有侵犯，聯(lián)系刪除哦！