在大數據時代，如何有效地管理和處理海量數據成為了企業(yè)面臨的核心挑戰(zhàn)。為此，拓數派推出了首款數據計算引擎 PieCloudDB Database，作為一款全新的云原生虛擬數倉，旨在提供更高效、更靈活的數據處理解決方案。

PieCloudDB 的設計理念源于對用戶使用體驗和查詢效率的深度理解。在實現(xiàn)存算分離的同時，PieCloudDB 專門設計和打造了全新的存儲引擎「簡墨」等模塊。針對云場景和分析型場景，PieCloudDB 還設計了高效的預聚集（Pre-Aggregate）特性。本文將詳細介紹 PieCloudDB 如何運用預聚集技術優(yōu)化數據處理流程，改善用戶體驗。

作為云原生虛擬數倉，PieCloudDB 充分借助云計算所提供的基礎設施服務，包括大規(guī)模分布式集群、虛擬機、容器等。這些特性使得 PieCloudDB 能更好地適應動態(tài)的和不斷變化的工作負載需求。同時，PieCloudDB 也積極拓展其自身的特性，實現(xiàn)高可用、易擴展和彈性伸縮，以滿足企業(yè)不斷增長的業(yè)務需求。

PieCloudDB 實現(xiàn)了一個重要創(chuàng)新功能：預聚集（Pre-Aggregate）。?該功能通過 PieCloudDB 的全新的存儲引擎「簡墨」（JANM），在數據插入時即時計算數據列的 Aggregate 信息，并將其預先保存以供后續(xù)使用。這種方法摒棄了在查詢時進行復雜計算的傳統(tǒng)方式，從而大大提升了查詢速度。此外，由于聚合數據保存在文件中，可以實現(xiàn)快速訪問并直接應用于查詢。

PieCloudDB 會根據用戶的查詢自動生成帶有 Pre-Aggregate 的計劃，使得查詢過程盡可能地快速且準確。?當需要聚合數據時，系統(tǒng)會檢查預存儲的聚合值，并直接讀取符合條件的 Aggregate 數據。這樣避免了查詢過程中掃描整個數據集的需求，可以大幅提升查詢速度。

對于部分滿足條件的塊，PieCloudDB 將會回歸原來的處理方式計算 Aggregate 值。?這樣既能利用已經預聚合的數據，又只需計算缺少的部分，從而降低計算成本并提高運算效率。

1 預聚集的原理

為了能夠增加 Aggregate 的查詢性能，PieCloudDB 采用了以「空間」換取「時間」的策略，在寫入數據的時候，在存儲層中將相關的 Aggregate 進行預先計算并保存，從而在查詢的時候可以快速找到需要的 Aggregate 數據。

上面解決了 Aggregate 數據來源問題，下面將介紹如何拿到預先計算的 Aggregate 數據。為了能夠實現(xiàn)正確獲取下推的 Aggregate 數據，PieCloudDB 的優(yōu)化器與執(zhí)行器被進一步改造，增加了兩個新的 Pre-Aggregate 計算節(jié)點。改造前后的計劃樹（plan tree） 的對比如下圖所示:

改造前后 plan tree 對比圖

存儲引擎「簡墨」會在數據插入時，即時更新 Aggregate 信息。在上圖中的 Pre-Aggregate 計算節(jié)點會從 AM（access method）中取出預先計算的 Aggregate 數據，如果沒有找到合適的 Aggregate 數據，Pre-Aggregate 計算節(jié)點也會從 AM 中找出滿足條件的 tuple 計算出對應的 Aggregate 數據，返回給上層計算節(jié)點使用。這樣就解決了怎么正確找到下推的 Aggregate 數據的問題。

Pre-Aggregate 是 OLAP 優(yōu)化技術中 Zone Maps 的具體實現(xiàn)。即預先計算一批元組屬性值的聚合并預先保存，數據庫檢查預計算的聚集信息決定是否要訪問該 block。即上面所述的如果找到可用的 Aggregate 數據則直接返回，否則訪問該 block 檢索具體元組。

對于帶條件的 Pre-Aggregate 來說，其效果取決于預先計算所涉及的數據范圍。PieCloudDB 將預聚集范圍縮小至塊文件，針對每個塊文件分別進行預計算存儲，從而保證帶條件的預聚集查詢效果。

2 預聚集的使用演示

下面給出了如何開啟 Preagg Block Scan 以及支持 Block Skipping 的 Preagg Bitmap Block Scan 的使用方式。最后給出了對應的性能對比圖。

2.1 Preagg Block Scan 使用方式

-- 創(chuàng)建 t 表
create table t(a int, b int, c int);-- 寫入三行數據
insert into t values(1,2,3);
insert into t values(3,3,5);
insert into t values(4,4,6);-- 開啟 preagg，默認是開啟的
set pdb_enable_preagg = on;-- 執(zhí)行如下的 query
explain (costs off) select sum(b), avg(c), count(*) from t;QUERY PLAN
------------------------------------------------Finalize Aggregate->  Gather Motion 3:1  (slice1; segments: 3)->  Pre-Aggregate Block Scan on tOptimizer: Postgres query optimizer
(4 rows)-- 開啟后的執(zhí)行結果
select sum(b), avg(c), count(*) from t;sum |        avg         | count
-----+--------------------+-------9 | 4.6666666666666667 |     3
(1 row)-- 關閉 preagg 
set pdb_enable_preagg = off;-- 執(zhí)行同一條 query
explain (costs off) select sum(b), avg(c), count(*) from t;QUERY PLAN
------------------------------------------------Aggregate->  Gather Motion 3:1  (slice1; segments: 3)->  Seq Scan on tOptimizer: Postgres query optimizer
(4 rows)-- 關閉后的執(zhí)行結果
select sum(b), avg(c), count(*) from t;sum |        avg         | count
-----+--------------------+-------9 | 4.6666666666666667 |     3
(1 row)

2.2 Preagg Bitmap Block Scan 使用方式

create table t(a int, b int);
insert into t values(generate_series(1, 20), generate_series(100, 120));
insert into t values(generate_series(21, 60), generate_series(121, 160));-- 開啟 preagg，默認是開啟的
set pdb_enable_preagg = on;
-- 下面是開啟 Pre-Aggregate Bitmap Block Scan 的幾個 guc
set enable_seqscan = off;
set enable_bitmapscan = on;
set enable_indexscan = on;-- 執(zhí)行如下的 query
explain (costs off) select max(a), sum(a) from t where a > 10 and a < 50;QUERY PLAN
---------------------------------------------------------------Finalize Aggregate->  Gather Motion 3:1  (slice1; segments: 3)->  Partial Aggregate->  Pre-Aggregate Bitmap Block Scan on tRecheck Cond: ((a > 10) AND (a < 50))->  Bitmap Index Scan on tIndex Cond: ((a > 10) AND (a < 50))Optimizer: Postgres query optimizer
(8 rows)-- 開啟后的執(zhí)行結果
select max(a), sum(a) from t where a > 10 and a < 50;max | sum
-----+------49 | 1170
(1 row)-- 關閉 preagg 
set pdb_enable_preagg = off;-- 執(zhí)行同一條 query
explain (costs off) select max(a), sum(a) from t where a > 10 and a < 50;QUERY PLAN
---------------------------------------------------------------Finalize Aggregate->  Gather Motion 3:1  (slice1; segments: 3)->  Partial Aggregate->  Bitmap Heap Scan on tRecheck Cond: ((a > 10) AND (a < 50))->  Bitmap Index Scan on tIndex Cond: ((a > 10) AND (a < 50))Optimizer: Postgres query optimizer
(8 rows)-- 關閉后的執(zhí)行結果
select max(a), sum(a) from t where a > 10 and a < 50;max | sum
-----+------49 | 1170
(1 row)

2.3 性能對比

測試表：

create table preaggdata (a int, b int);

測試語句：

explain analyze select sum(a), avg(a), count(*), max(b) from preaggdata;

耗時對比圖如下所示:

耗時對比圖

從上面的測試數據和對比圖可以看出，未開啟 Pre-Agg 時，隨著數據量的增大，耗時不斷增大，且增加的速度也會越來越快；而開啟 Pre-Agg 時，耗時是平穩(wěn)的增長的，增長的速度也不快。當數據量達到 10000K 時，實現(xiàn)了近 28 倍的速度提升。

3 預聚集未來演變之路

目前，Pre-Aggregate 采用「空間」換「時間」的策略來提升性能效率。為了擴大 Pre-Aggregate 的應用范圍，優(yōu)化用戶體驗，我們將不斷推動技術研發(fā)，擴大應用場景，并提供更加豐富、多元的功能。

無論是通過優(yōu)化數據處理方式，拓展支持的函數類型，還是引進新的查詢處理機制，我們都在鍥而不舍地努力實現(xiàn)這一目標。相信很快，Pre-Aggregate 將能夠為復雜的查詢場景提供更高效、更精準的解決方案，從而逐步深化其在數據分析和處理領域的應用影響力。