本期，我們更新和優(yōu)化了數(shù)據(jù)資產平臺相關功能，為您提供更高效的產品能力。以下為第12期袋鼠云產品功能更新報告，請繼續(xù)閱讀。

一、【元數(shù)據(jù)】重點更新

｜01 元數(shù)據(jù)管理優(yōu)化，支持配置表生命周期

之前系統(tǒng)中缺少一個可以基于數(shù)據(jù)源和數(shù)據(jù)庫維度，批量配置數(shù)據(jù)表生命周期的入口，導致用戶在處理大量數(shù)據(jù)表時會非常耗時且效率低下。

為了改善這一狀況，新功能在元數(shù)據(jù)管理頁面上做出調整，將展示的維度修改為“數(shù)據(jù)源--數(shù)據(jù)庫--數(shù)據(jù)表”。支持基于數(shù)據(jù)源、數(shù)據(jù)庫、數(shù)據(jù)表維度進行生命周期的批量配置，提高了操作的便捷性和管理效率。

｜02 支持記錄每條 SQL 解析出的血緣關系

在「數(shù)據(jù)地圖」-「離線任務詳情」頁面，支持對解析 SQL 結果進行記錄，包含 SQL 語句、解析結果（成功/失敗）、解析時間，針對解析成功的可查看此條 SQL 對應的血緣關系圖譜（只展示表級圖譜），針對解析失敗的可查看日志，以便找出問題所在并進行修正。

｜03 豐富元數(shù)據(jù)的展示信息

本次更新中我們豐富了元數(shù)據(jù)的展示信息，提供更詳盡的內容描述。

（1）「數(shù)據(jù)地圖」-「表詳情」頁面支持在數(shù)據(jù)表名下方展示表質量評分(若該表無質量評分則不展示），支持點擊數(shù)據(jù)質量評分后跳轉至：數(shù)據(jù)質量>質量報告> 該數(shù)據(jù)表的質量報告，提供更詳細的數(shù)據(jù)質量信息。

（2）表信息新增熱度統(tǒng)計按鈕，并且增加了四個新的統(tǒng)計數(shù)據(jù)：訂閱數(shù)、使用次數(shù)、查看次數(shù)和影響表數(shù)。

（3）針對「操作記錄」板塊，新增了 DML 操作記錄，增強了數(shù)據(jù)使用的透明度和可追溯性。

｜04 新增支持 Doris 數(shù)據(jù)源

針對 Doris2.x 類型數(shù)據(jù)源支持元數(shù)據(jù)采集、血緣分析、數(shù)據(jù)治理（不包括小文件治理）、數(shù)據(jù)質量（所有功能均支持）、數(shù)據(jù)脫敏、數(shù)據(jù)權限（行列級權限）；

離線開發(fā)模塊創(chuàng)建的 meta Doris2.x 數(shù)據(jù)源支持自動引入并自動創(chuàng)建周期同步任務，簡化流程提高效率。

｜05 新增支持自動引入數(shù)據(jù)源的設置管理模塊

針對離線開發(fā)、指標和標簽模塊中自動引入的數(shù)據(jù)源，新增數(shù)據(jù)源自動引入設置，可以選擇是否自動創(chuàng)建周期同步任務/是否自動同步該數(shù)據(jù)源下的數(shù)據(jù)表信息，并且支持按照子產品、項目維度、數(shù)據(jù)源類型維度進行設置開啟/關閉自動引入功能。

二、【數(shù)據(jù)模型】重點更新

｜01 規(guī)范建表的建表聯(lián)想模式配置內容擴充

（1）向導模式配置內容擴充： 針對 ADB 類型建表支持配置字段是否為主鍵、是否為空，精度值； 針對 Inceptor、Hive、Spark 類型建表支持配置精度值； Inceptor 支持配置事務表/非事務表，支持指定 HDFS 存儲路徑。 （2）當數(shù)據(jù)標準中配置了長度、精度信息時，引用標準可自動同步。 （3）支持 Hive3.x（Apache） 類型數(shù)據(jù)源的建表，建表邏輯和 Hive2.x 保持一致。

｜02 編輯表操作對接審批中心

新增「數(shù)據(jù)模型」-數(shù)據(jù)建表/刪表/編輯表操作對接審批中心，實現(xiàn)審批流程標準化，規(guī)范了數(shù)據(jù)管理流程。 （1）在資產平臺中，針對無數(shù)據(jù)模型審批權限的用戶，在進行數(shù)據(jù)表的新增、編輯、刪除操作時，均需要進行審批，審批動作統(tǒng)一在審批中心進行操作，同時，用戶可以在「我的模型」模塊查看審批進度、進行撤回操作。 （2）「審批中心」新增“數(shù)據(jù)模型申請”流程，允許審批人對申請進行通過或駁回的操作。針對數(shù)據(jù)資產中撤回的模型申請，審批中心的“待審批”模塊不再展示此條申請數(shù)據(jù)，確保審批隊列的實時性和準確性，提高審批效率。 （3）歷史數(shù)據(jù)遷移到審批中心進行留存。

三、【數(shù)據(jù)質量】重點更新

｜01 新增支持MySQL、StarRocks數(shù)據(jù)源類型建表

用戶現(xiàn)在可以利用MySQL、StarRocks數(shù)據(jù)源類型建表。

｜02 數(shù)據(jù)表質量校驗支持質量評分

新增支持針對單表校驗的表級質量報告分析，內容包含表質量評分、質量分值變化趨勢、質量評估概覽、近期規(guī)則校驗異常明細、近期校驗結果。

同時，「質量概覽」頁面新增針對單表校驗下各個數(shù)據(jù)表的表級質量分排名，幫助用戶更直觀地了解和比較不同數(shù)據(jù)表之間的質量狀況。

｜03 支持自動關聯(lián)離線任務運行周期

在項目中，多個客戶在運行質量規(guī)則時反饋，期望當質量任務關聯(lián)了離線任務后，能夠依據(jù)離線任務的時間運行質量任務，并確保兩者之間能夠關聯(lián)。

因此本期新增功能，在單表校驗-質量規(guī)則創(chuàng)建時，若關聯(lián)了離線任務，支持選擇調度周期是否自動依賴于離線任務運行。

｜04 對接數(shù)據(jù)標準自動創(chuàng)建質量規(guī)則

當出現(xiàn)數(shù)據(jù)質量的規(guī)范性校驗和數(shù)據(jù)標準設定規(guī)則基本一致的情況時，優(yōu)化數(shù)據(jù)質量的規(guī)范性校驗規(guī)則設計邏輯，支持與數(shù)據(jù)標準進行對接。

數(shù)據(jù)質量創(chuàng)建規(guī)范性校驗規(guī)則時，支持對接數(shù)據(jù)標準從而自動創(chuàng)建質量規(guī)則。具體來說： 當用戶創(chuàng)建新的規(guī)范性校驗規(guī)則，若識別到選擇的字段為綁定了標準的字段，支持選擇是否引用標準規(guī)則； 如果用戶選擇引用標準規(guī)則，平臺則會根據(jù)標準中定義的長度、精度、枚舉個數(shù)、是否空值、是否重復，自動生成質量校驗規(guī)則。

｜05 質量任務定時執(zhí)行可以關聯(lián)自定義調度周期

此前，在配置質量規(guī)則時，無法關聯(lián)自定義調度周期進行質量任務的運行，導致無法滿足用戶個性化配置運行周期的需求；并且在質量任務運行過程中，存在一個質量任務運行時間過長的情況，中途無法停止導致無法釋放資源。為了改善這些問題，本期進行了以下優(yōu)化：

（1）在質量規(guī)則創(chuàng)建，配置調度信息時支持關聯(lián)自定義調度周期，修改模塊包含新建/編輯單表校驗規(guī)則、多表校驗規(guī)則、規(guī)則集，查看規(guī)則詳情。 （2）支持中途停止質量任務：質量規(guī)則創(chuàng)建后，支持在質量任務運行過程中進行中途停止操作。有助于及時釋放被占用的資源，避免不必要的等待時間，提供更加靈活和高效的服務。

四、【數(shù)據(jù)治理】重點更新

｜01 新增支持StarRocks2.x、3.x數(shù)據(jù)源

數(shù)據(jù)質量模塊新增支持StarRocks2.x、3.x數(shù)據(jù)源，包含單表校驗（需要支持所有校驗函數(shù)）、多表比對、規(guī)則集校驗、表質量評分等質量相關的所有功能模塊。

｜02 小文件治理優(yōu)化

小文件治理功能旨在解決大數(shù)據(jù)存儲系統(tǒng)中由于大量小文件存在而導致的性能問題和存儲效率低下，本期對小文件治理功能進行優(yōu)化： 小文件治理后端處理邏輯優(yōu)化； 在進行周期治理/單次治理時，支持選擇 Local 模式/Remote 模式； 針對新增的 Remote 模式支持中途取消操作。

｜03 支持健康資產分權重調整

此前資產健康分不支持用戶自定義設置，為了更好地讓用戶對在意的數(shù)據(jù)實現(xiàn)針對性的管控，本期增加自定義功能，支持資產健康分權重配置，用戶可以自己調整健康分的權重占比，同時展示扣分規(guī)則。

五、【數(shù)據(jù)安全】重點更新

｜01 數(shù)據(jù)權限管理新增權限回收功能

為了增強數(shù)據(jù)權限管理的靈活性和安全性，新增“權限回收”功能。在「數(shù)據(jù)權限管理」頁面中，新增“權限回收”，列表展示每個用戶自己申請且已經(jīng)通過的權限列表，可通過權限回收將此用戶的權限信息刪除。此功能默認僅對管理員開放，確保權限管理的安全性和可控性。

｜02 數(shù)據(jù)分級分類應用

新增大量數(shù)據(jù)分級分類應用： （1）級別管理 支持按照用戶賦予等級，默認提供L1～L5共5個用戶等級，管理員可通過“編輯”按鈕修改用戶等級。默認級別對應的開放用戶等級為L1，可通過編輯操作進行修改，若有的用戶沒有配置用戶等級信息，則無等級用戶不受分級分類的權限管控；

編輯按鈕增加懸浮提示優(yōu)化，增加“申請權限”按鈕。

（2）數(shù)據(jù)地圖涉及模塊 在「數(shù)據(jù)地圖」數(shù)據(jù)表數(shù)據(jù)預覽時，列表的字段右側新增分級分類的標識。

（3）角色管理模塊 針對“數(shù)據(jù)分級—級別管理—操作”的權限，默認只給管理員開放，數(shù)開和訪客無此權限；針對頁面上的“申請權限”按鈕，跟隨用戶等級的配置控制是否顯示，不受角色的權限管控。

（4）審批中心 支持管理員在審批中心對分級權限的申請進行審批。

六、【平臺管理】重點更新

新增通知中心功能模塊：

（1）通知配置 支持對某一接收人批量配置資產所有的通知項、通知方式、通知內容、通知人、通知頻率等內容。 （2）通知記錄 通知記錄涵蓋針對每個單獨模塊配置的通知信息、以及通知中心批量配置的通知信息。

數(shù)據(jù)資產平臺其他功能優(yōu)化說明

｜01 【元數(shù)據(jù)】

支持TBDS_Hive 類型數(shù)據(jù)源，支持范圍包括元數(shù)據(jù)同步、血緣分析、數(shù)據(jù)地圖、元模型、元數(shù)據(jù)管理、元數(shù)據(jù)質量、資產盤點、數(shù)據(jù)安全（數(shù)據(jù)權限） 元數(shù)據(jù)周期同步增加同步狀態(tài)“等待同步”，當周期同步任務存在待同步任務，且沒有開始同步時，狀態(tài)展示為“等待同步” 元數(shù)據(jù)周期同步時，可選擇同步全部內容/除去表行數(shù)和存儲的全部內容功能，新增支持 MySQL、Oracle、SQLServer、TiDB、Greenplum、ADB PostgreSQL、StarRocks、HashData、OushuDB 針對 Sparkthirft2.x 數(shù)據(jù)源類型，支持物化視圖的查詢、同步、維護 「數(shù)據(jù)地圖」-「數(shù)據(jù)表詳情」中針對表行數(shù)、存儲大小，支持顯示更新時間 「數(shù)據(jù)地圖」-「表詳情」頁面針對字段中文名支持修改操作，支持單個修改/批量操作 針對表的業(yè)務屬性為string類型的，默認值的最大長度為255字符，并且在編輯業(yè)務屬性頁面進行最大長度提示 數(shù)據(jù)目錄支持左右拉伸，支持選擇該層級的整個范圍進行拖動 數(shù)據(jù)地圖中移除表生命周期編輯入口，僅展示生命周期信息，用戶統(tǒng)一在元數(shù)據(jù)管理模塊對表生命周期進行編輯 支持對表負責人的權限點管理，表負責人變更為非必填屬性 優(yōu)化 ADB 類型血緣解析由于識別數(shù)據(jù)表名大小寫不敏感導致解析失敗的問題 周期同步任務創(chuàng)建/編輯頁面，針對表行數(shù)和存儲大小的同步提示信息優(yōu)化 數(shù)據(jù)地圖中離線任務SQL語句字段存儲格式優(yōu)化，把存儲格式由“text”調整為“l(fā)ongtext”，前端懸浮展示默認展示 SQL 語句的前1024個字符，支持用戶通過 SQL 下載查看 SQL 的全部信息

｜02 【數(shù)據(jù)模型】

建表時新增保存的中間狀態(tài)，點擊“保存”按鈕后可臨時保存此次編輯的建表信息，并展示在列表中，可從列表進入再次編輯

｜03 【數(shù)據(jù)質量】

質量規(guī)則配置支持以數(shù)據(jù)源、數(shù)據(jù)庫、數(shù)據(jù)表的形式進行選擇，在創(chuàng)建質量規(guī)則時支持選擇臟數(shù)據(jù)存儲庫是否為默認存儲數(shù)據(jù)庫； 單表校驗針對規(guī)范性檢驗規(guī)則，增加支持針對枚舉值的檢驗，對接了數(shù)據(jù)標準自動生成的規(guī)范性校驗規(guī)則中，自動生成針對“枚舉值”這一規(guī)則的校驗； 規(guī)則列表中支持顯示當前的規(guī)則狀態(tài)為未開啟檢測/已開啟檢測； 支持查看規(guī)則集詳情，可記錄規(guī)則集的變更歷史及變更信息，版本信息包含操作人員、操作時間、保存歷史導入的Excel文件； 單表校驗波動檢測結果取值調整為取最新值。

｜04 【數(shù)據(jù)治理】

小文件治理編輯治理規(guī)則，針對分區(qū)表，查看分區(qū)時支持分頁查詢。

｜05 【平臺管理】

在移除用戶時判斷是否進行交接中，支持校驗原用戶是否有負責表（也就是數(shù)據(jù)表的負責人為原用戶），若有，需要提示需要進行權限交接，交接后表負責人自動變更為轉讓人用戶。 《行業(yè)指標體系白皮書》下載地址：https://www.dtstack.com/resources/1057?src=szsm

《數(shù)棧產品白皮書》下載地址：https://www.dtstack.com/resources/1004?src=szsm

《數(shù)據(jù)治理行業(yè)實踐白皮書》下載地址：https://www.dtstack.com/resources/1001?src=szsm

想了解或咨詢更多有關大數(shù)據(jù)產品、行業(yè)解決方案、客戶案例的朋友，瀏覽袋鼠云官網(wǎng)：https://www.dtstack.com/?src=szcsdn