本期，我們更新和優(yōu)化了數(shù)據(jù)資產(chǎn)平臺(tái)相關(guān)功能，為您提供更高效的產(chǎn)品能力。以下為第12期袋鼠云產(chǎn)品功能更新報(bào)告，請(qǐng)繼續(xù)閱讀。

一、【元數(shù)據(jù)】重點(diǎn)更新

｜01 元數(shù)據(jù)管理優(yōu)化，支持配置表生命周期

之前系統(tǒng)中缺少一個(gè)可以基于數(shù)據(jù)源和數(shù)據(jù)庫維度，批量配置數(shù)據(jù)表生命周期的入口，導(dǎo)致用戶在處理大量數(shù)據(jù)表時(shí)會(huì)非常耗時(shí)且效率低下。

為了改善這一狀況，新功能在元數(shù)據(jù)管理頁面上做出調(diào)整，將展示的維度修改為“數(shù)據(jù)源--數(shù)據(jù)庫--數(shù)據(jù)表”。支持基于數(shù)據(jù)源、數(shù)據(jù)庫、數(shù)據(jù)表維度進(jìn)行生命周期的批量配置，提高了操作的便捷性和管理效率。

｜02 支持記錄每條 SQL 解析出的血緣關(guān)系

在「數(shù)據(jù)地圖」-「離線任務(wù)詳情」頁面，支持對(duì)解析 SQL 結(jié)果進(jìn)行記錄，包含 SQL 語句、解析結(jié)果（成功/失敗）、解析時(shí)間，針對(duì)解析成功的可查看此條 SQL 對(duì)應(yīng)的血緣關(guān)系圖譜（只展示表級(jí)圖譜），針對(duì)解析失敗的可查看日志，以便找出問題所在并進(jìn)行修正。

｜03 豐富元數(shù)據(jù)的展示信息

本次更新中我們豐富了元數(shù)據(jù)的展示信息，提供更詳盡的內(nèi)容描述。

（1）「數(shù)據(jù)地圖」-「表詳情」頁面支持在數(shù)據(jù)表名下方展示表質(zhì)量評(píng)分(若該表無質(zhì)量評(píng)分則不展示），支持點(diǎn)擊數(shù)據(jù)質(zhì)量評(píng)分后跳轉(zhuǎn)至：數(shù)據(jù)質(zhì)量>質(zhì)量報(bào)告> 該數(shù)據(jù)表的質(zhì)量報(bào)告，提供更詳細(xì)的數(shù)據(jù)質(zhì)量信息。

（2）表信息新增熱度統(tǒng)計(jì)按鈕，并且增加了四個(gè)新的統(tǒng)計(jì)數(shù)據(jù)：訂閱數(shù)、使用次數(shù)、查看次數(shù)和影響表數(shù)。

（3）針對(duì)「操作記錄」板塊，新增了 DML 操作記錄，增強(qiáng)了數(shù)據(jù)使用的透明度和可追溯性。

｜04 新增支持 Doris 數(shù)據(jù)源

針對(duì) Doris2.x 類型數(shù)據(jù)源支持元數(shù)據(jù)采集、血緣分析、數(shù)據(jù)治理（不包括小文件治理）、數(shù)據(jù)質(zhì)量（所有功能均支持）、數(shù)據(jù)脫敏、數(shù)據(jù)權(quán)限（行列級(jí)權(quán)限）；

離線開發(fā)模塊創(chuàng)建的 meta Doris2.x 數(shù)據(jù)源支持自動(dòng)引入并自動(dòng)創(chuàng)建周期同步任務(wù)，簡化流程提高效率。

｜05 新增支持自動(dòng)引入數(shù)據(jù)源的設(shè)置管理模塊

針對(duì)離線開發(fā)、指標(biāo)和標(biāo)簽?zāi)K中自動(dòng)引入的數(shù)據(jù)源，新增數(shù)據(jù)源自動(dòng)引入設(shè)置，可以選擇是否自動(dòng)創(chuàng)建周期同步任務(wù)/是否自動(dòng)同步該數(shù)據(jù)源下的數(shù)據(jù)表信息，并且支持按照子產(chǎn)品、項(xiàng)目維度、數(shù)據(jù)源類型維度進(jìn)行設(shè)置開啟/關(guān)閉自動(dòng)引入功能。

二、【數(shù)據(jù)模型】重點(diǎn)更新

｜01 規(guī)范建表的建表聯(lián)想模式配置內(nèi)容擴(kuò)充

（1）向?qū)Ｊ脚渲脙?nèi)容擴(kuò)充： 針對(duì) ADB 類型建表支持配置字段是否為主鍵、是否為空，精度值； 針對(duì) Inceptor、Hive、Spark 類型建表支持配置精度值； Inceptor 支持配置事務(wù)表/非事務(wù)表，支持指定 HDFS 存儲(chǔ)路徑。 （2）當(dāng)數(shù)據(jù)標(biāo)準(zhǔn)中配置了長度、精度信息時(shí)，引用標(biāo)準(zhǔn)可自動(dòng)同步。 （3）支持 Hive3.x（Apache） 類型數(shù)據(jù)源的建表，建表邏輯和 Hive2.x 保持一致。

｜02 編輯表操作對(duì)接審批中心

新增「數(shù)據(jù)模型」-數(shù)據(jù)建表/刪表/編輯表操作對(duì)接審批中心，實(shí)現(xiàn)審批流程標(biāo)準(zhǔn)化，規(guī)范了數(shù)據(jù)管理流程。 （1）在資產(chǎn)平臺(tái)中，針對(duì)無數(shù)據(jù)模型審批權(quán)限的用戶，在進(jìn)行數(shù)據(jù)表的新增、編輯、刪除操作時(shí)，均需要進(jìn)行審批，審批動(dòng)作統(tǒng)一在審批中心進(jìn)行操作，同時(shí)，用戶可以在「我的模型」模塊查看審批進(jìn)度、進(jìn)行撤回操作。 （2）「審批中心」新增“數(shù)據(jù)模型申請(qǐng)”流程，允許審批人對(duì)申請(qǐng)進(jìn)行通過或駁回的操作。針對(duì)數(shù)據(jù)資產(chǎn)中撤回的模型申請(qǐng)，審批中心的“待審批”模塊不再展示此條申請(qǐng)數(shù)據(jù)，確保審批隊(duì)列的實(shí)時(shí)性和準(zhǔn)確性，提高審批效率。 （3）歷史數(shù)據(jù)遷移到審批中心進(jìn)行留存。

三、【數(shù)據(jù)質(zhì)量】重點(diǎn)更新

｜01 新增支持MySQL、StarRocks數(shù)據(jù)源類型建表

用戶現(xiàn)在可以利用MySQL、StarRocks數(shù)據(jù)源類型建表。

｜02 數(shù)據(jù)表質(zhì)量校驗(yàn)支持質(zhì)量評(píng)分

新增支持針對(duì)單表校驗(yàn)的表級(jí)質(zhì)量報(bào)告分析，內(nèi)容包含表質(zhì)量評(píng)分、質(zhì)量分值變化趨勢、質(zhì)量評(píng)估概覽、近期規(guī)則校驗(yàn)異常明細(xì)、近期校驗(yàn)結(jié)果。

同時(shí)，「質(zhì)量概覽」頁面新增針對(duì)單表校驗(yàn)下各個(gè)數(shù)據(jù)表的表級(jí)質(zhì)量分排名，幫助用戶更直觀地了解和比較不同數(shù)據(jù)表之間的質(zhì)量狀況。

｜03 支持自動(dòng)關(guān)聯(lián)離線任務(wù)運(yùn)行周期

在項(xiàng)目中，多個(gè)客戶在運(yùn)行質(zhì)量規(guī)則時(shí)反饋，期望當(dāng)質(zhì)量任務(wù)關(guān)聯(lián)了離線任務(wù)后，能夠依據(jù)離線任務(wù)的時(shí)間運(yùn)行質(zhì)量任務(wù)，并確保兩者之間能夠關(guān)聯(lián)。

因此本期新增功能，在單表校驗(yàn)-質(zhì)量規(guī)則創(chuàng)建時(shí)，若關(guān)聯(lián)了離線任務(wù)，支持選擇調(diào)度周期是否自動(dòng)依賴于離線任務(wù)運(yùn)行。

｜04 對(duì)接數(shù)據(jù)標(biāo)準(zhǔn)自動(dòng)創(chuàng)建質(zhì)量規(guī)則

當(dāng)出現(xiàn)數(shù)據(jù)質(zhì)量的規(guī)范性校驗(yàn)和數(shù)據(jù)標(biāo)準(zhǔn)設(shè)定規(guī)則基本一致的情況時(shí)，優(yōu)化數(shù)據(jù)質(zhì)量的規(guī)范性校驗(yàn)規(guī)則設(shè)計(jì)邏輯，支持與數(shù)據(jù)標(biāo)準(zhǔn)進(jìn)行對(duì)接。

數(shù)據(jù)質(zhì)量創(chuàng)建規(guī)范性校驗(yàn)規(guī)則時(shí)，支持對(duì)接數(shù)據(jù)標(biāo)準(zhǔn)從而自動(dòng)創(chuàng)建質(zhì)量規(guī)則。具體來說： 當(dāng)用戶創(chuàng)建新的規(guī)范性校驗(yàn)規(guī)則，若識(shí)別到選擇的字段為綁定了標(biāo)準(zhǔn)的字段，支持選擇是否引用標(biāo)準(zhǔn)規(guī)則； 如果用戶選擇引用標(biāo)準(zhǔn)規(guī)則，平臺(tái)則會(huì)根據(jù)標(biāo)準(zhǔn)中定義的長度、精度、枚舉個(gè)數(shù)、是否空值、是否重復(fù)，自動(dòng)生成質(zhì)量校驗(yàn)規(guī)則。

｜05 質(zhì)量任務(wù)定時(shí)執(zhí)行可以關(guān)聯(lián)自定義調(diào)度周期

此前，在配置質(zhì)量規(guī)則時(shí)，無法關(guān)聯(lián)自定義調(diào)度周期進(jìn)行質(zhì)量任務(wù)的運(yùn)行，導(dǎo)致無法滿足用戶個(gè)性化配置運(yùn)行周期的需求；并且在質(zhì)量任務(wù)運(yùn)行過程中，存在一個(gè)質(zhì)量任務(wù)運(yùn)行時(shí)間過長的情況，中途無法停止導(dǎo)致無法釋放資源。為了改善這些問題，本期進(jìn)行了以下優(yōu)化：

（1）在質(zhì)量規(guī)則創(chuàng)建，配置調(diào)度信息時(shí)支持關(guān)聯(lián)自定義調(diào)度周期，修改模塊包含新建/編輯單表校驗(yàn)規(guī)則、多表校驗(yàn)規(guī)則、規(guī)則集，查看規(guī)則詳情。 （2）支持中途停止質(zhì)量任務(wù)：質(zhì)量規(guī)則創(chuàng)建后，支持在質(zhì)量任務(wù)運(yùn)行過程中進(jìn)行中途停止操作。有助于及時(shí)釋放被占用的資源，避免不必要的等待時(shí)間，提供更加靈活和高效的服務(wù)。

四、【數(shù)據(jù)治理】重點(diǎn)更新

｜01 新增支持StarRocks2.x、3.x數(shù)據(jù)源

數(shù)據(jù)質(zhì)量模塊新增支持StarRocks2.x、3.x數(shù)據(jù)源，包含單表校驗(yàn)（需要支持所有校驗(yàn)函數(shù)）、多表比對(duì)、規(guī)則集校驗(yàn)、表質(zhì)量評(píng)分等質(zhì)量相關(guān)的所有功能模塊。

｜02 小文件治理優(yōu)化

小文件治理功能旨在解決大數(shù)據(jù)存儲(chǔ)系統(tǒng)中由于大量小文件存在而導(dǎo)致的性能問題和存儲(chǔ)效率低下，本期對(duì)小文件治理功能進(jìn)行優(yōu)化： 小文件治理后端處理邏輯優(yōu)化； 在進(jìn)行周期治理/單次治理時(shí)，支持選擇 Local 模式/Remote 模式； 針對(duì)新增的 Remote 模式支持中途取消操作。

｜03 支持健康資產(chǎn)分權(quán)重調(diào)整

此前資產(chǎn)健康分不支持用戶自定義設(shè)置，為了更好地讓用戶對(duì)在意的數(shù)據(jù)實(shí)現(xiàn)針對(duì)性的管控，本期增加自定義功能，支持資產(chǎn)健康分權(quán)重配置，用戶可以自己調(diào)整健康分的權(quán)重占比，同時(shí)展示扣分規(guī)則。

五、【數(shù)據(jù)安全】重點(diǎn)更新

｜01 數(shù)據(jù)權(quán)限管理新增權(quán)限回收功能

為了增強(qiáng)數(shù)據(jù)權(quán)限管理的靈活性和安全性，新增“權(quán)限回收”功能。在「數(shù)據(jù)權(quán)限管理」頁面中，新增“權(quán)限回收”，列表展示每個(gè)用戶自己申請(qǐng)且已經(jīng)通過的權(quán)限列表，可通過權(quán)限回收將此用戶的權(quán)限信息刪除。此功能默認(rèn)僅對(duì)管理員開放，確保權(quán)限管理的安全性和可控性。

｜02 數(shù)據(jù)分級(jí)分類應(yīng)用

新增大量數(shù)據(jù)分級(jí)分類應(yīng)用： （1）級(jí)別管理 支持按照用戶賦予等級(jí)，默認(rèn)提供L1～L5共5個(gè)用戶等級(jí)，管理員可通過“編輯”按鈕修改用戶等級(jí)。默認(rèn)級(jí)別對(duì)應(yīng)的開放用戶等級(jí)為L1，可通過編輯操作進(jìn)行修改，若有的用戶沒有配置用戶等級(jí)信息，則無等級(jí)用戶不受分級(jí)分類的權(quán)限管控；

編輯按鈕增加懸浮提示優(yōu)化，增加“申請(qǐng)權(quán)限”按鈕。

（2）數(shù)據(jù)地圖涉及模塊 在「數(shù)據(jù)地圖」數(shù)據(jù)表數(shù)據(jù)預(yù)覽時(shí)，列表的字段右側(cè)新增分級(jí)分類的標(biāo)識(shí)。

（3）角色管理模塊 針對(duì)“數(shù)據(jù)分級(jí)—級(jí)別管理—操作”的權(quán)限，默認(rèn)只給管理員開放，數(shù)開和訪客無此權(quán)限；針對(duì)頁面上的“申請(qǐng)權(quán)限”按鈕，跟隨用戶等級(jí)的配置控制是否顯示，不受角色的權(quán)限管控。

（4）審批中心 支持管理員在審批中心對(duì)分級(jí)權(quán)限的申請(qǐng)進(jìn)行審批。

六、【平臺(tái)管理】重點(diǎn)更新

新增通知中心功能模塊：

（1）通知配置 支持對(duì)某一接收人批量配置資產(chǎn)所有的通知項(xiàng)、通知方式、通知內(nèi)容、通知人、通知頻率等內(nèi)容。 （2）通知記錄 通知記錄涵蓋針對(duì)每個(gè)單獨(dú)模塊配置的通知信息、以及通知中心批量配置的通知信息。

數(shù)據(jù)資產(chǎn)平臺(tái)其他功能優(yōu)化說明

｜01 【元數(shù)據(jù)】

支持TBDS_Hive 類型數(shù)據(jù)源，支持范圍包括元數(shù)據(jù)同步、血緣分析、數(shù)據(jù)地圖、元模型、元數(shù)據(jù)管理、元數(shù)據(jù)質(zhì)量、資產(chǎn)盤點(diǎn)、數(shù)據(jù)安全（數(shù)據(jù)權(quán)限） 元數(shù)據(jù)周期同步增加同步狀態(tài)“等待同步”，當(dāng)周期同步任務(wù)存在待同步任務(wù)，且沒有開始同步時(shí)，狀態(tài)展示為“等待同步” 元數(shù)據(jù)周期同步時(shí)，可選擇同步全部內(nèi)容/除去表行數(shù)和存儲(chǔ)的全部內(nèi)容功能，新增支持 MySQL、Oracle、SQLServer、TiDB、Greenplum、ADB PostgreSQL、StarRocks、HashData、OushuDB 針對(duì) Sparkthirft2.x 數(shù)據(jù)源類型，支持物化視圖的查詢、同步、維護(hù) 「數(shù)據(jù)地圖」-「數(shù)據(jù)表詳情」中針對(duì)表行數(shù)、存儲(chǔ)大小，支持顯示更新時(shí)間 「數(shù)據(jù)地圖」-「表詳情」頁面針對(duì)字段中文名支持修改操作，支持單個(gè)修改/批量操作 針對(duì)表的業(yè)務(wù)屬性為string類型的，默認(rèn)值的最大長度為255字符，并且在編輯業(yè)務(wù)屬性頁面進(jìn)行最大長度提示 數(shù)據(jù)目錄支持左右拉伸，支持選擇該層級(jí)的整個(gè)范圍進(jìn)行拖動(dòng) 數(shù)據(jù)地圖中移除表生命周期編輯入口，僅展示生命周期信息，用戶統(tǒng)一在元數(shù)據(jù)管理模塊對(duì)表生命周期進(jìn)行編輯 支持對(duì)表負(fù)責(zé)人的權(quán)限點(diǎn)管理，表負(fù)責(zé)人變更為非必填屬性 優(yōu)化 ADB 類型血緣解析由于識(shí)別數(shù)據(jù)表名大小寫不敏感導(dǎo)致解析失敗的問題 周期同步任務(wù)創(chuàng)建/編輯頁面，針對(duì)表行數(shù)和存儲(chǔ)大小的同步提示信息優(yōu)化 數(shù)據(jù)地圖中離線任務(wù)SQL語句字段存儲(chǔ)格式優(yōu)化，把存儲(chǔ)格式由“text”調(diào)整為“l(fā)ongtext”，前端懸浮展示默認(rèn)展示 SQL 語句的前1024個(gè)字符，支持用戶通過 SQL 下載查看 SQL 的全部信息

｜02 【數(shù)據(jù)模型】

建表時(shí)新增保存的中間狀態(tài)，點(diǎn)擊“保存”按鈕后可臨時(shí)保存此次編輯的建表信息，并展示在列表中，可從列表進(jìn)入再次編輯

｜03 【數(shù)據(jù)質(zhì)量】

質(zhì)量規(guī)則配置支持以數(shù)據(jù)源、數(shù)據(jù)庫、數(shù)據(jù)表的形式進(jìn)行選擇，在創(chuàng)建質(zhì)量規(guī)則時(shí)支持選擇臟數(shù)據(jù)存儲(chǔ)庫是否為默認(rèn)存儲(chǔ)數(shù)據(jù)庫； 單表校驗(yàn)針對(duì)規(guī)范性檢驗(yàn)規(guī)則，增加支持針對(duì)枚舉值的檢驗(yàn)，對(duì)接了數(shù)據(jù)標(biāo)準(zhǔn)自動(dòng)生成的規(guī)范性校驗(yàn)規(guī)則中，自動(dòng)生成針對(duì)“枚舉值”這一規(guī)則的校驗(yàn)； 規(guī)則列表中支持顯示當(dāng)前的規(guī)則狀態(tài)為未開啟檢測/已開啟檢測； 支持查看規(guī)則集詳情，可記錄規(guī)則集的變更歷史及變更信息，版本信息包含操作人員、操作時(shí)間、保存歷史導(dǎo)入的Excel文件； 單表校驗(yàn)波動(dòng)檢測結(jié)果取值調(diào)整為取最新值。

｜04 【數(shù)據(jù)治理】

小文件治理編輯治理規(guī)則，針對(duì)分區(qū)表，查看分區(qū)時(shí)支持分頁查詢。

｜05 【平臺(tái)管理】

在移除用戶時(shí)判斷是否進(jìn)行交接中，支持校驗(yàn)原用戶是否有負(fù)責(zé)表（也就是數(shù)據(jù)表的負(fù)責(zé)人為原用戶），若有，需要提示需要進(jìn)行權(quán)限交接，交接后表負(fù)責(zé)人自動(dòng)變更為轉(zhuǎn)讓人用戶。 《行業(yè)指標(biāo)體系白皮書》下載地址：https://www.dtstack.com/resources/1057?src=szsm

《數(shù)棧產(chǎn)品白皮書》下載地址：https://www.dtstack.com/resources/1004?src=szsm

《數(shù)據(jù)治理行業(yè)實(shí)踐白皮書》下載地址：https://www.dtstack.com/resources/1001?src=szsm

想了解或咨詢更多有關(guān)大數(shù)據(jù)產(chǎn)品、行業(yè)解決方案、客戶案例的朋友，瀏覽袋鼠云官網(wǎng)：https://www.dtstack.com/?src=szcsdn