5月6日,,由國家金融與發(fā)展實(shí)驗(yàn)室金融科技研究中心學(xué)術(shù)指導(dǎo),,北京立言金融與發(fā)展研究院,、神州控股,、神州信息,、神州數(shù)碼集團(tuán)共同主辦的2023數(shù)云原力大會“數(shù)據(jù)資產(chǎn)•金融核心競爭力”主題論壇在京盛大舉辦,。作為全球金融科技大會系列論壇之一,,本次活動大咖云集,,DAMA主席汪廣盛分享了《2023數(shù)據(jù)管理十大新趨勢》,為數(shù)據(jù)管理發(fā)展帶來新的的思考與啟發(fā),。
趨勢一:數(shù)據(jù)項(xiàng)目和數(shù)據(jù)團(tuán)隊(duì)的價(jià)值需要自身來證明
數(shù)據(jù)管理和數(shù)字化轉(zhuǎn)型的工作已經(jīng)開展多年,,然而失敗的比例很高,部分完成了的項(xiàng)目效果也不是很明顯,。數(shù)據(jù)和數(shù)據(jù)團(tuán)隊(duì)的價(jià)值到底如何來實(shí)現(xiàn),,又如何評估?
2023年,,公司將更加重視評估數(shù)據(jù)項(xiàng)目的投資回報(bào)率(ROI),。數(shù)據(jù)和數(shù)據(jù)團(tuán)隊(duì)考核的指標(biāo)將開始成為主流。我們將看到數(shù)據(jù)團(tuán)隊(duì)開始開發(fā)評估指標(biāo)來衡量其價(jià)值,。這包括數(shù)據(jù)的業(yè)務(wù)價(jià)值(data monetization),,使用度量,例如數(shù)據(jù)使用(例如,,DAU,、WAU,、MAU和QUA),頁面瀏覽量或花費(fèi)在數(shù)據(jù)資產(chǎn)上的時(shí)間,,以及數(shù)據(jù)產(chǎn)品的應(yīng)用情況,滿足數(shù)據(jù)消費(fèi)者的d-NPS分?jǐn)?shù),,數(shù)據(jù)宕機(jī)等業(yè)務(wù)連續(xù)性指標(biāo),,還有數(shù)據(jù)質(zhì)量的評估等。
趨勢二:現(xiàn)代數(shù)據(jù)架構(gòu)越來越普遍
現(xiàn)代數(shù)據(jù)架構(gòu)并非新的概念,,但其影響決定了我們未來的趨勢,。其核心的一點(diǎn)是語言計(jì)算,DCMM是國內(nèi)首創(chuàng),,在推動我國數(shù)字化轉(zhuǎn)型方面做了相當(dāng)多的工作,。最近EDM委員會、DAMA,、谷歌在做線上的數(shù)據(jù)管理的評估體系,,對于DCMM、DAMA經(jīng)典的基于線下的數(shù)據(jù)評估體系帶來了深刻的影響,。
趨勢三:分布式趨勢
集中式的還是分布式,?從數(shù)字政府的角度看,我們所有的數(shù)據(jù)都是集中式的,,一是這種數(shù)據(jù)重復(fù)存儲的成本大大提升了,;二是數(shù)據(jù)完全集中的難度很大,成本很高,。于是市場出現(xiàn)了分布式的聲音,,即數(shù)據(jù)可以實(shí)時(shí)抓取、實(shí)時(shí)分析,,但數(shù)據(jù)不是由某一個(gè)集中化的數(shù)據(jù)團(tuán)隊(duì)來負(fù)責(zé),,而是仍存儲在各個(gè)地方,由各個(gè)部門來負(fù)責(zé)的——這就是數(shù)據(jù)民主化,。目前來看,,美國和歐盟分布式的數(shù)據(jù)存儲和處理的方式越來越多了,特別是數(shù)據(jù)編織(Data Fabric)落地特別多,,數(shù)據(jù)網(wǎng)格(Data Mesh)落地不是很多,,但是這種趨勢已經(jīng)很明顯。我相信中國也將很快朝著這個(gè)方向發(fā)展,。
趨勢四:主動型元數(shù)據(jù)管理
主動型元數(shù)據(jù)管理是可能性的趨勢,。2021年 8月,Gartner把元數(shù)據(jù)管理從有關(guān)技術(shù)象限圖中取消了,,取而代之的是主動型元數(shù)據(jù)管理,。這標(biāo)志著傳統(tǒng)的元數(shù)據(jù)管理方法的終結(jié),,并開啟了對元數(shù)據(jù)的新思考方式。元數(shù)據(jù)本身正在成為大數(shù)據(jù),,Snowflake和Redshift等計(jì)算引擎的技術(shù)進(jìn)步(比如彈性等)使從元數(shù)據(jù)中獲取智能成為可能,,這種方式在幾年前是難以想象的。現(xiàn)在元數(shù)據(jù)不止是作為查詢的工具,,它還影響到生產(chǎn)系統(tǒng),,如數(shù)據(jù)的熱點(diǎn)在哪、數(shù)據(jù)的安全屬性是什么樣等,。
趨勢五:基于AI的自動化管理
AI最初是基于管理數(shù)據(jù)質(zhì)量提出來的,。我們不能僅憑數(shù)據(jù)的準(zhǔn)確性來評估數(shù)據(jù)的質(zhì)量,還有其他緯度溝通可以評估,,我們希望原數(shù)據(jù)的管理有AI的系統(tǒng),,包括數(shù)據(jù)系統(tǒng)、數(shù)據(jù)的分類分級等等,。
自動化不僅僅發(fā)生在數(shù)據(jù)質(zhì)量上,。我們可以看到數(shù)據(jù)管理行業(yè)越來越多的流程變得自動化。公司需要開箱即用的解決方案,,可以使它們的一些任務(wù)自動化?,F(xiàn)在,我們看到人工智能和元數(shù)據(jù)使許多流程自動化,,隨著公司越來越多地接受數(shù)據(jù)民主化,,它們將需要自動化許多數(shù)據(jù)管理流程,并為業(yè)務(wù)用戶提供簡單的控制,。
趨勢六:數(shù)據(jù)可觀測性
數(shù)據(jù)可觀察性是組織根據(jù)收集的信息了解數(shù)據(jù)狀態(tài)的能力,。它通過自動化監(jiān)控系統(tǒng)來提供這種理解,幾乎沒有人工干預(yù),。具有數(shù)據(jù)可觀察性的組織可以識別有關(guān)其整個(gè)數(shù)據(jù)系統(tǒng)的數(shù)據(jù)質(zhì)量問題,、異常、模式更改等,。數(shù)據(jù)可觀測性的好處包括:監(jiān)測數(shù)據(jù)系統(tǒng)的質(zhì)量,,幾乎沒有領(lǐng)域知識;在實(shí)現(xiàn)之后,,用戶可以監(jiān)控全局并以最小的努力預(yù)防問題,;主動檢測問題并通知下游用戶(在問題影響下游系統(tǒng)之前);可以處理更復(fù)雜的數(shù)據(jù)系統(tǒng),,并識別領(lǐng)域?qū)<铱赡軟]有想到的問題,。
趨勢七:低代碼或者無代碼
我們以前至少需要20人在一年的時(shí)間建立數(shù)據(jù)倉庫,現(xiàn)在有可能30分鐘可以完成,。通過使應(yīng)用程序更簡單(需要更少的編碼),,可以讓更多的用戶和角色使用數(shù)據(jù)管理流程,。有了像Fivetran這樣的自動化數(shù)據(jù)管道工具和像dbt Labs這樣的轉(zhuǎn)換工具,提取和轉(zhuǎn)換不再需要一行代碼,。今天的現(xiàn)代數(shù)據(jù)堆棧很容易設(shè)置,,現(xiàn)收現(xiàn)付,即插即用,!像Fivetran和Snowflake這樣的工具可以讓用戶在不到30分鐘的時(shí)間內(nèi)建立數(shù)據(jù)倉庫,。
趨勢八:數(shù)據(jù)確權(quán)
“數(shù)據(jù)二十條”以解決市場主體遇到的實(shí)際問題為導(dǎo)向,創(chuàng)新數(shù)據(jù)產(chǎn)權(quán)觀念,,淡化所有權(quán)、強(qiáng)調(diào)使用權(quán),,聚焦數(shù)據(jù)使用權(quán)流通,,創(chuàng)造性提出建立數(shù)據(jù)資源持有權(quán)、數(shù)據(jù)加工使用權(quán)和數(shù)據(jù)產(chǎn)品經(jīng)營權(quán)“三權(quán)分置”的數(shù)據(jù)產(chǎn)權(quán)制度框架,,構(gòu)建中國特色數(shù)據(jù)產(chǎn)權(quán)制度體系,。數(shù)據(jù)上升到生產(chǎn)要素后,確權(quán)問題就顯得特別重要,。針對精準(zhǔn)確權(quán),,我們與清華大學(xué)推出了的相關(guān)方法論。
趨勢九:數(shù)據(jù)價(jià)值評估
數(shù)據(jù)作為生產(chǎn)要素需要完善數(shù)據(jù)價(jià)值評估的體系,,不僅僅是完善數(shù)據(jù)價(jià)格,、定價(jià)系統(tǒng),還要考慮數(shù)據(jù)資產(chǎn)入財(cái)務(wù)報(bào)表等問題,。
趨勢十:數(shù)據(jù)處理的倫理及合規(guī)
隨著AIGC的發(fā)展,,針對AIGC龐大數(shù)據(jù)量,如何進(jìn)行底層數(shù)據(jù)架構(gòu)成為很重要的課題,。其中涉及數(shù)據(jù)的合規(guī),、可信、交易監(jiān)管等問題,,都值得進(jìn)一步探索,。