在主題為“科技賦能—金融業(yè)數(shù)字化轉(zhuǎn)型與發(fā)展”的中國金融科技論壇上，神州信息上地大數(shù)據(jù)研究院數(shù)據(jù)科學(xué)家卜仁海做了題為《關(guān)于湖倉一體數(shù)據(jù)平臺的思考》的演講,。
以下為演講實錄：
首先,，我們來看一下數(shù)據(jù)平臺的發(fā)展歷程,。
大約20多年前,，信息化程度較高的行業(yè)的頭部企業(yè),，開始建設(shè)數(shù)據(jù)倉庫,。當時的數(shù)據(jù)主要是企業(yè)內(nèi)部系統(tǒng)的結(jié)構(gòu)化數(shù)據(jù),，數(shù)據(jù)應(yīng)用主要是BI分析及報表。隨著業(yè)務(wù)需求及數(shù)據(jù)形態(tài)的變化,，開始建設(shè)數(shù)據(jù)湖,。原因是參與分析的非結(jié)構(gòu)化數(shù)據(jù)逐漸增多，數(shù)據(jù)應(yīng)用也有了新的擴展,，實時計算,、人工智能、機器學(xué)習(xí)等場景逐漸增多,。
最近幾年,，開始流行起了湖倉一體的數(shù)據(jù)平臺概念。
需要說明的是,，這張圖來自國外,，圖里沒有出現(xiàn)數(shù)據(jù)倉庫，這并不是說數(shù)據(jù)倉庫消失了,。當我們說數(shù)據(jù)倉庫,、數(shù)據(jù)湖的時候，其實有兩種說法，一種說法是指硬件平臺,，一種說法是指數(shù)據(jù)的組織結(jié)構(gòu),。這張圖里說的是硬件平臺，指的是用一個硬件平臺來實現(xiàn)湖和倉的建設(shè),，也被認為是真正的湖倉一體,。
國內(nèi)在規(guī)劃建設(shè)湖倉一體的時候，在方式上會相對靈活些,。
國內(nèi)建設(shè)湖倉一體的方式
接下來,，我們來看一下國內(nèi)建設(shè)湖倉一體的幾種方式。方式一和方式二我們可以認為是邏輯上的一體,，方式三是平臺級的一體,。
方式一采用融合的方式，數(shù)倉平臺和數(shù)據(jù)湖平臺間存在實際上的數(shù)據(jù)復(fù)制,，如果數(shù)據(jù)的管理,、調(diào)度等自動化程度較低，流程不完善,，則不僅僅是數(shù)據(jù)冗余的問題，還涉及到應(yīng)用效率等方面的問題
方式二采用編織的方式,，數(shù)倉平臺和數(shù)據(jù)湖平臺間可以不用數(shù)據(jù)復(fù)制,，業(yè)務(wù)人員的訪問接口是Fabric組件，由此組件解析優(yōu)化訪問語句,，計算處可以是倉,、湖以及Fabric組件，具體要看Fabric組件的優(yōu)化策略和能力,。需要說明的是,，F(xiàn)abric的訪問語句通常不會完全覆蓋倉、湖數(shù)據(jù)庫的所有語句,。
方式三是真正物理平臺上的一體,，或者說其上的各個數(shù)據(jù)庫可以直接訪問彼此的文件系統(tǒng)和存儲結(jié)構(gòu)，這也是最理想的情況,。
湖倉一體數(shù)據(jù)平臺的優(yōu)勢
為什么說湖倉一體大概率是數(shù)據(jù)平臺的趨勢呢,，它有什么好處呢？
首先,，它可以容納多模態(tài)的數(shù)據(jù),，比如音頻、視頻,、圖片,、文檔等。其次，豐富的計算引擎,，簡單的說,，就是無論什么樣的數(shù)據(jù)，都可以相對容易的找到其對應(yīng)的計算引擎并部署,。并且是存算分離的,，也就是說，存儲部件和計算部件是分離的,，可以各自彈性擴展,。流批計算一體。支持人工智能,、機器學(xué)習(xí),。
數(shù)據(jù)平臺經(jīng)歷了分的過程，目的是為了滿足不同數(shù)據(jù)的不同計算需求,，現(xiàn)如今正逐漸走向合的階段,，目的是為了易管易用、簡單高效,。技術(shù)總是在不斷進步的,，湖倉一體尚在逐步發(fā)展階段。通過我們對不同湖倉產(chǎn)品平臺的了解,，以及對未來湖倉一體的期待,，這里簡單提出一點想法，請大家批評指正,。
對未來湖倉一體的期待
比如,，我們是否可以將存算分離分地再徹底一些？
企業(yè)的數(shù)據(jù)是越來越多的,，計算基于數(shù)據(jù),，同樣也不會是局限的。拿數(shù)據(jù)庫來說,，關(guān)系型數(shù)據(jù)庫,、圖數(shù)據(jù)庫、KV數(shù)據(jù)庫,、時序數(shù)據(jù)庫,、向量數(shù)據(jù)庫等等。另外,，大模型又為我們提供了一個新的數(shù)據(jù)計算場景,。也就是從邏輯上看，數(shù)據(jù)的存儲和數(shù)據(jù)的計算,，天然的是可以分離的,。只是因為一些非技術(shù)壁壘及其它原因,，導(dǎo)致不同數(shù)據(jù)庫間難以實現(xiàn)直接的數(shù)據(jù)訪問。
這里我們只從存技術(shù)角度,，考慮將企業(yè)對數(shù)據(jù)的存和算建設(shè)成兩個分離的中心,，也就是湖倉一體的兩個重要組件。
存儲中心需要考慮的是如何建設(shè)一個高效的存儲架構(gòu)和網(wǎng)絡(luò)架構(gòu),，如何實現(xiàn)一個高效的數(shù)據(jù)訪問機制和接口,，它應(yīng)該有自己的文件系統(tǒng)、尋址機制,、緩存機制等等,。
計算中心需要考慮的是如何設(shè)計一個高效靈活的資源管理和調(diào)度策略，如何靈活配置接入其它計算引擎組件,，如何實現(xiàn)一個高效的緩存機制減少與存儲中心的數(shù)據(jù)吞吐等等,。對于像大模型這類計算應(yīng)用，我們當然也希望湖倉一體有這個能力承接,。
當然,，這些僅是對湖倉一體未來能力的暢想，未必就是各家企業(yè)的場景應(yīng)用需求,。各企業(yè)基于自身數(shù)據(jù)基礎(chǔ),、當前數(shù)據(jù)應(yīng)用的痛點和需求以及未來數(shù)據(jù)架構(gòu)布局及規(guī)劃，對湖倉一體的期待各有不同,。
湖倉一體體系架構(gòu)
我們先從湖倉一體體系架構(gòu)的角度簡單看下體系建設(shè)內(nèi)容,。
這里的體系架構(gòu)是從功能層面闡述框架內(nèi)容的。體系架構(gòu)的意義不僅可以用來定義各框架的規(guī)范,、邊界、接口,、制度,、流程等內(nèi)容，還可以用來評估當前數(shù)據(jù)體系建設(shè)及運營情況,，指引接下來的建設(shè)內(nèi)容等,。
此圖僅作參考，各企業(yè)可按自身實際情況做相應(yīng)改動,，但需要注意的是不要把產(chǎn)品平臺當成框架本身,。比如神州信息的數(shù)據(jù)開發(fā)平臺“六合上甲”，平臺本身包含了需求管理,、數(shù)據(jù)建模,、數(shù)據(jù)開發(fā)、采集交換,、數(shù)據(jù)服務(wù),、數(shù)據(jù)治理等內(nèi)容，它跨接了體系框架的多個組成部分，需要通過規(guī)范接口對接各框架組件,，“六合上甲”產(chǎn)品本身不是體系框架,。圖中的探索、標簽,、指標其實是數(shù)據(jù)產(chǎn)品管理框架的實際組成產(chǎn)品,，這里用產(chǎn)品平臺來說明其為框架與產(chǎn)品的區(qū)別。
湖倉一體數(shù)據(jù)架構(gòu)
接下來再看一下湖倉一體的數(shù)據(jù)架構(gòu)情況
這里是采用方式三物理一體的實現(xiàn)方式設(shè)計的簡單數(shù)據(jù)架構(gòu),，僅供參考,。對于數(shù)據(jù)量、業(yè)務(wù)量,、復(fù)雜度不高的企業(yè)而言,，數(shù)據(jù)倉庫可以基于應(yīng)用建設(shè)，即數(shù)倉只要滿足企業(yè)級報表和部分數(shù)據(jù)分析的需求即可,，需求相對固定且穩(wěn)定,。對于業(yè)務(wù)部門敏捷靈活的分析應(yīng)用而言，其數(shù)據(jù)源可以來自標準化數(shù)據(jù)區(qū),。
標準化數(shù)據(jù)區(qū)對于那些對數(shù)據(jù)流向管控嚴格,，要求凡是數(shù)據(jù)需求可由數(shù)倉提供的，不允許從湖區(qū)直接取數(shù)的企業(yè)而言,，可以不建設(shè),。但同時會對數(shù)倉的建設(shè)及其數(shù)據(jù)產(chǎn)品運維推廣工作要求較高。
數(shù)據(jù)架構(gòu)中定義的數(shù)據(jù)區(qū)不是簡單的數(shù)據(jù)容器,，它同時也定義了規(guī)范,、邊界、制度,、流程,、接口等等，數(shù)據(jù)產(chǎn)品的開發(fā)運維及相應(yīng)的資源配置是其運營的關(guān)鍵,。部分企業(yè)在數(shù)據(jù)運營中的痛點多多少少與此相關(guān),，這不是有了湖倉一體就能解決的問題，但卻可以通過湖倉一體建設(shè)為契機,，通過咨詢及服務(wù)的方式,，幫助企業(yè)及其各部門建設(shè)相配套的數(shù)據(jù)團隊，來實現(xiàn)企業(yè)的數(shù)字化轉(zhuǎn)型,。