Sm@rtDSB統(tǒng)一數(shù)據(jù)交換平臺,旨在建立一個面向全行數(shù)據(jù)采集,、交換,、共享和開放的標(biāo)準(zhǔn)化的,、規(guī)范的,、高效的,、穩(wěn)定的,、可控的數(shù)據(jù)服務(wù)總線,,實現(xiàn)批量、準(zhǔn)實時或者實時的數(shù)據(jù)交換要求,,提升業(yè)務(wù)系統(tǒng)間多樣化,、可配置、易管理的非實時批量及準(zhǔn)實時數(shù)據(jù)交換能力,。
搭建統(tǒng)一數(shù)據(jù)交換平臺整體框架
實現(xiàn)數(shù)據(jù)交換的統(tǒng)一管理
跨系統(tǒng)間準(zhǔn)實時數(shù)據(jù)交互數(shù)據(jù)交換
滿足貼源數(shù)據(jù)層(ODS)與對外圍應(yīng)用系統(tǒng)的數(shù)據(jù)交換
滿足數(shù)據(jù)倉庫與外圍應(yīng)用系統(tǒng)的數(shù)據(jù)交換需求
滿足大數(shù)據(jù)平臺及其應(yīng)用的數(shù)據(jù)交換需求
統(tǒng)一數(shù)據(jù)交換平臺技術(shù)及數(shù)據(jù)支持服務(wù)
統(tǒng)一數(shù)據(jù)傳輸和分發(fā),,滿足多法人數(shù)據(jù)披露和共享要求
數(shù)據(jù)交換平臺功能分為平臺管理和數(shù)據(jù)交換兩大模塊,平臺管理包含用戶管理,、角色管理,、機(jī)構(gòu)管理、權(quán)限管理等基礎(chǔ)功能,。數(shù)據(jù)交換包含數(shù)據(jù)注冊,、參數(shù)配置、數(shù)據(jù)服務(wù),、調(diào)度服務(wù)等模塊,,具體的功能細(xì)節(jié)如下:
首頁:展示各個系統(tǒng)的近一周的數(shù)據(jù)的交易量。
機(jī)構(gòu)管理:增刪改行內(nèi)機(jī)構(gòu)信息屬性,,支持虛擬機(jī)構(gòu)和部門,。
角色管理:增刪改行內(nèi)角色信息屬性,,主要用戶權(quán)限控制。
用戶管理:增刪改登陸該系統(tǒng)的行內(nèi)用戶信息屬性,,結(jié)合角色管理,實現(xiàn)權(quán)限的控制,。
菜單管理:增刪改菜單,,主要用于開發(fā)階段菜單的詳細(xì)配置,一旦上生產(chǎn),,不會做改變,,所有數(shù)據(jù)均是初始化而來。
數(shù)據(jù)字典,、字典維護(hù):用于系統(tǒng)中的各個數(shù)據(jù)字典的相關(guān)信息維護(hù),,開發(fā)階段會進(jìn)行增刪改,生產(chǎn)環(huán)境則不能對其進(jìn)行操作,,所有數(shù)據(jù)均是初始化而來,。
密碼規(guī)則配置:配置系統(tǒng)的密碼規(guī)則。
菜單功能組:可以配置頁面上的所有操作按鈕的權(quán)限,,所有數(shù)據(jù)均是初始化而來,。
關(guān)系數(shù)據(jù)庫定義:定義關(guān)系型數(shù)據(jù)庫的數(shù)據(jù)源(IP,driver,,用戶名等相關(guān)配置),。
文件系統(tǒng)定義:定義文件型系統(tǒng)的數(shù)據(jù)源(IP,port,,用戶名等相關(guān)配置),。
運行參數(shù)配置:定義遷移的取數(shù)條件(如半年,3個月等),。
遷移頻率:定義遷移頻率(如日頻,、月頻等),可自定義corn表達(dá)式。
關(guān)系型數(shù)據(jù)注冊:注冊相關(guān)信息(包含:編碼,,名稱,,數(shù)據(jù)類型,創(chuàng)建人,,創(chuàng)建時間等……),,點擊紅色箭頭進(jìn)入下一層系統(tǒng)信息(即數(shù)據(jù)源的信息)。
系統(tǒng)信息(數(shù)據(jù)源):將配置的數(shù)據(jù)源信息在這里注冊,,點擊紅色箭頭進(jìn)入下一層表信息,。
表信息:顯示表的基礎(chǔ)信息(包含:編號,表名,,中文名等……),,若是將該表作為源,,則表信息中的取數(shù)SQL就是卸載數(shù)據(jù)的取數(shù)條件。若是將該表作為目標(biāo)表,,則表信息中的前置SQL和后置SQL就是入庫前處理和入庫后處理SQL,。點擊紅色箭頭進(jìn)入下一層字段信息。
字段信息:包含字段的各個屬性,。
文件型數(shù)據(jù)注冊:注冊相關(guān)信息(包含:編碼,,名稱,數(shù)據(jù)類型,,創(chuàng)建人,,創(chuàng)建時間等……),點擊紅色箭頭進(jìn)入下一層文件系統(tǒng)信息,。
系統(tǒng)信息(數(shù)據(jù)源):將配置的數(shù)據(jù)源信息在這里注冊,,點擊紅色箭頭進(jìn)入下一層文件信息。
文件信息:文件的各種信息(包含:編碼,,文件名,,存放路徑,分隔符,,編碼等……)點擊紅色箭頭進(jìn)入下一層字段信息,。
數(shù)據(jù)發(fā)布:將注冊后的數(shù)據(jù)進(jìn)行挑選,發(fā)布出去,,供各個下游系統(tǒng)進(jìn)行使用(可指定使用者),,只有指定的使用者才有使用的權(quán)限。
數(shù)據(jù)申請:用戶申請有權(quán)限的數(shù)據(jù),。
數(shù)據(jù)映射:將申請的數(shù)據(jù)進(jìn)行表映射和字段映射(文件型的,,虛擬成表進(jìn)行映射)。
服務(wù)節(jié)點配置:配置服務(wù)的運行Datax節(jié)點(后期支持集群),。
運行日期定義:定義任務(wù)的運行日期(包含:運行日期,,上次運行日期,當(dāng)前運行日期,,下次運行日期,,運行結(jié)束日期,日期切換方式),。
任務(wù)服務(wù)定義:定義任務(wù)的相關(guān)信息(如服務(wù)編碼,,執(zhí)行節(jié)點,日期參數(shù),,執(zhí)行計劃,,并發(fā)數(shù)等……)。
服務(wù)依賴配置:定義任務(wù)的依賴。
服務(wù)引擎:顯示當(dāng)前服務(wù)的運行狀態(tài),,以及進(jìn)行各種操作,。
作業(yè)運行監(jiān)控:監(jiān)控作業(yè)的運行狀態(tài),以及對作業(yè)進(jìn)行各種操作,。
運行日志:查看各個作業(yè)的運行日志,,以及數(shù)據(jù)量。