Sm@rtDSB統(tǒng)一數(shù)據(jù)交換平臺(tái),旨在建立一個(gè)面向全行數(shù)據(jù)采集,、交換,、共享和開放的標(biāo)準(zhǔn)化的,、規(guī)范的,、高效的、穩(wěn)定的,、可控的數(shù)據(jù)服務(wù)總線,,實(shí)現(xiàn)批量、準(zhǔn)實(shí)時(shí)或者實(shí)時(shí)的數(shù)據(jù)交換要求,,提升業(yè)務(wù)系統(tǒng)間多樣化,、可配置、易管理的非實(shí)時(shí)批量及準(zhǔn)實(shí)時(shí)數(shù)據(jù)交換能力,。
搭建統(tǒng)一數(shù)據(jù)交換平臺(tái)整體框架
實(shí)現(xiàn)數(shù)據(jù)交換的統(tǒng)一管理
跨系統(tǒng)間準(zhǔn)實(shí)時(shí)數(shù)據(jù)交互數(shù)據(jù)交換
滿足貼源數(shù)據(jù)層(ODS)與對(duì)外圍應(yīng)用系統(tǒng)的數(shù)據(jù)交換
滿足數(shù)據(jù)倉(cāng)庫(kù)與外圍應(yīng)用系統(tǒng)的數(shù)據(jù)交換需求
滿足大數(shù)據(jù)平臺(tái)及其應(yīng)用的數(shù)據(jù)交換需求
統(tǒng)一數(shù)據(jù)交換平臺(tái)技術(shù)及數(shù)據(jù)支持服務(wù)
統(tǒng)一數(shù)據(jù)傳輸和分發(fā),,滿足多法人數(shù)據(jù)披露和共享要求
數(shù)據(jù)交換平臺(tái)功能分為平臺(tái)管理和數(shù)據(jù)交換兩大模塊,平臺(tái)管理包含用戶管理,、角色管理,、機(jī)構(gòu)管理、權(quán)限管理等基礎(chǔ)功能,。數(shù)據(jù)交換包含數(shù)據(jù)注冊(cè),、參數(shù)配置、數(shù)據(jù)服務(wù),、調(diào)度服務(wù)等模塊,,具體的功能細(xì)節(jié)如下:
首頁:展示各個(gè)系統(tǒng)的近一周的數(shù)據(jù)的交易量,。
機(jī)構(gòu)管理:增刪改行內(nèi)機(jī)構(gòu)信息屬性,支持虛擬機(jī)構(gòu)和部門,。
角色管理:增刪改行內(nèi)角色信息屬性,,主要用戶權(quán)限控制。
用戶管理:增刪改登陸該系統(tǒng)的行內(nèi)用戶信息屬性,,結(jié)合角色管理,,實(shí)現(xiàn)權(quán)限的控制。
菜單管理:增刪改菜單,,主要用于開發(fā)階段菜單的詳細(xì)配置,,一旦上生產(chǎn),不會(huì)做改變,,所有數(shù)據(jù)均是初始化而來,。
數(shù)據(jù)字典、字典維護(hù):用于系統(tǒng)中的各個(gè)數(shù)據(jù)字典的相關(guān)信息維護(hù),,開發(fā)階段會(huì)進(jìn)行增刪改,,生產(chǎn)環(huán)境則不能對(duì)其進(jìn)行操作,所有數(shù)據(jù)均是初始化而來,。
密碼規(guī)則配置:配置系統(tǒng)的密碼規(guī)則,。
菜單功能組:可以配置頁面上的所有操作按鈕的權(quán)限,所有數(shù)據(jù)均是初始化而來,。
關(guān)系數(shù)據(jù)庫(kù)定義:定義關(guān)系型數(shù)據(jù)庫(kù)的數(shù)據(jù)源(IP,,driver,用戶名等相關(guān)配置),。
文件系統(tǒng)定義:定義文件型系統(tǒng)的數(shù)據(jù)源(IP,,port,用戶名等相關(guān)配置),。
運(yùn)行參數(shù)配置:定義遷移的取數(shù)條件(如半年,,3個(gè)月等)。
遷移頻率:定義遷移頻率(如日頻,、月頻等),可自定義corn表達(dá)式,。
關(guān)系型數(shù)據(jù)注冊(cè):注冊(cè)相關(guān)信息(包含:編碼,名稱,,數(shù)據(jù)類型,,創(chuàng)建人,創(chuàng)建時(shí)間等……),,點(diǎn)擊紅色箭頭進(jìn)入下一層系統(tǒng)信息(即數(shù)據(jù)源的信息),。
系統(tǒng)信息(數(shù)據(jù)源):將配置的數(shù)據(jù)源信息在這里注冊(cè),點(diǎn)擊紅色箭頭進(jìn)入下一層表信息,。
表信息:顯示表的基礎(chǔ)信息(包含:編號(hào),,表名,中文名等……),,若是將該表作為源,,則表信息中的取數(shù)SQL就是卸載數(shù)據(jù)的取數(shù)條件。若是將該表作為目標(biāo)表,,則表信息中的前置SQL和后置SQL就是入庫(kù)前處理和入庫(kù)后處理SQL,。點(diǎn)擊紅色箭頭進(jìn)入下一層字段信息。
字段信息:包含字段的各個(gè)屬性,。
文件型數(shù)據(jù)注冊(cè):注冊(cè)相關(guān)信息(包含:編碼,,名稱,數(shù)據(jù)類型,,創(chuàng)建人,,創(chuàng)建時(shí)間等……),點(diǎn)擊紅色箭頭進(jìn)入下一層文件系統(tǒng)信息,。
系統(tǒng)信息(數(shù)據(jù)源):將配置的數(shù)據(jù)源信息在這里注冊(cè),,點(diǎn)擊紅色箭頭進(jìn)入下一層文件信息。
文件信息:文件的各種信息(包含:編碼,,文件名,,存放路徑,分隔符,,編碼等……)點(diǎn)擊紅色箭頭進(jìn)入下一層字段信息,。
數(shù)據(jù)發(fā)布:將注冊(cè)后的數(shù)據(jù)進(jìn)行挑選,發(fā)布出去,,供各個(gè)下游系統(tǒng)進(jìn)行使用(可指定使用者),,只有指定的使用者才有使用的權(quán)限。
數(shù)據(jù)申請(qǐng):用戶申請(qǐng)有權(quán)限的數(shù)據(jù),。
數(shù)據(jù)映射:將申請(qǐng)的數(shù)據(jù)進(jìn)行表映射和字段映射(文件型的,,虛擬成表進(jìn)行映射)。
服務(wù)節(jié)點(diǎn)配置:配置服務(wù)的運(yùn)行Datax節(jié)點(diǎn)(后期支持集群),。
運(yùn)行日期定義:定義任務(wù)的運(yùn)行日期(包含:運(yùn)行日期,,上次運(yùn)行日期,當(dāng)前運(yùn)行日期,,下次運(yùn)行日期,,運(yùn)行結(jié)束日期,日期切換方式),。
任務(wù)服務(wù)定義:定義任務(wù)的相關(guān)信息(如服務(wù)編碼,,執(zhí)行節(jié)點(diǎn),日期參數(shù),,執(zhí)行計(jì)劃,,并發(fā)數(shù)等……),。
服務(wù)依賴配置:定義任務(wù)的依賴。
服務(wù)引擎:顯示當(dāng)前服務(wù)的運(yùn)行狀態(tài),,以及進(jìn)行各種操作,。
作業(yè)運(yùn)行監(jiān)控:監(jiān)控作業(yè)的運(yùn)行狀態(tài),以及對(duì)作業(yè)進(jìn)行各種操作,。
運(yùn)行日志:查看各個(gè)作業(yè)的運(yùn)行日志,,以及數(shù)據(jù)量。