神州信息數(shù)據(jù)交換平臺旨在建立一個(gè)面向全行數(shù)據(jù)采集、交換,、共享和開放的標(biāo)準(zhǔn)化的,、規(guī)范的,、高效的,、穩(wěn)定的,、可控的數(shù)據(jù)服務(wù)總線,,實(shí)現(xiàn)批量,、準(zhǔn)實(shí)時(shí)或者實(shí)時(shí)的數(shù)據(jù)交換要求,提升業(yè)務(wù)系統(tǒng)間多樣化,、可配置,、易管理的非實(shí)時(shí)批量及準(zhǔn)實(shí)時(shí)數(shù)據(jù)交換能力。
立即咨詢· 手握大量行內(nèi)外數(shù)據(jù),,卻未做有效利用或深度分析,。
· 疲于應(yīng)付大量的碎片化,差異化需求,。
· 上下游平臺數(shù)據(jù)異構(gòu),,兼容工作量大。
· 不知道行內(nèi)有哪些數(shù)據(jù)資源可用。
· 數(shù)據(jù)提取方式復(fù)雜多變,,造成接口兼容耗時(shí)周期較長,。
· 源系統(tǒng)性能低下,影響效率,。標(biāo)準(zhǔn)不一致,,轉(zhuǎn)碼工作牽一發(fā)動(dòng)全身。
· 數(shù)據(jù)安全規(guī)范以及使用規(guī)范制約數(shù)據(jù)流通,。
· 沒有統(tǒng)一的管理體系,。
· 數(shù)據(jù)使用情況無法統(tǒng)計(jì),不清楚哪些數(shù)據(jù)使用頻率高,,可以針對性提供此類型數(shù)據(jù)的豐度,。
神州信息數(shù)據(jù)交換平臺旨在建立一個(gè)面向全行數(shù)據(jù)采集、交換,、共享和開放的標(biāo)準(zhǔn)化的、規(guī)范的,、高效的,、穩(wěn)定的、可控的數(shù)據(jù)服務(wù)總線,,實(shí)現(xiàn)批量,、準(zhǔn)實(shí)時(shí)或者實(shí)時(shí)的數(shù)據(jù)交換要求,提升業(yè)務(wù)系統(tǒng)間多樣化,、可配置,、易管理的非實(shí)時(shí)批量及準(zhǔn)實(shí)時(shí)數(shù)據(jù)交換能力。
· 有渠道告訴大家自身擁有的數(shù)據(jù)種類,,以及用途,。
· 消費(fèi)者可以自適應(yīng)獲取這些數(shù)據(jù),不要總是新增接口兼容需求,。
· 統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn),。
· 希望能夠緩沖部分?jǐn)?shù)據(jù),不要頻繁查詢影響本系統(tǒng)性能,。
· 直觀的了解行內(nèi)哪些數(shù)據(jù)可以使用
· 可以搜索數(shù)據(jù),,找出自己需要的數(shù)據(jù)
· 提高數(shù)據(jù)提供效率,包括傳輸效率
· 降低技術(shù)門檻,,一種數(shù)據(jù)能夠多種方式提供
· 有明確的數(shù)據(jù)安全管控規(guī)范和流程
· 清楚數(shù)據(jù)使用情況,,為數(shù)據(jù)架構(gòu)決策提供參考
· 能夠分析數(shù)據(jù)流向和流量,進(jìn)行改造優(yōu)化
產(chǎn)品優(yōu)勢
提供實(shí)時(shí)/準(zhǔn)實(shí)時(shí)/批量數(shù)據(jù)方式采集方式,,對采集數(shù)據(jù)進(jìn)行加工,、集成、共享,、分發(fā),;具備行內(nèi)數(shù)據(jù)和外部數(shù)據(jù)采集/計(jì)費(fèi)能力,。可成為全行數(shù)據(jù)傳輸,、交換,、共享與服務(wù)中心,實(shí)現(xiàn)統(tǒng)一采集,、統(tǒng)一管理,、統(tǒng)一服務(wù)。
支持多種關(guān)系型數(shù)據(jù)庫(如MySql,、Oracle,、DB2或其他RDBMS),支持對接Hadoop平臺多種組件(Hive,、Hdfs,、Hase);支持各種文件傳輸(如SFTP),。采用插件化集成機(jī)制,,針對市面上新出現(xiàn)的各種數(shù)據(jù)源,可迅速開發(fā)Reader端和Writer端程序插件進(jìn)行集成,,保證高擴(kuò)展性和快速客戶化開發(fā),、交付能力。
每一種讀插件都有一種或多種切分策略,,都能將作業(yè)合理切分成多個(gè)Task并行執(zhí)行,,單機(jī)多線程執(zhí)行模型可以讓速度隨并發(fā)成線性增長。
交換平臺將復(fù)雜的網(wǎng)狀的同步鏈路變成了星型數(shù)據(jù)鏈路,,交換平臺作為中間傳輸載體負(fù)責(zé)連接各種數(shù)據(jù)源,。
提供了簡單的接口與插件交互,,提供簡單的插件接入機(jī)制,,任意加上一種插件,就能無縫對接其他數(shù)據(jù)源,。
Reader讀取,、FrameWork處理、Writer寫入,。
支持多種ETL工具,,以引擎的方式集成,交換平臺通過界面配置數(shù)據(jù)交換相關(guān)的參數(shù),,支持生成各種ETL的腳本并調(diào)用,,ETL引擎返回執(zhí)行信息,在這個(gè)過程中,交換平臺監(jiān)控?cái)?shù)據(jù)交換的執(zhí)行情況,,記錄日志,。
提供可視化配置的服務(wù)數(shù)據(jù)、安全的運(yùn)行環(huán)境及保證措施,。