神州信息數(shù)據(jù)交換平臺(tái)旨在建立一個(gè)面向全行數(shù)據(jù)采集,、交換、共享和開(kāi)放的標(biāo)準(zhǔn)化的、規(guī)范的,、高效的,、穩(wěn)定的,、可控的數(shù)據(jù)服務(wù)總線,,實(shí)現(xiàn)批量,、準(zhǔn)實(shí)時(shí)或者實(shí)時(shí)的數(shù)據(jù)交換要求,,提升業(yè)務(wù)系統(tǒng)間多樣化,、可配置、易管理的非實(shí)時(shí)批量及準(zhǔn)實(shí)時(shí)數(shù)據(jù)交換能力,。
立即咨詢· 手握大量行內(nèi)外數(shù)據(jù),,卻未做有效利用或深度分析。
· 疲于應(yīng)付大量的碎片化,差異化需求,。
· 上下游平臺(tái)數(shù)據(jù)異構(gòu),,兼容工作量大。
· 不知道行內(nèi)有哪些數(shù)據(jù)資源可用,。
· 數(shù)據(jù)提取方式復(fù)雜多變,,造成接口兼容耗時(shí)周期較長(zhǎng)。
· 源系統(tǒng)性能低下,,影響效率,。標(biāo)準(zhǔn)不一致,轉(zhuǎn)碼工作牽一發(fā)動(dòng)全身,。
· 數(shù)據(jù)安全規(guī)范以及使用規(guī)范制約數(shù)據(jù)流通,。
· 沒(méi)有統(tǒng)一的管理體系。
· 數(shù)據(jù)使用情況無(wú)法統(tǒng)計(jì),,不清楚哪些數(shù)據(jù)使用頻率高,,可以針對(duì)性提供此類型數(shù)據(jù)的豐度。
神州信息數(shù)據(jù)交換平臺(tái)旨在建立一個(gè)面向全行數(shù)據(jù)采集,、交換,、共享和開(kāi)放的標(biāo)準(zhǔn)化的、規(guī)范的,、高效的,、穩(wěn)定的、可控的數(shù)據(jù)服務(wù)總線,,實(shí)現(xiàn)批量,、準(zhǔn)實(shí)時(shí)或者實(shí)時(shí)的數(shù)據(jù)交換要求,提升業(yè)務(wù)系統(tǒng)間多樣化,、可配置,、易管理的非實(shí)時(shí)批量及準(zhǔn)實(shí)時(shí)數(shù)據(jù)交換能力。
· 有渠道告訴大家自身?yè)碛械臄?shù)據(jù)種類,,以及用途,。
· 消費(fèi)者可以自適應(yīng)獲取這些數(shù)據(jù),不要總是新增接口兼容需求,。
· 統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn),。
· 希望能夠緩沖部分?jǐn)?shù)據(jù),不要頻繁查詢影響本系統(tǒng)性能,。
· 直觀的了解行內(nèi)哪些數(shù)據(jù)可以使用
· 可以搜索數(shù)據(jù),,找出自己需要的數(shù)據(jù)
· 提高數(shù)據(jù)提供效率,包括傳輸效率
· 降低技術(shù)門檻,,一種數(shù)據(jù)能夠多種方式提供
· 有明確的數(shù)據(jù)安全管控規(guī)范和流程
· 清楚數(shù)據(jù)使用情況,,為數(shù)據(jù)架構(gòu)決策提供參考
· 能夠分析數(shù)據(jù)流向和流量,,進(jìn)行改造優(yōu)化
產(chǎn)品優(yōu)勢(shì)
提供實(shí)時(shí)/準(zhǔn)實(shí)時(shí)/批量數(shù)據(jù)方式采集方式,對(duì)采集數(shù)據(jù)進(jìn)行加工,、集成,、共享、分發(fā),;具備行內(nèi)數(shù)據(jù)和外部數(shù)據(jù)采集/計(jì)費(fèi)能力??沙蔀槿袛?shù)據(jù)傳輸,、交換、共享與服務(wù)中心,,實(shí)現(xiàn)統(tǒng)一采集,、統(tǒng)一管理、統(tǒng)一服務(wù),。
支持多種關(guān)系型數(shù)據(jù)庫(kù)(如MySql,、Oracle、DB2或其他RDBMS),,支持對(duì)接Hadoop平臺(tái)多種組件(Hive,、Hdfs、Hase),;支持各種文件傳輸(如SFTP),。采用插件化集成機(jī)制,針對(duì)市面上新出現(xiàn)的各種數(shù)據(jù)源,,可迅速開(kāi)發(fā)Reader端和Writer端程序插件進(jìn)行集成,,保證高擴(kuò)展性和快速客戶化開(kāi)發(fā)、交付能力,。
每一種讀插件都有一種或多種切分策略,,都能將作業(yè)合理切分成多個(gè)Task并行執(zhí)行,單機(jī)多線程執(zhí)行模型可以讓速度隨并發(fā)成線性增長(zhǎng),。
交換平臺(tái)將復(fù)雜的網(wǎng)狀的同步鏈路變成了星型數(shù)據(jù)鏈路,,交換平臺(tái)作為中間傳輸載體負(fù)責(zé)連接各種數(shù)據(jù)源。
提供了簡(jiǎn)單的接口與插件交互,,提供簡(jiǎn)單的插件接入機(jī)制,任意加上一種插件,,就能無(wú)縫對(duì)接其他數(shù)據(jù)源,。
Reader讀取、FrameWork處理,、Writer寫(xiě)入,。
支持多種ETL工具,,以引擎的方式集成,交換平臺(tái)通過(guò)界面配置數(shù)據(jù)交換相關(guān)的參數(shù),,支持生成各種ETL的腳本并調(diào)用,,ETL引擎返回執(zhí)行信息,在這個(gè)過(guò)程中,,交換平臺(tái)監(jiān)控?cái)?shù)據(jù)交換的執(zhí)行情況,,記錄日志。
提供可視化配置的服務(wù)數(shù)據(jù),、安全的運(yùn)行環(huán)境及保證措施,。