![{$CATEGORYS[$parentid]['catname']](/statics/images/dcits/dataBanner.jpg)
運維大數(shù)據(jù)與監(jiān)控平臺
- 發(fā)布時間：2018-08-28
- 來源：
- 大 中 小
- 打印
銀行運維大數(shù)據(jù)監(jiān)控平臺Sm@rtFinsight致力于全面采集銀行運維和運營過程中的軌跡數(shù)據(jù),，并將這一數(shù)據(jù)富礦作為銀行重要數(shù)據(jù)資產(chǎn)加以管理、分析和利用,，助力銀行提高經(jīng)營,、運維和風(fēng)險管理水平。
背景
隨著銀行IT系統(tǒng)越建越多,，變化不斷,，銀行在系統(tǒng)運維和業(yè)務(wù)監(jiān)控方面面臨著各種各樣的問題：一方面系統(tǒng)運維的壓力增大。傳統(tǒng)的運維,，一旦出現(xiàn)系統(tǒng)問題,，只能一個個服務(wù)器排查，無法及時預(yù)判和快速定位,，時效性差,；普通的監(jiān)控軟件只能監(jiān)控網(wǎng)絡(luò)性能，無法真正梳理業(yè)務(wù)的訪問路徑,；高峰交易時段,，無法提前預(yù)判并改善用戶體驗；無法及時定位訪問路徑的各個節(jié)點的延遲,。另一方面,，銀行缺少對業(yè)務(wù)系統(tǒng)進行實時監(jiān)控的IT手段，通常的T+1數(shù)據(jù)分析系統(tǒng)時效性差,，無法滿足銀行領(lǐng)導(dǎo)隨時了解業(yè)務(wù)狀況,，獲取決策支持的需求。多數(shù)風(fēng)險案件需要回溯當(dāng)時的網(wǎng)絡(luò)報文數(shù)據(jù),，業(yè)務(wù)系統(tǒng)無法辦到,。
神州信息在充分理解銀行業(yè)務(wù)發(fā)展，銀行IT系統(tǒng)建設(shè)架構(gòu),、業(yè)務(wù)服務(wù)標準和協(xié)議規(guī)范,、業(yè)務(wù)邏輯處理等基礎(chǔ)上，利用實時和批量數(shù)據(jù)采集手段,，獲取網(wǎng)絡(luò)流量,、應(yīng)用日志和業(yè)務(wù)數(shù)據(jù)的全面采集，并依托大數(shù)據(jù)實時分析,、存儲技術(shù)及機器學(xué)習(xí)算法等技術(shù),，實現(xiàn)了以業(yè)務(wù)角度和場景化監(jiān)控為基礎(chǔ)的數(shù)據(jù)可視化展示，為銀行IT運維和業(yè)務(wù)運營部門提供了完整的運維監(jiān)控平臺,。
目標與價值
銀行運維大數(shù)據(jù)監(jiān)控平臺集全面運維數(shù)據(jù)采集,、傳輸和存儲，實時數(shù)據(jù)加工與計算,，大數(shù)據(jù)分析建模與機器學(xué)習(xí)算法,，數(shù)據(jù)可視化展示和數(shù)據(jù)應(yīng)用服務(wù)于一體，為銀行IT運維,、業(yè)務(wù)穩(wěn)定持續(xù)運營保駕護航,。
● 建設(shè)目標
系統(tǒng)建設(shè)演進順序
銀行運維大數(shù)據(jù)監(jiān)控平臺將網(wǎng)絡(luò)流量數(shù)據(jù)、業(yè)務(wù)報文數(shù)據(jù),、系統(tǒng)日志數(shù)據(jù),、應(yīng)用日志數(shù)據(jù)以及業(yè)務(wù)交易數(shù)據(jù)等融于一體，構(gòu)建多渠道,、多維度的運維大數(shù)據(jù)平臺,，利用先進的大數(shù)據(jù)技術(shù)，進行數(shù)據(jù)建模和數(shù)據(jù)挖掘,，發(fā)現(xiàn)數(shù)據(jù)價值,。該平臺既能滿足系統(tǒng)運維人員對網(wǎng)絡(luò)性能、應(yīng)用性能的監(jiān)控,，又能為銀行的管理人員提供深度的業(yè)務(wù)洞察功能,。它具有業(yè)務(wù)拓撲圖梳理、性能KPI指標監(jiān)控和故障定位排除等功能,，可對各類業(yè)務(wù)情況進行實時的分析和預(yù)測,，提供系統(tǒng)性能和業(yè)務(wù)的監(jiān)控和告警。為業(yè)務(wù)系統(tǒng)提供異常交易報表,、實時審計報表,、所見即所得的系統(tǒng)運維報表,、業(yè)務(wù)運維大屏和運營監(jiān)控大屏等數(shù)據(jù)展示服務(wù)。
● 業(yè)務(wù)價值
自主規(guī)劃業(yè)務(wù)監(jiān)控場景主題,。Sm@rtFinsight按照監(jiān)控主題—監(jiān)控指標—監(jiān)控場景面板的結(jié)構(gòu),，提供了靈活的監(jiān)控指標展示方式，每一個監(jiān)控指標都可獨立顯示,，并通過自主布局的方式構(gòu)建業(yè)務(wù)監(jiān)控大屏,。它將存量數(shù)據(jù)和實時采集數(shù)據(jù)相結(jié)合，為業(yè)務(wù)運維和IT運維提供實時監(jiān)控,、事件告警,、安全審計、業(yè)務(wù)地圖,、業(yè)務(wù)統(tǒng)計,、行為分析、數(shù)據(jù)服務(wù),、異常檢查,、日志查詢、故障排查,、路徑關(guān)聯(lián),、性能分析、應(yīng)用地圖等十多種應(yīng)用服務(wù),。
從業(yè)務(wù)的視角而不是性能的視角提供監(jiān)控數(shù)據(jù)服務(wù),。Sm@rtFinsight將各類方式采集到的業(yè)務(wù)監(jiān)控數(shù)據(jù)存儲到大數(shù)據(jù)平臺，進行指標計算,、業(yè)務(wù)關(guān)聯(lián),、分析建模、匯總統(tǒng)計,、規(guī)則計算,、特征計算等類加工處理，提供立體的運維大數(shù)據(jù)監(jiān)控,。
從專業(yè)角度建立銀行IT運維的健康指數(shù),。DC指數(shù)涵蓋了網(wǎng)絡(luò)性能監(jiān)控、應(yīng)用性能監(jiān)控,、業(yè)務(wù)性能監(jiān)控,、日志分析管理、動環(huán)監(jiān)控等內(nèi)容,，提出了銀行IT及業(yè)務(wù)監(jiān)控領(lǐng)域的關(guān)鍵考核指標,。
整體架構(gòu)
產(chǎn)品架構(gòu)
邏輯架構(gòu)
技術(shù)架構(gòu)
系統(tǒng)支持前臺應(yīng)用分布式部署，后臺數(shù)據(jù)集群部署，保證系統(tǒng)運行的穩(wěn)定性和數(shù)據(jù)處理效率,。
數(shù)據(jù)采集層：使用自有的網(wǎng)絡(luò)探針解碼TCP,HTTP協(xié)議,；
數(shù)據(jù)管道層1：為了保證數(shù)據(jù)的安全性，所有數(shù)據(jù)先進入管道留存,。通過網(wǎng)絡(luò)探針和寫入服務(wù)將數(shù)據(jù)導(dǎo)入管道層,。
數(shù)據(jù)解析層：網(wǎng)絡(luò)報文經(jīng)過探針解碼從二進制轉(zhuǎn)化為了字符串類型,，我們還需要根據(jù)具體業(yè)務(wù)系統(tǒng)的報文協(xié)議解析報文頭和報文體,。系統(tǒng)支持多種類型的報文協(xié)議，如核心系統(tǒng)內(nèi)部,、核心與ESB之間的業(yè)務(wù)報文,、外圍系統(tǒng)和ESB之間的業(yè)務(wù)報文等。并解決了報文解析層分布式部署的問題,。
數(shù)據(jù)管道層2:為了保證數(shù)據(jù)的安全性,，解析層的數(shù)據(jù)會先在數(shù)據(jù)管道中留存。
數(shù)據(jù)存儲層:基于Hadoop分布式技術(shù),，滿足海量數(shù)據(jù)存儲,。采用Hive數(shù)據(jù)存儲與列式關(guān)系型數(shù)據(jù)存儲相結(jié)合的方式，既滿足海量數(shù)據(jù)的歸檔存儲和離線分析,，又滿足關(guān)系型數(shù)據(jù)聚合聚集的運算要求,。
前端展示層：采用前端可視化展示組件進行數(shù)據(jù)展示。
產(chǎn)品特點
1,、多種數(shù)據(jù)采集與融合
該平臺多渠道采集網(wǎng)絡(luò)數(shù)據(jù),、系統(tǒng)日志、應(yīng)用端行為數(shù)據(jù),、業(yè)務(wù)數(shù)據(jù)進行線索關(guān)聯(lián)與數(shù)據(jù)融合,，建立業(yè)務(wù)數(shù)據(jù)鏈路，形成數(shù)據(jù)全路徑鏈條,，為業(yè)務(wù)分析,、運營分析和運維分析等提供有效支持。
2,、高速網(wǎng)絡(luò)旁路采集探針及協(xié)議解析
公司自有研發(fā)的旁路報文產(chǎn)品（SPAN/TAP/分光器的探針采集和解碼工具）,，是實現(xiàn)數(shù)據(jù)高速、實時采集和對數(shù)據(jù)進行網(wǎng)絡(luò)及應(yīng)用協(xié)議解析的關(guān)鍵,。旁路報文采集不影響生產(chǎn)環(huán)境,，一個探針可以監(jiān)控多個網(wǎng)段，并且部署方便靈活,，相比其他采集方式,，有著無可比擬的優(yōu)勢。
3、大數(shù)據(jù)實時分析
它采用大數(shù)據(jù)技術(shù)構(gòu)建實時分析平臺和多維展現(xiàn)平臺,，為實時分析和歷史查詢提供數(shù)據(jù)支持,。
4、建立多維性能監(jiān)控體系
它對所有重要業(yè)務(wù)系統(tǒng)的應(yīng)用性能實施監(jiān)控,，一旦故障發(fā)生能夠快速定位故障發(fā)生的業(yè)務(wù)組件,，獲知影響范圍；并與基礎(chǔ)監(jiān)控系統(tǒng)相結(jié)合,，實現(xiàn)多維度監(jiān)控,；還可對關(guān)鍵性能指標進行多維分析。
5,、實時掌握業(yè)務(wù)運行情況,，提供洞察分析
該產(chǎn)品構(gòu)建了業(yè)務(wù)可視化監(jiān)控平臺，實現(xiàn)對關(guān)鍵業(yè)務(wù)系統(tǒng)運行狀況,、上下游關(guān)聯(lián)系統(tǒng)運行狀況的統(tǒng)一展示,，對業(yè)務(wù)量，交易額,，渠道,，地域等維度做對比分析，對各類業(yè)務(wù)情況和異常交易進行分析和預(yù)測,。
6,、監(jiān)控主題—監(jiān)控指標—監(jiān)控場景面板立體監(jiān)控
該產(chǎn)品提供15類監(jiān)控場景、200多個監(jiān)控指標和按照業(yè)務(wù)要求組合的監(jiān)控場景面板,，構(gòu)成了較為全面的監(jiān)控分析體系,。通過監(jiān)控指標的定義和擴展，整個監(jiān)控的展示形式和內(nèi)容都可以按需增加,。
7,、對運維風(fēng)險和異常交易進行監(jiān)控和告警
它可以及早發(fā)現(xiàn)全系統(tǒng)的性能和穩(wěn)定性隱患；根據(jù)異常交易審計模型配置實時監(jiān)控異常交易,，并提供多渠道預(yù)警,；支持各類所見即所得的報表。
8,、基于機器學(xué)習(xí)和數(shù)據(jù)挖掘技術(shù),，助力業(yè)務(wù)運營、提升客戶體驗
該產(chǎn)品基于海量運維數(shù)據(jù)分析,，利用機器學(xué)習(xí)（ML）算法和數(shù)學(xué)建模手段,，對業(yè)務(wù)狀況、運維故障,、交易風(fēng)險進行預(yù)測和預(yù)判,，助力業(yè)務(wù)運維和業(yè)務(wù)運營防范風(fēng)險,，提升客戶體驗。
產(chǎn)品功能
● 業(yè)務(wù)性能監(jiān)控
業(yè)務(wù)性能分析是指依托對網(wǎng)絡(luò)性能和應(yīng)用性能的監(jiān)控和故障分析和定位,，從業(yè)務(wù)視角分析問題,。
1.業(yè)務(wù)健康視圖查看各業(yè)務(wù)系統(tǒng)的交易量，成功率和響應(yīng)率內(nèi)容,，并可進行系統(tǒng)健康程度評分,；
2.業(yè)務(wù)路徑拓撲圖可方便梳理分析業(yè)務(wù)系統(tǒng)路徑；
3.流量趨勢分析可提供系統(tǒng)的流量和容量的歷史情況,，進行趨勢分析,；
4.異常處理提供單筆交易追蹤和詳單查詢功能，進行故障的定位和故障鑒責(zé),。
5.性能KPI分析,，包含交易量、成功率,、交易渠道、交易延時,、響應(yīng)率,、告警數(shù)據(jù)等指標的多維度分析。
業(yè)務(wù)流向,、交易渠道,、交易量、成功率,、交易時長,、響應(yīng)率實時監(jiān)控
● 業(yè)務(wù)洞察分析
業(yè)務(wù)洞察分析是實時業(yè)務(wù)監(jiān)控分析的核心內(nèi)容。它在協(xié)議解碼的基礎(chǔ)上對業(yè)務(wù)系統(tǒng)的各種類型規(guī)則進行業(yè)務(wù)解析,，然后對關(guān)鍵業(yè)務(wù)類型進行計算并建模,，實現(xiàn)分析預(yù)測，提供以下業(yè)務(wù)場景的多維度分析,。
1.支付業(yè)務(wù)分析
提供交易量/交易額的統(tǒng)計和趨勢分析,，渠道占比分析，業(yè)務(wù)種類占比分析,，失敗類型/告警類型的占比分析,，交易量/交易額的地區(qū)排名分析等。
2.柜臺業(yè)務(wù)分析
提供柜面業(yè)務(wù)的業(yè)務(wù)類型占比分析,，存款/取款的交易量和交易額趨勢分析,，新增客戶數(shù)量分行排名分析，新增網(wǎng)銀/手機銀行開戶數(shù)量分析,，銷戶數(shù)和銷戶原因分析等,。
3.電子銀行業(yè)務(wù)分析
提供電子銀行的交易量/交易額/開戶數(shù)統(tǒng)計，個人/企業(yè)網(wǎng)銀的交易量/交易額/開戶數(shù)統(tǒng)計，個人/企業(yè)手機銀行的交易量/交易額/開戶數(shù)統(tǒng)計,，微信銀行的交易量/交易額/開戶數(shù)統(tǒng)計,，手機系統(tǒng)類型占比和排名分析，電子銀行交易失敗類型占比分析等,。
電子銀行交易監(jiān)控
電子銀行交易渠道監(jiān)控（大屏）
4.分行業(yè)務(wù)分析
提供分行交易量/交易額/開戶數(shù)排名,，分行渠道交易量/交易額排名，分行渠道開戶排名（網(wǎng)上銀行,，手機銀行等）,，分行新增存貸款額度排名，分行新增不良貸款額度排名等,。
5.總行分行資金往來狀況
提供總行到支行資金轉(zhuǎn)入排名分析,，支行到總行資金轉(zhuǎn)出排名分析、支行每日資金余額排名分析等,。
6.異常交易分析
提供異常交易量/交易額統(tǒng)計,，類型占比分析，交易量,，渠道,，時間，地區(qū)維度的頻繁交易分析,、境外大額交易分析,、異常時段交易分析，銀行卡異常交易的交易類型分析,，電子銀行異常交易分析（異常交易類型,、渠道別、趨勢分析）等,。
7.歷史統(tǒng)計分析
提供本月/本年(新增)對公存款余額統(tǒng)計,，(新增)個人存款余額統(tǒng)計，年(新增)對公貸款余額統(tǒng)計,，(新增)個人貸款余額統(tǒng)計,，(新增)對公客戶數(shù)量統(tǒng)計，(新增)個人客戶數(shù)量統(tǒng)計,，(新增)個人網(wǎng)銀開戶數(shù)量統(tǒng)計,，(新增)對公網(wǎng)銀開戶數(shù)量統(tǒng)計，(新增)同業(yè)存款余額統(tǒng)計,，(新增)同業(yè)貸款余額統(tǒng)計,，(新增)不良貸款額度統(tǒng)計等。
8. 業(yè)務(wù)量預(yù)測
提供本周/本月的新增對公存款余額預(yù)測,，新增個人存款余額預(yù)測,，新增對公貸款余額預(yù)測,，新增個人貸款余額預(yù)測，新增對公客戶數(shù)量預(yù)測,，新增個人客戶數(shù)量預(yù)測,，新增個人網(wǎng)銀開戶數(shù)量預(yù)測，新增對公網(wǎng)銀開戶數(shù)量預(yù)測,，新增同業(yè)存款余額預(yù)測,，新增同業(yè)貸款余額預(yù)測，新增不良貸款額度預(yù)測等,。
9. 自定義分析
多維度分析包括交易類型,，交易量，交易金額,，地區(qū),，渠道，成功率,，失敗類型等占比,、排名、地圖分析,，并支持數(shù)據(jù)鉆取分析,。
業(yè)務(wù)量監(jiān)控指標
● 安全審計報表
安全審計報表包括系統(tǒng)運維報表、異常交易審計報表和根據(jù)用戶需求自由定義的報表,。
信息科技系統(tǒng)事件是操作風(fēng)險檢測的事件內(nèi)容之一。系統(tǒng)運維報表是信息科技系統(tǒng)事件的重要展現(xiàn),，可以提供系統(tǒng)運行狀況,，流量趨勢及系統(tǒng)出錯類型統(tǒng)計分析等各類報表。
異常交易審計報表是根據(jù)電子銀行（含個人/企業(yè)網(wǎng)銀,，手機銀行等）和銀行卡等的審計模型進行告警設(shè)置,，得到異常交易的數(shù)據(jù)和告警列表，可以進行告警分析也可以給業(yè)務(wù)提供數(shù)據(jù)服務(wù),。
系統(tǒng)支持所見即得的報表定義,，可以選取任意應(yīng)用和KPI指標的組合生成各種類型的報表，并且生成日,、周,、月定時發(fā)送。
● 熱點地圖
熱點地圖是熱點業(yè)務(wù)的地圖和熱力圖展示場景,。熱點業(yè)務(wù)主要銀行關(guān)注的業(yè)務(wù)渠道,，如電子銀行交易，柜臺交易,，ATM/POS交易及全體交易的交易地區(qū)熱力圖等,。
展示的地圖精度由數(shù)據(jù)精度決定,，通常路徑為國家到省級再到市級等三級。
地圖展示1
地圖展示2
● 監(jiān)控告警
監(jiān)控告警是實時業(yè)務(wù)監(jiān)控分析的重要場景,。監(jiān)控告警包含告警設(shè)置,、告警類別和告警分析功能。
告警設(shè)置分為性能告警的設(shè)置和業(yè)務(wù)告警的設(shè)置,。性能告警設(shè)置包含基線設(shè)置和閾值設(shè)置方式,；業(yè)務(wù)告警設(shè)置指根據(jù)異常交易的審計模型進行設(shè)置。
告警可通過“聲”,、“光”,、“電”告警，并可通過手機,、短信,、郵件及微信等方式告知技術(shù)人員。
告警分析可進行告警明細確認,，也可轉(zhuǎn)到轉(zhuǎn)到應(yīng)用性能分析的異常處理界面進行系統(tǒng)故障分析定位等,。
● 業(yè)務(wù)監(jiān)控大屏
業(yè)務(wù)監(jiān)控大屏是實時業(yè)務(wù)監(jiān)控的大屏形式展現(xiàn)，可根據(jù)銀行需求自由定義展示界面,、展示順序和刷新時間,。通常，內(nèi)容包括應(yīng)用性能監(jiān)控視圖和流量趨勢分析,，各類關(guān)鍵業(yè)務(wù)分析,、熱點業(yè)務(wù)的地圖分析、異常交易分析,、告警列表等
● 數(shù)據(jù)服務(wù)
數(shù)據(jù)服務(wù)是實時監(jiān)控分析系統(tǒng)可為其他系統(tǒng)提供數(shù)據(jù)接口,。一、可提供流量類性能數(shù)據(jù)給前端系統(tǒng)或其他監(jiān)控系統(tǒng),；二,、可提供由異常交易審計模型監(jiān)測到的異常交易數(shù)據(jù)給業(yè)務(wù)系統(tǒng)，以便業(yè)務(wù)系統(tǒng)采取措施(按照操作風(fēng)險等級,，若是異常交易告知客戶,，若是高風(fēng)險交易進行阻斷，若是違規(guī)操作則按照內(nèi)容流程來處理),，實現(xiàn)實時審計功能,。
● 系統(tǒng)管理
系統(tǒng)管理包含配置管理和其他管理，其中配置管理包含探針定義,、接口定義,、模型定義、統(tǒng)一客戶視圖中可以查詢客戶的基本信息,，評級信息,，交易信息,，賬戶信息，預(yù)警信息（大額,、可疑報送記錄）,，調(diào)查信息（客戶盡職調(diào)查記錄），客戶的風(fēng)險KPI信息,，便于業(yè)務(wù)人員更好的確定客戶風(fēng)險等級,。
其中，探針定義和接口定義界面定義探針相關(guān)信息,；模型定義和規(guī)則管理定義協(xié)議解析方式和規(guī)則等,；任務(wù)管理設(shè)定探針的檢測任務(wù)；拓撲管理可以設(shè)定業(yè)務(wù)拓撲路徑圖,。
檢測場景管理,、指標管理、指標取數(shù)邏輯定義,、頁面布局管理等功能充分支持系統(tǒng)監(jiān)控范圍的按需擴展,，按需布局。
京公網(wǎng)安備11010802043876
