Chinese中国精品自拍_亚洲精品视频在线_欧美高清在线播放_理论片午午伦夜理片2021,337p日本欧洲大胆精品,国产在线自在拍91精品,亚洲第一页乱,最新日韩中文字幕,成在线色,日韩高清一区,国产乱子伦农村XXXX

{$CATEGORYS[$parentid]['catname']
首頁 >  大數(shù)據(jù) > 金融 > 大數(shù)據(jù)平臺

大數(shù)據(jù)平臺

  • 發(fā)布時間:2018-08-28
  • 來源:
  •   
  • 打印

概述

隨著信息化發(fā)展步入DT時代,,數(shù)據(jù)在組織中的價值體現(xiàn)愈發(fā)凸顯,“數(shù)據(jù)驅動業(yè)務”的理念在各行各業(yè)快速扎根、發(fā)展,組織對數(shù)據(jù)價值的挖掘能力的要求也隨之愈來愈高。一種能與傳統(tǒng)關系型數(shù)據(jù)管理軟件能有效互補,,彌補關系型數(shù)據(jù)管理軟件在多結構類型支持、海量數(shù)據(jù)處理、復雜實時/非實時計算分析等方面缺陷的數(shù)據(jù)處理軟件平臺呼之欲出,。

神州信息大數(shù)據(jù)平臺(Sm@rtBDP)是基于Hadoop生態(tài)體系構建而成的可幫助組織快速建立高效、實時的“大數(shù)據(jù)”處理,、分析能力的一體化數(shù)據(jù)開發(fā),、管理平臺,可為組織數(shù)據(jù)中心的大數(shù)據(jù)采集,、大數(shù)據(jù)存儲,、大數(shù)據(jù)計算,、大數(shù)據(jù)分析及大數(shù)據(jù)分析提供輕量級解決方案。通過平臺提供的綜合數(shù)據(jù)治理和整合能力打通數(shù)據(jù)壁壘,,連接數(shù)據(jù)孤島,,實現(xiàn)海量數(shù)據(jù)的整合、存儲,、查詢,、統(tǒng)計、分析等功能,。

產(chǎn)品介紹

神州信息大數(shù)據(jù)平臺(Sm@rtBDP)整體包括三大部分:大數(shù)據(jù)運行平臺,、大數(shù)據(jù)監(jiān)控平臺和大數(shù)據(jù)開發(fā)平臺。

大數(shù)據(jù)運行平臺用來提供大數(shù)據(jù)的運行環(huán)境包含分布式文件系統(tǒng),、資源管理,、并行計算框架、內存并行計算,、流式計算,、集群協(xié)調服務、并行計算SQL執(zhí)行器,、并行計算腳本語言,、消息中間件、列式數(shù)據(jù)庫,、工作流,、文件數(shù)據(jù)采集、關系型數(shù)據(jù)庫數(shù)據(jù)采集等大數(shù)據(jù)技術的運行環(huán)境,。其中集成了23種Hadoop生態(tài)系統(tǒng)常用的組件,,可以支撐多種計算類型的應用的混合負載,包括批處理應用,、交互式查詢,、高頻讀寫、全文檢索,、數(shù)據(jù)挖掘和實時流計算等多種計算類型,。各行各業(yè)可基于這些計算手段和方式進行上層應用的建設。在安全管理方面遵循國家標準,,采用目前國內外先進的信息安全技術和有效的安全策略和技術手段,,從平臺外部安全以及平臺自身安全著手,建立安全管控中心,,提升平臺的服務和數(shù)據(jù)安全性,。

大數(shù)據(jù)監(jiān)控平臺是用來安裝大數(shù)據(jù)平臺運行環(huán)境、管理監(jiān)控大數(shù)據(jù)平臺的集群環(huán)境,。主要功能包括:監(jiān)控集群的主機狀態(tài),、集群的磁盤使用情況,、集群的CPU使用情況、集群的內存使用情況,、集群的網(wǎng)絡使用情況,;管理分布式文件系統(tǒng)、資源管理,、并行計算框架,、內存并行計算、流式計算,、集群協(xié)調服務,、并行計算SQL執(zhí)行器、并行計算腳本語言,、消息中間件、列式數(shù)據(jù)庫,、工作流,、文件數(shù)據(jù)采集、關系型數(shù)據(jù)庫數(shù)據(jù)采集等大數(shù)據(jù)技術,;通過web的方式為集群添加主機,、刪除主機,針對每個主機可以添加刪除各個大數(shù)據(jù)組件,。

大數(shù)據(jù)開發(fā)平臺是為開發(fā)人員提供的平臺,,能夠提高開發(fā)人員的開發(fā)效率。它為開發(fā)人員提供基于eclipse的開發(fā)插件,,開發(fā)人員可以不用訪問大數(shù)據(jù)運行環(huán)境就可以進行開發(fā)測試及調試,;基于WEB的訪問分布式文件系統(tǒng),可以上傳文件,、下載文件,、刪除文件;提供了基于WEB的方式操作列式數(shù)據(jù)庫,,可以查看列式數(shù)據(jù)庫數(shù)據(jù)中存在的表以及每個表的表結構,,而且還能查看每個表里的數(shù)據(jù);提供的數(shù)據(jù)采集的界面工具,,提供對關系型數(shù)據(jù)庫的數(shù)據(jù)采集,,支持手動執(zhí)行數(shù)據(jù)采集和定時數(shù)據(jù)采集。大數(shù)據(jù)開發(fā)平臺還提供了對文本文件的數(shù)據(jù)采集支持對文本文件的增量數(shù)據(jù)采集和全量數(shù)據(jù)采集,;提供并行計算框架,、內存計算、流式計算的開發(fā)框架,,開發(fā)人員可以更方便,、高效的開發(fā)并行計算的程序,。

適用場景

神州信息大數(shù)據(jù)平臺(Sm@rtBDP)可提供對以下應用場景的良好支撐:

大數(shù)據(jù)復雜分析:能夠充分利用集群的并行計算能力支撐海量數(shù)據(jù)復雜分析。

大表查詢和分析:能夠對歷史數(shù)據(jù)進行復雜查詢分析,,例如億級數(shù)量以上數(shù)據(jù)復雜查詢或批量分析,。平臺能夠利用集群的并行計算提高查詢速度,支持高并發(fā),、高吞吐查詢,。

海量歷史數(shù)據(jù)存儲:能夠以極高的性價比支持海量歷史數(shù)據(jù)的存儲。利用平臺的廉價存儲,,可將數(shù)據(jù)存儲到布式文件系統(tǒng)(HDFS)中,,提供查詢分析服務。相對于傳統(tǒng)共享儲存性價比更高,,相對帶庫使用方便,。

龐大的網(wǎng)頁數(shù)據(jù)分析,如輿情分析,、社會滿意度分析:能夠基于網(wǎng)頁數(shù)據(jù),,實現(xiàn)數(shù)據(jù)整合及數(shù)據(jù)分析處理。大數(shù)據(jù)平臺提供分布式存儲,、并行化計算框架,、機器學習庫等支撐能力。

非結構數(shù)據(jù)存儲:支持報表,、圖片,,互聯(lián)網(wǎng)采集的文本等非結構化數(shù)據(jù)存放到分布式文件系統(tǒng)HDFS中。在大數(shù)據(jù)平臺分布式文件系統(tǒng)下存儲數(shù)據(jù)可靠并使用方便,。

實時信息處理:支持高并發(fā)(每秒5000筆以上)的實時信息處理,。采集的數(shù)據(jù)不落地,基于內存進行實時計算及查詢,。

價值

■ 多數(shù)據(jù)類型存儲管理技術,,可同時提供結構化、半結構化及非結構化數(shù)據(jù)的存儲管理及訪問服務支持,;

■ 可線性擴展的分布式平臺,,可輕易支撐海量數(shù)據(jù)(PB級)存儲及并行計算;

■ 海量數(shù)據(jù)中檢索數(shù)據(jù)的毫秒級響應能力,,可輕松破解常規(guī)關系數(shù)據(jù)庫中同樣場景存在的性能問題,;

■ 豐富的流式計算組件支持,提供如大屏展示,、實時數(shù)據(jù)展現(xiàn)等業(yè)務場景的支撐能力,;

■ 功能全、質量高,、價格優(yōu),,可助客戶以較低的投入完成相同需求的支撐實現(xiàn),。

優(yōu)勢

■ 高性能。對于實時數(shù)據(jù)計算能力能夠達到秒級,;進行的關系型的數(shù)據(jù)查詢測試,,取得3~6倍的性能優(yōu)勢;

■ 高可靠性,。從硬件,、文件系統(tǒng)和分布式計算框架所有層面采用高可靠設計架構,有效地防止基于開源產(chǎn)品的不可靠問題,;支持集群中某臺機器宕機或者某臺機器出現(xiàn)故障時,,實時計算集群保障數(shù)據(jù)不會丟失、業(yè)務可以正常進行,;

■ 高穩(wěn)定性,。支持業(yè)務的連續(xù)性,在企業(yè)IT環(huán)境下,,提供可靠,、安全穩(wěn)定的7x24 服務;

■ 高兼容性,。支持各種操作系統(tǒng)如REDHAT,, CENTOS等主流Linux操作系,;支持各類的硬件平臺,,如IBM的服務器、HP服務器,、PCServer,、X86虛擬機等;

■ 簡單易用,,靈活開放,。可視化界面,,鼠標拖拽添加功能模塊,,易維護;Hadoop架構可以輕松擴展到數(shù)千節(jié)點,,支持在運行階段不宕機的情況下添加集群里的機器,,在集群機器里添加組件;支持橫向擴展部署,支持幾乎不受限制的系統(tǒng)橫向擴展需要,;全面兼容Apache Hadoop發(fā)行的版本,,支持Hbase、Pig,、Hive,、MR,、Oozie等各種開源方案;

■ 高度集成,,自主創(chuàng)新,。提供統(tǒng)一的集群及服務管理,具有標準的服務框架和豐富的API,,能夠方便接入新的組件并進行管理,,也能便捷地與其他系統(tǒng)集成;安全性以多個層次加入和集成到平臺中,。提供用于身份驗證,、授權、可歸責性以及數(shù)據(jù)保護的關鍵功能,,確保平臺及數(shù)據(jù)安全,;高性能。

聯(lián)系我們