1. <pre id="ao54j"></pre>
  2. <td id="ao54j"><ruby id="ao54j"></ruby></td>
    <tr id="ao54j"></tr>
  3. 珠海高凌信息科技股份有限公司歡迎您!
    服務熱線: 86-756-8683904
    首頁 - 產品與解決方案 - 信息安全
    凌盾云大數據平臺
    發布時間:2020-04-24 09:58:00 | 瀏覽次數:


    大數據綜合平臺



          凌盾云大數據綜合平臺基于Hadoop生態體系,整合先進云計算技術,通過集成/優化/封裝,支持對海量結構化、半結構化和非結構化數據的存儲與高速處理,并且支持對數據的高并發快速查詢,我們對交付版本在服務期內全面負責。凌盾云大數據綜合平臺在集成開源發布版本的同時,還從社區中挑選部分Patch集成到凌盾云大數據綜合平臺中,以便在項目中更好的利用hadoop處理海量數據。通過對開源組件的不斷研究結合項目實施過程中出現的問題,在開源組件原有基礎上進行了大量重構與優化,使我們的產品具有更強的數據處理、更快的處理速度以及更加便捷的實施優勢。
          計算組件:平臺實現功能組件的松耦合,凌盾云大數據平臺提供標準的ETL類組件,使用者可以在此基礎上靈活擴充自己的組件類型。如上網行為分析組件、其它自定義組件等。
          平臺接口:凌盾云大數據平臺提供基于M/R的標準編程接口,以及對象管理、用戶管理、權限管理、配額管理等組件接口。
          平臺能力: 凌盾云大數據平臺提供便捷的流程編排、統一任務調度、自動化的系統運維、全面的集群監控,讓使用者以更小的成本實施分布式計算應用。
          產品集成:凌盾云大數據平臺平臺具備良好的兼容性,支持Apache Hadoop、Cloudera、HortonWorks等開源和商用的多類Hadoop發行版本。
          自動化安裝部署:大數據綜合平臺實現了大數據平臺軟件一鍵式自動安裝部署,管理員能夠通過凌盾云Manager配置參數根據部署集群硬件環境自動優化,最大化利用集群資源。
          系統資源監控:大數據綜合平臺提供了自底層硬件到上層處理流程的全面監控體系,幫助運維人員快速定位問題解決問題,使系統持續健康穩定的運行。通過運維監控系統,管理員可以監控集群整體及各主機的運行情況,包括CPU、內存、硬盤、網卡等各項硬件指標。
          跨平臺統一調度:大數據綜合平臺支持對傳統關系數據庫、MPP數據庫、hadoop庫等多類數據平臺進行數據采集和加載操作。管理員在凌盾云大數據綜合平臺上可以通過JDBC、Webservice、Shell、API等多種方式實現了跨數據平臺的作業調度,統一管理數據采集、轉換、加載的完整流程
          開放的平臺服務:凌盾云大數據綜合平臺通過一系列接口開放大數據平臺的存儲資源和計算資源,方便和各類系統進行融合。外部系統/用戶需要通過凌盾云大數據綜合平臺在平臺上注冊獲取接口訪問許可。而大數據綜合平臺記錄接口調用過程詳細信息,保障平臺及數據的安全
          應用及作業負載監控管理:實現集群相關軟件統一啟動/停止,無需登錄相關主機;直觀顯示當天任務執行成功、失敗、超時、等待、運行等信息 提供手工掛起、刪除、恢復流程等操作。
          應用優化工具:系統提供SQL轉換工具,將原系統SQL語句快速轉換為大數據平臺的類SQL語句。同時也提供應用自動調優工具,以應對大數據環境下處理復雜邏輯出現的數據傾斜問題。


    1.1實時事件處理
          通過結合Spark、Flink、Esper等開源技術框架,結合內存處理技術、流數據結合CEP復雜事件處理技術,滿足海量,多類型批量結合實時計算能力;采用“流處理+內存數據庫”技術,實現基于模型的流數據秒級監控和預警,滿足高實時高可靠數據處理,采用千億級數據秒級查詢相應能力,支持海量數據的快速檢索和定位,日處理數據百億條,存儲容量支持達到PB級別。


    1.2高并發海量數據查詢
          凌盾云大數據綜合平臺產品通過HBase底層的優化封裝提升了以下能力:
          支持二級索引、多維索引、全文索引
          支持高并發、低延時的二級索引,保證數據一致性
          可在HBase和Hive查詢時使用二級索引
          支持高維時空數據的索引
          集成lucene支持全文索引 
          支持高效的HBase塊編碼方式,減少數據冗余
          HBase集群災備,提供工具進行數據的遷移和恢復
          支持Graph 圖引擎,幫助客戶構造上億用戶的復雜關系圖表


    1.3安全性
          凌盾云大數據綜合平臺通過完備的安全機制以及靈活的權限設置,可以實現開放環境下平臺主機之間以及用戶訪問的嚴格控制,保障平臺安全可靠,避免安全問題。


    1.4數據透明訪問
          通過標準的SQL無障礙地獲取不同類型、不同位置的數據庫的服務,解決數據異構環境下,結構化與非結構化數據并行存儲,傳統關系型數據庫與NoSQL數據庫之間的數據透明訪問問題,提高了用戶SQL開發工程師的開發效率;對下層通過接口封裝、SQL語法解析、SQL執行等過程,將物理上分散在不同數據庫的數據,進行邏輯上統一,起到統一訪問的作用。

    數據資產管理平臺
          數據資產管理平臺包含數據標準管理、元數據管理、數據質量管理、數據資產視圖、數據安全管理等功能模塊。借鑒資產管理的方法理論來管理數據,將數據作為一種特殊的資產,對進入平臺的數據進行標準化的規范約束,并以元數據作為驅動,連接數據的標準管理、數據質量管理、數據數據安全管理的各個階段,形成統一、完善的數據治理體系,以解決實際業務問題為導向,增強數據資產管理平臺對業務發展的支撐能力。以元數據為驅動,統一大數據綜合平臺完整的數據治理體系。從組織架構、系統功能等方面增強數據宏觀管控,并實現精細化管理。
    系統特色
          數據治理組織架構管理
          定義數據治理所需人員組織上的崗位和職責,從管理角度支撐數據治理工作的落地和執行。
          數據標準管理
          建立統一大數據綜合平臺數據標準體系,并制定數據標準運維管控制度和流程。
          元數據管理
          降低元數據使用難度、提升用戶體驗,使大數據綜合平臺各類用戶均能參與到元數據運營維護當中。
          數據質量管理
          為內、外部用戶提供平臺化的數據質量監控;通過擴充和優化公共規則庫、保證數據的完整性、一致性、準確性、及時性、合法性,提升用戶使用感知;并提供數據質量應用滿足個性化需求。
          數據資產視圖
          重點建設從規劃、注冊、運維到注銷的全流程管理體系,使數據資產管理系統化、可視化。
          數據安全管理
          建立體系化的數據安全管控策略,通過用戶安全管理、數據安全管理實現全方位數據安全管控機制,通過技術手段與管理措施相結合的方式落實數據安全,做到事前可管、事中可控、事后可查。

    智能分析平臺

          智能分析平臺上承載多個數據綜合分析業務,這些分析業務對通信網數據等進行數據挖掘、關聯分析,以發現價值數據。這些綜合分析業務會用到很多共同的數據挖掘、機器學習基礎算法,例如分類、聚類、線性回歸等,為了避免重復的部署數據挖掘和機器學習算法包,就需要在智能分析平臺上提供一套基礎的算法包,提供給多個分析業務系統共用;另外某些復雜的數據分析業務會需要多個算法進行組合分析,以完成對于價值數據的提取,這就需要系統支持對于多算子分析任務的調度和執行管理;另外在系統上會有多個分析任務同時并行執行,這就需要分析任務的統一管理和調度執行機制。因此這就迫切需要一個專門的子系統來實現上述功能。
          系統就是基于上述需求設計實現的,該子系統主要用于支撐多個數據綜合分析業務的執行。具體功能包括如下幾個方面:1)提供了機器學習、數值分析、數值統計等多種基本的數據分析算子;2)算子管理功能,提供了分析算子的提交、查看、修改、刪除和執行等算子管理功能,并支持用戶按照規范開發新算子,并支持將新算子提交到算子包;3)分析任務調度,支持對綜合分析業務產生的多個分析任務進行統一調度管理,提供了靈活多樣的調度策略,包括時間調度、手工調度等;4)復雜分析工作流的編排和管理,支持基于多個算子編排復雜的分析任務,實現對于負責分析業務的支撐;5)標準化操作接口,對外提供統一標準的訪問接口,包括數據訪問接口和算子訪問接口,接口形式為JDBC、ODBC以及HTTP等,算子訪問接口提供了算子提交、查看、修改、刪除和執行等功能。
          業務分析支撐子系統統主要包括數據源訪問模塊、算子集模塊、算子管理模塊、任務管理/調度模塊、分析工作流管理模塊、操作接口模塊和WEB管理模塊等七個模塊構成。
          數據源訪問模塊:該模塊提供了多種數據源的訪問方式,包括智能分析平臺內部的各種數據源以及外部的數據源;
          算子集模塊:該模塊提供了多種基礎的數據分析算子,包括數據挖掘、機器學習、數值計算、關系分析等等,并且分析算子可以動態增加;
          算子管理模塊:該模塊主要提供了分析算子的基礎管理功能,包括算子瀏覽、添加、刪除等;
          任務管理/調度模塊:該模塊提供了對于多個分析任務的調度和查看管理,支持手動和自動等多種調度機制;
          分析工作流管理模塊:該模塊實現了分析算子編排組成分析工作流的功能,支持復雜的數據分析任務;
          操作接口模塊:該模塊對外提供了各種操作接口,包括算子操作接口、任務操作接口等,接口形式包括API和HTTP等形式;
           WEB管理模塊:該模塊為用戶提供了一個可視化操作界面,通過該界面可以實現對系統的操作管理,包括算子管理、任務管理、工作流編排等。

     
     上一篇:電信網有害信息管控系統
     下一篇:有害短信防范系統
    《姬辱!!调教全集》在线播放,a级毛片免费观看完整,草蜢在线观看免费,父亲在线观看完整版