183.17.231.* 2020-08-17 13:23:21 |
大數據平臺是集開發、配置、部署、管理、監控、安全于一體的數據交換全生命周期管理的數據交換平臺。平臺可快速構建、運行和管理分布式應用系統間、云環境下應用系統之間等數據交換共享任務,可滿足各種大型應用、各種復雜的網絡環境下的業務需求,尤其適用于跨部門、跨地域、跨層級的數據交換共享應用。
數據交換共享平臺
傳統大數據平臺的一些常見問題:
1.數據孤島問題
傳統方式建設企業系統時,不同部門或團隊通常會構建獨立的數據庫,導致的問題有:同一份數據存在于多個業務系統內且內容不一致,缺少統一的數據標準、數據管理流程及可靠的管理工具,出現質量問題時往往無法**追溯并修正。
2.煙囪開發問題
“煙囪”式架構是傳統企業系統開發的弊病,不同團隊獨立建設、獨立開發服務和應用,帶來安全、運維、升級、部署等通用功能的重復開發和投入問題,這種開發的低復用率帶來了巨大資源的浪費,難以形成技術合力,也不利于團隊間的研發管控和質量提升。
3.技術門檻問題
大數據和AI的應用與運維十分昂貴,無論是對于平臺建設、團隊建設還是業務探索而言都會帶來不小的開銷。將數據服務化、資產化、在線化,以方便客戶、技術開發人員和數據科學家使用,降低技術門檻是當務之急。
數據交換共享平臺功能需求
1、統一的資源目錄管理:
支持統一的元數據管理,包括元數據的模型設計、模型審核、模型實施、模型驗證,以及模型版本管理、關系管理等;
支持資源的檢索與定位,便于服務的重用與維護;
2、**靈活的數據采集:
采用調度中心+決策中心相結合的分布式數據采集處理架構,支持多樣化的采集策略和多種抽取、匯總方式;
支持可視化任務編排、配置、規則定義及發布;
針對結構化資源和非結構化資源,以數據映射、數據裁剪、數據過濾的工具化手段進行數據處理;
3、集中式數據質量管控
支持數據質量核查規則配置與管理,在數據采集清洗過程中完成數據質量核查與告警;
支持對數據質量告警的監控和數據質量問題的可視化呈現;
提供知識庫管理和查詢,支持數據血統分析和影響分析;
4、安全便捷的數據交換共享服務
支持以數據服務的形式封裝數據,提供統一的數據開發共享能力;
數據服務封裝和開發,支持WebService協議、FTP協議和數據庫等各類接口;
支持服務發布、訂閱及審核管理,同時支持對服務調用情況進行監控,以確保平臺采集管理的數據正常實現交換共享;
大數據共享交換平臺的功能需求.中琛魔方大數據分析平臺(www.zcmorefun.com)表示大數據平臺讓數據的運用更靈活,讓數據共享交換變得隨時隨地、按需和便捷,充分調度計算設施、存儲設備、應用程序等資源,滿足用戶多元化、復雜的需求,降低了開發、管理的難度。 |