183.17.229.* 2020-06-08 10:54:25 |
數(shù)據(jù)可視化起源于圖形學(xué)、計(jì)算機(jī)圖形學(xué)、人工智能、科學(xué)可視化以及用戶界面等領(lǐng)域的相互促進(jìn)和發(fā)展,是當(dāng)前計(jì)算機(jī)科學(xué)的一個(gè)重要研究方向,它利用計(jì)算機(jī)對(duì)抽象信息進(jìn)行直觀的表示,以利于快速檢索信息和增強(qiáng)認(rèn)知能力。
數(shù)據(jù)可視化系統(tǒng)并不是為了展示用戶的已知的數(shù)據(jù)之間的規(guī)律,而是為了幫助用戶通過認(rèn)知數(shù)據(jù),有新的發(fā)現(xiàn),發(fā)現(xiàn)這些數(shù)據(jù)所反映的實(shí)質(zhì)。
大數(shù)據(jù)可視化的基本概念
1)數(shù)據(jù)空間。由n維屬性、m個(gè)元素共同組成的數(shù)據(jù)集構(gòu)成的多維信息空間。
2)數(shù)據(jù)開發(fā)。利用一定的工具及算法對(duì)數(shù)據(jù)進(jìn)行定量推演及計(jì)算。
3)數(shù)據(jù)分析。對(duì)多維數(shù)據(jù)進(jìn)行切片、塊、旋轉(zhuǎn)等動(dòng)作剖析數(shù)據(jù),從而可以多角度多側(cè)面的觀察數(shù)據(jù)。
4)數(shù)據(jù)可視化。將大型數(shù)據(jù)集中的數(shù)據(jù)通過圖形圖像方式表示,并利用數(shù)據(jù)分析和開發(fā)工具發(fā)現(xiàn)其中未知信息。
大數(shù)據(jù)可視化的實(shí)施
大數(shù)據(jù)可視化的實(shí)施是一系列數(shù)據(jù)的轉(zhuǎn)換過程,如下圖所示:
我們有原始數(shù)據(jù),通過對(duì)原始數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化、結(jié)構(gòu)化的處理,把它們整理成數(shù)據(jù)表。將這些數(shù)值轉(zhuǎn)換成視覺結(jié)構(gòu)(包括形狀、位置、尺寸、值、方向、色彩、紋理等),通過視覺的方式把它表現(xiàn)出來。例如將高中低的風(fēng)險(xiǎn)轉(zhuǎn)換成紅黃藍(lán)等色彩,數(shù)值轉(zhuǎn)換成大小。將視覺結(jié)構(gòu)進(jìn)行組合,把它轉(zhuǎn)換成圖形傳遞給用戶,用戶通過人機(jī)交互的方式進(jìn)行反向轉(zhuǎn)換,去更好地了解數(shù)據(jù)背后有什么問題和規(guī)律。
從技術(shù)上來說,大數(shù)據(jù)可視化的實(shí)施步驟主要有四項(xiàng):需求分析,建設(shè)數(shù)據(jù)倉庫/數(shù)據(jù)集市模型,數(shù)據(jù)抽取、清洗、轉(zhuǎn)換、加載(ETL),建立可視化分析場(chǎng)景。
一、需求分析
需求分析是大數(shù)據(jù)可視化項(xiàng)目開展的前提,要描述項(xiàng)目背景與目的、業(yè)務(wù)目標(biāo)、業(yè)務(wù)范圍、業(yè)務(wù)需求和功能需求等內(nèi)容,明確實(shí)施單位對(duì)可視化的期望和需求。包括需要分析的主題、各主題可能查看的角度、需要發(fā)泄企業(yè)各方面的規(guī)律、用戶的需求等內(nèi)容。
二、建設(shè)數(shù)據(jù)倉庫/數(shù)據(jù)集市的模型
數(shù)據(jù)倉庫/數(shù)據(jù)集市的模型是在需求分析的基礎(chǔ)上建立起來的。數(shù)據(jù)倉庫/數(shù)據(jù)集市建模除了數(shù)據(jù)庫的ER建模和關(guān)系建模,還包括專門針對(duì)數(shù)據(jù)倉庫的維度建模技術(shù)。維度建模的關(guān)鍵在于明確下面四個(gè)問題:
1.哪些維度對(duì)主題分析有用?
2.如何使用現(xiàn)有數(shù)據(jù)生成維表?
3.用什么指標(biāo)來"度量"主題?
4.如何使用現(xiàn)有數(shù)據(jù)生成事實(shí)表?
三、數(shù)據(jù)抽取、清洗、轉(zhuǎn)換、加載(ETL)
數(shù)據(jù)抽取是指將數(shù)據(jù)倉庫/集市需要的數(shù)據(jù)從各個(gè)業(yè)務(wù)系統(tǒng)中抽離出來,因?yàn)槊總(gè)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)質(zhì)量不同,所以要對(duì)每個(gè)數(shù)據(jù)源建立不同的抽取程序,每個(gè)數(shù)據(jù)抽取流程都需要使用接口將元數(shù)據(jù)傳送到清洗和轉(zhuǎn)換階段。
數(shù)據(jù)清洗的目的是保證抽取的原數(shù)據(jù)的質(zhì)量符合數(shù)據(jù)倉庫/集市的要求并保持?jǐn)?shù)據(jù)的一致性。
數(shù)據(jù)轉(zhuǎn)換是整個(gè)ETL過程的核心部分,主要是對(duì)原數(shù)據(jù)進(jìn)行計(jì)算和放大。數(shù)據(jù)加載是按照數(shù)據(jù)倉庫/集市模型中各個(gè)實(shí)體之間的關(guān)系將數(shù)據(jù)加載到目標(biāo)表中。
四、建立可視化場(chǎng)景
建立可視化場(chǎng)景是對(duì)數(shù)據(jù)倉庫/集市中的數(shù)據(jù)進(jìn)行分析處理的成果,用戶能夠借此從多個(gè)角度查看企業(yè)/單位的運(yùn)營(yíng)狀況,按照不同的主題和方式探查企業(yè)/單位業(yè)務(wù)內(nèi)容的核心數(shù)據(jù),從而作出更精準(zhǔn)的預(yù)測(cè)和判斷。
大數(shù)據(jù)可視化分析方法與流程.中琛魔方大數(shù)據(jù)分析平臺(tái)(www.zcmorefun.com)表示大數(shù)據(jù)時(shí)代,大規(guī)模、高緯度、非結(jié)構(gòu)化數(shù)據(jù)層出不窮,要將這樣的數(shù)據(jù)以可視化形式**的展示出來,傳統(tǒng)的顯示技術(shù)已很難滿足這樣的需求.而高分高清大屏幕拼接可視化技術(shù)正是為解決這一問題而發(fā)展起來的,它具有超大畫面、純真彩色、高亮度、高分辨率等顯示優(yōu)勢(shì),結(jié)合數(shù)據(jù)實(shí)時(shí)渲染技術(shù)、GIS空間數(shù)據(jù)可視化技術(shù),實(shí)現(xiàn)數(shù)據(jù)實(shí)時(shí)圖形可視化、場(chǎng)景化以及實(shí)時(shí)交互,讓使用者更加方便地進(jìn)行數(shù)據(jù)的理解和空間知識(shí)的呈現(xiàn),可應(yīng)用于指揮監(jiān)控、視景仿真及三維交互等眾多領(lǐng)域。 |