在物聯(lián)網(wǎng)的世界中,通過傳感器探測器創(chuàng)造出大量的數(shù)據(jù)是極為常見的,也是當今物聯(lián)網(wǎng)所面對的挑戰(zhàn)之一——從傳輸?shù)慕嵌葋砜词侨绱?,從?shù)據(jù)層管理的層面來看也依然是如此。物聯(lián)網(wǎng)設備可以產生海量的數(shù)據(jù)其中之一的事例就是在商業(yè)航空工業(yè)中所部署在飛機上的傳感器。
現(xiàn)代飛機上的噴氣發(fā)動機上裝有上千個傳感器以確保飛機發(fā)動機的穩(wěn)定運行,這些傳感器每秒大概可以產品高達10GB的數(shù)據(jù)。如下圖1.1所示現(xiàn)代飛機裝配的噴氣式發(fā)動機大約配備5000個左右的傳感器。因此,如果一家雙引擎的商用飛機平均運行時間為8小時,那么每天的數(shù)據(jù)將會超過500TB,而這僅僅是來自引擎的數(shù)據(jù)!今天的飛機有成千上萬的其他傳感器連接到飛機上的各個部位系統(tǒng)。而事實上,現(xiàn)代的大型噴氣式飛機僅僅是機翼上就有1萬個傳感器。
圖1.1 商業(yè)飛機的噴氣式引擎
每架飛機每天所獲取的拍字節(jié)(PB)數(shù)據(jù)的難度并不大——這僅僅是針對一家飛機來說。當前全世界越有10萬余次商業(yè)航班。這些來之商業(yè)航空業(yè)務的飛機所產生的的物聯(lián)網(wǎng)數(shù)據(jù)是驚人。
這個示例只是眾多物聯(lián)網(wǎng)大數(shù)據(jù)問題愈發(fā)嚴重的示例之一。以目前盡可能有效的方式來分析這些數(shù)據(jù)所屬范疇。數(shù)據(jù)分析必須能夠及時的從數(shù)據(jù)中找到可用、可操作的見識和認知,無論數(shù)據(jù)的展示方式如何,否則無法體現(xiàn)出充分體現(xiàn)出物聯(lián)網(wǎng)的優(yōu)點。
在分析數(shù)據(jù)研究之前,有必要定義數(shù)據(jù)相關的關鍵概念。首先,并非所有數(shù)據(jù)都是相同的;可用用不同的角度、方法進行分類、分析。根據(jù)數(shù)據(jù)的分類方式,可以應用各種數(shù)據(jù)分析工具和處理方法。從物聯(lián)網(wǎng)的角度來看,這兩個概覽是數(shù)據(jù)的結構化和非結構化的重要依據(jù),以及評定數(shù)據(jù)是否處于動態(tài)還是禁止。
結構化數(shù)據(jù)與非結構化數(shù)據(jù)的比較
數(shù)據(jù)的結構是數(shù)據(jù)的重要分類,因為從分析數(shù)據(jù)的角度來看,它們通常需要用到不同的數(shù)據(jù)分析工具集合。如圖1.2提供了結構化和非結構化數(shù)據(jù)的差異比較。
圖1.2數(shù)據(jù)結構化與非機構化的差異
結構化數(shù)據(jù)遵循這這種模型/模式,該模型/模式定義了數(shù)據(jù)的結構的表達和組織方式,這意味著它非常適合傳統(tǒng)的關系型數(shù)據(jù)管理系統(tǒng)(RDBMS)。
結構化數(shù)據(jù)可以在大多數(shù)計算機系統(tǒng)中找到,包括從銀行交易后將發(fā)票統(tǒng)計到計算機的日志文件和路由器的配置在內的所有內容。物聯(lián)網(wǎng)傳感數(shù)據(jù)通常使用的結構化的值,如溫度、濕度、氣壓等,這些數(shù)值都是已知格式發(fā)送。結構化數(shù)據(jù)易于格式化、存儲、查詢和處理;因為這些特性,它一直作為行業(yè)決策的主要數(shù)據(jù)類型。
非結構化的數(shù)據(jù)缺少通過傳統(tǒng)編程的方式來進行解讀以及解碼。這種數(shù)據(jù)類型包括文本、語音、圖形以及視頻。一般來說,任何不完全符合預定義數(shù)據(jù)模型的數(shù)據(jù)都會被歸類為非機構化的數(shù)據(jù)。
根據(jù)統(tǒng)計,目前大約80%的業(yè)務數(shù)據(jù)為非結構化數(shù)據(jù)。正因為如此,可以應用與非結構化的數(shù)據(jù)分析方法相對比較復雜,如認知計算器、機器學習、自然語言處理(NLP)和人工智能等。這些技術能從各種各樣的非機構化數(shù)據(jù)中提取關鍵信息。
目前而言結構化數(shù)據(jù)相對非結構化數(shù)據(jù),更容易管理和處理。熟悉這兩種數(shù)據(jù)分類結構非常重要,這樣才能判斷使用哪一種數(shù)據(jù)分類能更加容易判斷給出適宜的數(shù)據(jù)分析方案。
動態(tài)數(shù)據(jù)與靜態(tài)數(shù)據(jù)
與大多數(shù)網(wǎng)絡應用,物聯(lián)網(wǎng)中的數(shù)據(jù)要么在“傳輸中”(動態(tài)數(shù)據(jù)),要么已經(jīng)被保存或者存儲(靜態(tài)數(shù)據(jù))。動態(tài)數(shù)據(jù)包括傳統(tǒng)的客戶端與服務器進行交換,比如WEB瀏覽器中通過網(wǎng)絡進行傳輸?shù)挠脩魯?shù)據(jù)、電子郵件傳輸?shù)?。將?shù)據(jù)保存到硬盤、USB存儲器等物理硬件中的數(shù)據(jù)屬于靜態(tài)數(shù)據(jù)。
從物聯(lián)網(wǎng)的角度來看,來自智能設備的數(shù)據(jù)通常被認為是運動數(shù)據(jù),因為它是通過網(wǎng)絡的方式最后到達到最終目的地。其采集數(shù)據(jù)在邊緣計算采集后通過霧計算的方式進行處理后進行上傳,最終到達數(shù)據(jù)存儲中心。
當數(shù)據(jù)到達數(shù)據(jù)中心后,數(shù)據(jù)中心再次將采集的數(shù)據(jù)進行二次處理,而處理中的數(shù)據(jù)仍是在移動的狀態(tài)。當前,動態(tài)數(shù)據(jù)的分析處理工具還是處理起步階段。
在物聯(lián)網(wǎng)網(wǎng)絡中的靜態(tài)數(shù)據(jù)通??梢栽谖锫?lián)網(wǎng)的數(shù)據(jù)整體或者代理網(wǎng)絡中找到。從數(shù)據(jù)分析的角度來看,有許多工具可以使用,特別是對于結構化數(shù)據(jù)的處理工具,這些工具不僅可以提供數(shù)據(jù)處理,還能提供對數(shù)據(jù)的存儲服務。
物聯(lián)網(wǎng)數(shù)據(jù)分析概述
來自智能物聯(lián)網(wǎng)設備的數(shù)據(jù)通常需要經(jīng)過處理篩選后的數(shù)據(jù)才會有實現(xiàn)其商業(yè)和分析價值。數(shù)據(jù)分析通常會根據(jù)其結果進行類型分析和分解。如圖1.3,數(shù)據(jù)分析的4種類型。
圖1.3數(shù)據(jù)分析的4種類型
描述性分析:此類數(shù)據(jù)通分析過描述的方式闡述此可正在發(fā)生著什么。例如,起車胎壓中的計量器每秒報告一個氣壓值。通過這些數(shù)據(jù)設備使用人員可時刻監(jiān)控設備的狀態(tài)以確保設備安全穩(wěn)定的運行。
診斷性分析:此類分析通過分析設備為何會產出出數(shù)據(jù)的方式,清楚的了解設備運行原理,從而進行對設備問題的診斷。
預測性分析:預測性分析的目的是為了在問題發(fā)生之前進行對其預測從而達到設備穩(wěn)定運行目前。列如,汽車在運行時水箱的溫度不斷緩慢上升,著表明可能起車需要更換機油或者水箱需要維護。
處方性分析:處方性分析已經(jīng)超越預測性分析,其可提供對即將到來的問題提出解決方案。就如針對水箱攀升問題進行數(shù)據(jù)分析處理的方式提出各種替代解決方案。
預測性分析和處方性分析都是資源密集型的數(shù)據(jù)分析方式,其提供的價值遠遠超過數(shù)據(jù)本身。如1.4所示為4中數(shù)據(jù)分析方式中描述分析最為簡單處方性分析最難,其中難度成梯度上升,處方性分析其提供的價值最多,但也是最為復雜的。當前物聯(lián)網(wǎng)的數(shù)據(jù)分析大多依賴于描述性分析和診斷性分析,但是對于目前企業(yè)而言預測性分析和處方性分析的需求是迫切的。
圖1.4價值和復雜性因素在數(shù)據(jù)分析類型中的應用
今天的分享就到這里啦,億佰特人每一天都致力于更好的助力物聯(lián)化、智能化、自動化的發(fā)展,提升資源利用率,更多產品更多資料,感興趣的小伙伴可以登錄我們的官網(wǎng)進行了解,還有客服小姐姐在線答疑哦!