2019-09-05 10:42:06分類:行業資訊4535
物聯網正在不斷產生不可思議的數據量。分析師預計,2019年將有266.6億臺物聯網設備投入使用。此外,IDC預計,到2025年,物聯網設備將產生超過90 zettabytes的數據。
所有這些數據意味著什么?
通過流式分析,它意味著可以對拯救生命事件的實時反應。例如,卡車接收關于道路上結冰的數據,然后,卡車不僅可以提醒駕駛員,而且還可以提醒其他車輛結冰的確切位置。
為了使這種實時數據能夠以高容量和高速度從物聯網傳感器和網絡操作中不斷流入組織,您需要一種不同于傳統靜態事務數據所需的數據管理解決方案。
以卡車為例。想象一下,冬天的時候,你在路上開著一輛卡車。貴公司為車輛安裝了物聯網傳感器,可持續監控車輪打滑、氣溫、速度和轉速情況。突然,當氣溫降至冰點以下時,車輪打滑測量值急劇上升,如果卡車或司機能在幾毫秒內做出反應,事故就可以避免,如果沒有,傳感器數據就沒有意義。
事件流處理
事件流處理系統使您能夠通過實時數據清理和分析及時處理這些數據。
讓我們定義事件流處理:“事件”是在明確定義的時間發生并記錄在數據字段集合中的任何事件; “流”是數據事件的持續流動,或者是從成千上萬個連網設備流入企業內部和企業周圍的持續數據流;“處理”是指分析數據的行為。
當事件流處理系統管理來自物聯網傳感器的數據時,它們會執行將原始數據轉化為實時操作信息的過程。隨著大量數據快速流入系統,事件流處理系統會立即清理、規范和聚合內存中的數據。同時,在這些數據流中編碼的實時分析模型將執行分析,以確定特定事件是否相關,并在需要緊急行動時生成即時警報。
實時分析與事后分析
事件流處理系統實時過濾數據。因為這些系統最初存儲數據的內存是有限的,所以事件流處理系統決定要丟棄哪些數據或者要保存哪些數據,甚至可能以聚合形式保存,因為多個事件通常比單個事件更具信息性。
例如,當卡車在結冰的道路上有打滑的危險時,網絡邊緣的實時分析會立即提醒司機減速,甚至自動減速。
相比之下,傳統的關系數據庫管理系統(RDBMS)存儲所有數據,并在事后進行清理和分析。關系數據庫管理系統從預定義的來源收集數據,并將其存儲在存儲系統中,如數據集市。一旦進入存儲,數據就會被清理、規范化并整合到數據倉庫或Hadoop中。只有這樣,用戶才能通過報告、歷史分析,甚至預測分析和機器學習,從數據中獲得意義。
例如,對于事件流處理,如果傳感器跟蹤氣溫并且氣溫保持穩定,則系統不會存儲持續的讀數。相反,它可能只保留指示變化的讀數。
多階段分析提供了優勢
事件流處理為您提供了多個從數據中提取價值的機會。對于傳統的數據管理,數據是歷史的,不會改變。它可能會在事后進行分析一兩次,而不是更多。
事件流處理系統首先實時分析數據,從而能夠對事件做出即時響應。然后,您可以實時或接近實時地將來自多個傳感器的數據子集帶回云端或現場進行跨傳感器分析。
假設您希望對整個卡車車隊進行分析,以確定在某一海拔處發生的故障情況。如果系統檢測到問題,則可能觸發車隊中所有卡車的大規模維修。
最后,事件流處理系統還將指定的數據存儲在數據倉庫或Hadoop中。在那里,您可以對現在的歷史數據進行可視化分析或可視化統計。
利用數據倉庫中的歷史數據,您可以使用機器學習算法進行預測性維護。隨著時間推移,機器學習算法可以學習模式,指示卡車何時需要維護并提前發現故障。
在多階段分析的所有步驟中,機器學習可以訓練系統更好地預測結果。隨著模型的變化,流處理解決方案可以根據需要在邊緣、本地或云中更新模型。
流數據允許您在需要時從物聯網數據中收集見解,并實時地和歷史地識別跨傳感器分析的趨勢。通過處理邊緣數據,組織、個人和社區可以從實時數據提供的見解中受益。這些實時數據有望拯救生命、改善交通狀況和危機溝通。
讓我們生活在邊緣,看看它會把我們帶去哪里!