隨著大數據概念的引入,云計算中的分布式計算技術已開始被包含在大數據技術中。 當人們提到云計算時,他們更多地指的是基礎IT資源和服務的集成和優化。 以某種方式提供IT資源的業務模型。那么大數據與云計算和物聯網三者之間有什么關系呢?想知道這個問題的答案,首先讓我們來了解一下大數據與云計算的關系。
大數據與云計算
從云計算和大數據概念的誕生到現在,二者之間的關系非常微妙,既密不可分,又千差萬別。因此,我們不能把云計算和大數據割裂開來作為截然不同的兩類技術來看待。此外,物聯網也是和云計算、大數據相伴相生的技術。
為解決互聯網應用對大規模計算能力、數據存儲能力的迫切需求,云計算的概念被提出。云計算是一種分布式計算平臺,通過虛擬技術將海量的硬件資源和虛擬資源虛擬成虛擬資源池,并根據需求任務的大小,向虛擬資源池獲取相應的計算和存儲資源。
在大數據處理的需求下,出現了許多優秀的云計算平臺,例如Apache開源的Hadoop、 Google的MapReduce、微軟的Dryad等。
在處理格式多樣的大數據時,云計算能協調組織眾節點,提供廉價的資源和服務,具有較可靠的可擴展性和容錯性。然而,對于大規模復雜的應用系統來說,云計算還有諸多的技術問題有待深入研究。
為應對數據密集型服務,云計算提供分布式并行編程技術、分布式并行數據庫技術,可通過開源的編程接口和工具來調用服務,其優勢是能高效處理結構簡單的大數據,但對關系復雜的大數據的處理,在效率和準確率方面還不能令人滿意。
大數據技術的目標是解決應用中多源、異構、海量數據的管理和使用問題,但其本身不具備處理大規模數據的存儲資源和計算資源的能力,因此必須在已有成熟的技術基礎上,引入新的與之相對應的大數據存儲和計算平臺。
云計算以數據為中心,對大數據集進行處理,并向用戶返回高效服務,具有并行化、虛擬化、按需服務等特點。從數據管理角度來說,大數據技術是對數據組織結構的描述,研究重點是數據的查詢、更新、索引等操作技術;而云計算則是一種分而治之,按需索取的大數據分布式服務模式。
這兩個概念提出的背景都是為滿足海量異構數據的組織和管理要求。從相互之間的影響來看,前者為后者提供了廣闊的應用背景,后者為前者數據管理提供了存儲和計算資源,兩者相互促進,相互依存。
大數據與物聯網
隨著智能交通、智能家居、智能物流、智慧景區等應用的興起,物聯網已成為未來經濟的新增長點。美國、德國、英國、意大利和丹麥等國家爭先推出物聯網相關發展策略,使物聯網規模不斷擴大。互聯網到物聯網的跨越,極大地推動了大數據的發展。
物聯網是指把所有物品通過信息傳感設備與互聯網連接起來,實現智能化識別和管理。它從結構上分為四層,即實體層、感知層、網絡層和應用層。其每層都與數據的產生或者處理息息相關。大數據與物聯網的結合是機遇與挑戰并存。
首先,產生數據的平臺多樣化。從原來的個人電腦擴展為傳感器、智能手機、各種業務系統、平板電腦、監控錄像等,這使得感知層需要感知的數據呈現多樣化。目前主流的感知技術有視頻文字采集技術、紅外線技術、傳感器技術和藍牙技術等,但隨著感知的數據數量級的不斷增加,相應的感知技術也要不斷地改進和完善。
其次,物聯網技術的局限性。事物的發展需要一個過程,處于發展初始階段的物聯網還受到一些技術的約束。在大數據的傳輸和處理方面,物聯網技術還存在通信距離短、外部環境適應力不強、異構網絡兼容性差等問題。傳感器鏈接的距離范圍是100米到1000米,不適合長距離的通信;當外部的環境發生變化,傳感器的穩定性能大幅度下降,對具有高性能計算存儲系統的安全帶來風險;物聯網的標準是建立在廣電網、通信網和互聯網等異構網的基礎之上,還沒有統一完善的標準體系。下面總結一下三者的聯系與區別:
1. 大數據、云計算和物聯網的區別
大數據側重于海量數據的存儲、處理與分析,從海量數據中發現價值,服務于生產和生活;云計算本質上旨在整合和優化各種IT資源,并通過網絡以服務的方式廉價提供給用戶;物聯網的發展目標是實現物物相連,應用創新是物聯網發展的核心。
2. 大數據、云計算和物聯網的聯系
從整體上看,大數據、云計算和物聯網這三者是相輔相成的。大數據根植于云計算,大數據分析的很多技術都來自于云計算,云計算的分布式和數據存儲和管理系統提供了海量數據的存儲和管理能力,分布式并行處理框架MapReduce提供了海量數據分析能力,沒有這些云計算技術作為支撐,大數據分析就無從談起。反之,大數據為云計算提供了“用武之地”,沒有大數據這個“練兵場”,云計算技術再先進,也不能發揮它的應用價值。
物聯網的傳感器源源不斷產生的大量數據,構成了大數據的重要來源,沒有物聯網的飛速發展,就不會帶來數據產生方式的變革,即由人工產生階段向自動產生階段,大數據時代也不會這么快就到來。同時,物聯網需要借助于云計算和大數據技術、實現物聯網大數據的存儲、分析和處理。
好了,關于大數據與云計算和物聯網三者之間有什么關系相信大家已經清楚了吧,想了解更多關于大數據的信息,請繼續關注中培偉業。