大家都知道當今是大數據互聯網時代,但是對于大數據是如何興起的了解的人卻并不多。今天我們就來介紹一下大數據是如何興起的?在2012年,大數據突然變得流行起來,但大數據的流行并非偶然,而是具備已經成熟發展的條件,才能夠破繭而出,展現在我們面前。大數據的出現基于一系列技術發展,經濟發展和文化發展。尤其是互聯網的發展是大數據發展的最大動力。
大數據需要強大的運算能力
計算機的大腦CPU自從產生以來,就一直在持續提高運算速度。進入新世紀以來,CPU進入了更高速發展的時代,以往可望而不可及的1Ghz大關被輕松突破了。而且單臺計算機上還采用多個CPU,每個CPU又是多核,運算能力更強大了,足以及時快速處理大數據。而且CPU的制造成本和售價也在不斷下降。
大數據需要快速的運輸能力
數據的移動離不得網絡。在第二平臺期間,網絡的速度雖然一直在提高,但遠遠不能滿足海量數據的快速輸送。進入新世界以來,萬兆網絡出現了,大量光纖的投入使用,讓整個互聯網的傳輸速度有了質的飛越,讓海量數據在網絡上傳輸已經不是什么難題。互聯網進入世界各個角落,進入千家萬戶,還有無線網絡等,這些都為數據的方便、快速傳輸提供了必要條件。而且網絡設備的制造成本和售價也在不斷下降。
大數據需要大容量的存儲能力
大數據是海量數據,需要能容納海量數據的存儲設備存放。磁盤的容量幾十年以來也是不斷提高,訪問速度也是越來越快。目前單個磁盤每秒讀寫幾百MB不成問題,如果采用RAID磁盤組的方式,可以成倍提高讀寫速度,可以達到每秒讀寫兩個GB,而且還提高了數據的安全性,且能成倍提高存儲的數據量。如果再采用幾個RAID組,那一臺機器每秒能夠讀寫幾個GB。SAN、NAS的出現,給大型企業的網絡部署解決了很多難題。而很多高端存儲設備更是能夠安全智能地存儲海量數據和快速讀寫,并能夠做到高可用,也就是即使有磁盤壞掉也不要緊,數據依然存在,讀寫也無需中斷。而且存儲設備的制造成本和售價也在不斷下降。
以上幾個方面為大數據的存儲、傳輸、分析計算創造了條件。鍋碗瓢盆都有了,柴火油鹽也齊了,就差一把米下鍋了。沒有米,還是什么飯也做不成。沒有數據,大數據就是空。
但大數據怎么才能產生出來呢?要知道這是海量數據,不是幾個企業,幾個人就能夠造出來了,它需要所有企業,所有人一起參與制造。要想讓這么多企業和這么多人一起參與,就要有條件有動力才行。
企業在激烈的競爭中早已認識到數據信息的重要性,但苦于不知道怎么才能更安全、可靠、低成本地來產生數據、管理數據和利用數據。隨著硬件設備(CPU、網絡設備、存儲設備)能力越來越強、價格越來越低,企業已經能夠大量采購使用了。但隨著設備的越來越多,投入也是越來越大,管理維護成本也是不斷攀升。如何解決這個問題呢?那就是云計算。云計算技術到2010年已經完全成熟,并廣泛使用。
云計算就類似于電力的使用。現在是電力公司在建造發電廠,用戶只要拉上電線,按照電表每月交電費就可以了,用不著人人都建發電廠。這種按需使用大大降低了成本。云計算也是這個思路,專門的企業來建立云數據中心,里面容納著巨量的數據計算能力、數據存儲能力和數據傳輸能力。企業和個人用戶只要按需租用即可,大大節省了個體成本。現在有公有云,如亞馬遜AWS,微軟Azure,阿里云。很多大企業還建立了專屬于自己的私有云,類似自己建造發電廠,自己使用。還有些大企業既建立自己的私有云王國,又想利用公有云的便利和低成本,于是就有限打通自己的私有云和公有云之間的壁壘,形成了混合云(在這里只是簡單地介紹下云計算,以后再專門出貼進行詳細介紹)。
硬件成本的快速降低和云計算大大增強了企業的業務能力,也大大催生了企業各類應用系統的使用,這就導致了企業產生了海量數據。
大數據的產生還離不開所有人的參與,否則就形成不了大數據。這個問題隨著技術的發展,到2010年前后,這個問題也解決了,那就是移動計算。
什么是移動計算?所謂移動計算實際上就是如何向分布在不同位置的移動用戶(包括手提電腦、掌上電腦、移動電話、傳呼機等)提供優質的信息服務(信息的存儲、查詢、計算等)。尤其是智能手機、Pad等的普及,可以說人人都能聯網,人人都能參與了。
可這還缺少最后一個條件,如果人們都很保守,不愿意公開自己的想法,不愿意參與社交,那數據量還是不夠。
但這已經不是問題了,當歷史進入二十一世紀的時候,隨著科技和經濟的發展,世界經濟一體化,人們對外交流也越來越多,跨地區跨國的商務活動、旅游觀光、社交活動、網上交流等使人們的眼界越來越開闊,思想也越來越開放,個體意識、自我意識越來越強,參與社交活動的熱情十分高漲。我的生活我做主,我是憤青我怕誰。因此數以幾十億計的人們在各種場所、網上網下,暢所欲言,發表看法,留影拍照,導致文字、圖片、聲音、視頻井噴。
這個時候,我們的時代就進入了第三平臺時期,它以移動計算、云服務、大數據、社交為主要特征,有數十億用戶參與,有數百萬應用程序在運行,產生了無窮無盡的海量數據。
以上就是關于大數據是如何興起的全部內容,想了解更多關于大數據的信息,請繼續關注中培偉業。