大數(shù)據(jù)無疑是目前互聯(lián)網(wǎng)行業(yè)乃至全社會的一個熱門詞匯，中培偉業(yè)《大數(shù)據(jù)Hadoop與Spark架構(gòu)應(yīng)用實(shí)戰(zhàn)》培訓(xùn)專家鐘老師指出，正如許多顛覆性技術(shù)一樣，經(jīng)歷了被“神化”、“妖魔化”的過程后，大數(shù)據(jù)已經(jīng)開始被人們理智的看待。它既不神秘莫測，也不虛無飄渺。

隨著數(shù)據(jù)體量的不斷增長，數(shù)據(jù)存儲、計(jì)算和數(shù)據(jù)應(yīng)用表現(xiàn)出了明顯的變化。底層的存儲和計(jì)算架構(gòu)越來越趨于分布式；中間層的數(shù)據(jù)分析的方式正從BI向以人工智能為代表的技術(shù)發(fā)展；而最上面的應(yīng)用層則更加垂直于某些行業(yè)或應(yīng)用場景。另外，為了使結(jié)果和規(guī)律以更好的方式呈現(xiàn)出來，對于數(shù)據(jù)可視化技術(shù)的研究也快速得到業(yè)界關(guān)注，以期獲得對于海量數(shù)據(jù)分析結(jié)果更加直觀、精準(zhǔn)展現(xiàn)的解決方案。

鐘老師認(rèn)為，大數(shù)據(jù)技術(shù)的發(fā)展是信息化發(fā)展的自然延伸，是由應(yīng)用驅(qū)動的信息化產(chǎn)品發(fā)展的必然產(chǎn)物。“最早是谷歌在做搜索的時(shí)候，由于以前有的網(wǎng)頁非常非常大，沒有辦法進(jìn)行存儲，也沒有辦法在這上面進(jìn)行搜索，所以它衍生出自己的一套分布式存儲與分布式計(jì)算這樣一整套的架構(gòu)來，這一整套架構(gòu)就變成了現(xiàn)在大家知道的Hadoop生態(tài)。”

鐘老師進(jìn)一步支持，通過近幾年百分點(diǎn)與客戶接觸的過程中，他非常直觀地感受到了企業(yè)對待大數(shù)據(jù)態(tài)度的變化。“IT圈里也沒幾個人真正知道Hadoop是什么，然而現(xiàn)在，Hadoop集群已經(jīng)被部署在幾乎所有大型企業(yè)的IT系統(tǒng)中，成為企業(yè)數(shù)據(jù)平臺的新常態(tài)?！钡?，現(xiàn)在的企業(yè)已經(jīng)不再認(rèn)為一套Hadoop就能夠解決所有問題，而是評估哪種產(chǎn)品或者解決方案能夠真正與自身具體的業(yè)務(wù)需求相結(jié)合，通過數(shù)據(jù)分析產(chǎn)生價(jià)值。大數(shù)據(jù)不過是解決問題的一種正常的IT手段。

然而從基因圖譜到太空探索，人類不斷產(chǎn)生著越來越大的數(shù)據(jù)集，對于數(shù)據(jù)處理、管理和理解的極限能力無時(shí)無刻不在遭遇挑戰(zhàn)。談及未來將對大數(shù)據(jù)起到推動作用的關(guān)鍵技術(shù)及發(fā)展方向時(shí)，鐘老師重申了“大數(shù)據(jù)只是信息化的自然延伸”這個觀點(diǎn)。他認(rèn)為，信息化新技術(shù)的發(fā)展，一定會為整個大數(shù)據(jù)領(lǐng)域帶來變革，并對以下三類技術(shù)表示重點(diǎn)關(guān)注：

量子計(jì)算機(jī)

鐘老師表示，“經(jīng)典計(jì)算機(jī)正遇到摩爾定律的極限，而頂破天花板的正是量子計(jì)算?！绷孔佑?jì)算機(jī)最大的優(yōu)勢在于大幅縮短提取用戶所需信息的時(shí)間，它可以在幾天內(nèi)解決傳統(tǒng)計(jì)算機(jī)會花費(fèi)數(shù)百萬年才能處理的數(shù)據(jù)。

相對于將0和1組成的比特流轉(zhuǎn)換成其他比特流的傳統(tǒng)計(jì)算操作，量子計(jì)算是一種截然不同的計(jì)算方式。它的神奇之處在于，它可以做到真正的并行計(jì)算與存儲。例如，一個數(shù)位的經(jīng)典存儲器可以存儲兩個數(shù)字0或者1，但在某一時(shí)刻這個數(shù)字要么是0要么是 1；而對于量子比特存儲器來說，在同一時(shí)刻，它可以同時(shí)存儲0和1，其存儲和運(yùn)行能力都成指數(shù)上升。而且數(shù)據(jù)量越大，量子算法在時(shí)間復(fù)雜度上的優(yōu)勢就越明顯。

大約三年前，中國科學(xué)技術(shù)大學(xué)量子光學(xué)和量子信息團(tuán)隊(duì)在國際上首次成功實(shí)現(xiàn)了用量子計(jì)算機(jī)求解線性方程組的實(shí)驗(yàn)，首次從原理上證明了這一算法的可行性。“像IBM，谷歌，也都在探索和研究量子計(jì)算機(jī)技術(shù)。一旦投入實(shí)際應(yīng)用成為可能，相地這會對大數(shù)據(jù)，乃至整個信息產(chǎn)業(yè)帶來一個巨大的變化”，鐘老師表示。

可見光通信

對大量數(shù)據(jù)傳輸?shù)木薮笮枨笫巩?dāng)前現(xiàn)有的通信技術(shù)面臨嚴(yán)峻挑戰(zhàn)。相關(guān)調(diào)查報(bào)告顯示，按著現(xiàn)在移動設(shè)備呈指數(shù)級發(fā)展的趨勢，預(yù)計(jì)2019年超過100億部移動設(shè)備每月將會交換超過35萬兆（10^18）比特的信息，然而這還僅僅是來自移動端的數(shù)據(jù)。

鐘老師對此評價(jià)道： “可見光通信技術(shù)將極大的改變整個信息傳輸、存儲和計(jì)算的方式。大家可以想象，未來我們的手機(jī)都可以僅靠一束光就實(shí)現(xiàn)通話和數(shù)據(jù)傳輸，大大提升了傳輸速度和效率，整個存儲和計(jì)算的規(guī)模也將不可估量。”

高速率性是可見光通信的最大優(yōu)勢，也是業(yè)界普遍看好其前景的主要原因。除此之外，高密度、低成本、高保密性都是其主要的技術(shù)優(yōu)勢。隨著市場對數(shù)據(jù)、物聯(lián)網(wǎng)和移動的偏愛程度與日俱增，人們需要找到一些更快傳輸更多數(shù)據(jù)的方法。一旦可見光通信技術(shù)走向成熟，將會對現(xiàn)有基礎(chǔ)設(shè)施無法處理這樣的數(shù)據(jù)傳輸需求提供解決方案。

區(qū)塊鏈

對于最近大熱的區(qū)塊鏈技術(shù)，鐘老師同樣非常關(guān)注，他認(rèn)為區(qū)塊鏈技術(shù)是利用一種純粹的去中心化方式，實(shí)現(xiàn)整個數(shù)據(jù)的存儲，計(jì)算，校驗(yàn)，這在給數(shù)據(jù)應(yīng)用帶來更大變化的同時(shí)，也對底層的分布式計(jì)算模型，數(shù)據(jù)存儲模型等技術(shù)帶來巨大影響。

“在我的理解中，區(qū)塊鏈通過數(shù)據(jù)分布式的存儲計(jì)算這樣的一種方式來實(shí)現(xiàn)。其中有一個核心點(diǎn)叫做基于計(jì)算的證明。這個證明的過程實(shí)際是一種驗(yàn)證，所以個人無法偽造這些資源。如果想偽造的話，計(jì)算量會非常大。由于它是基于純粹分布式的存儲和計(jì)算資源，每個節(jié)點(diǎn)共享出來的資源即使非常少，當(dāng)時(shí)整個這個網(wǎng)絡(luò)里邊，計(jì)算量也已經(jīng)可以達(dá)到了非常大的程度?！辩娎蠋熯@樣認(rèn)為。

在2016年我們將看到，不同行業(yè)的多個應(yīng)用程序使用區(qū)塊鏈?；旧先魏未嬖跀?shù)字化交易的行業(yè)都將會受益于區(qū)塊鏈技術(shù)，這些數(shù)據(jù)全都可以用來進(jìn)行分析。但是區(qū)塊鏈技術(shù)并不能提供數(shù)據(jù)分析的功能，這時(shí)候就需要推動大數(shù)據(jù)和其分析工具的發(fā)展進(jìn)行介入。

最后鐘老師總結(jié)認(rèn)為，其實(shí)一些所謂的新技術(shù)，它的理念一點(diǎn)都不新。早在一九六幾年，關(guān)于Hadoop中核心的分布式理念就已經(jīng)被提出，量子機(jī)計(jì)算的概念更是在上世紀(jì)八十年代就有人做出設(shè)想。只是受限于當(dāng)時(shí)的科學(xué)和技術(shù)水平，這些理念沒辦法得到實(shí)現(xiàn)。但是一旦實(shí)現(xiàn)成為可能，整個應(yīng)用將呈現(xiàn)出指數(shù)級增長的發(fā)展趨勢，就像當(dāng)年的摩爾定律一樣。