▌區塊鏈與大數據的發展差距
大數據,需要應對海量化和快增長的存儲,這要求底層硬件架構和文件系統在性價比上要大大高于傳統技術,能夠彈性擴張存儲容量。谷歌的GFS和Hadoop的HDFS奠定了大數據存儲技術的基礎。另外,大數據對存儲技術提出的另一個挑戰是多種數據格式的適應能力,因此現在大數據底層的存儲層不只是HDFS,還有HBase和Kudu等存儲架構。
區塊鏈,是比特幣的底層技術架構,它在本質上是一種去中心化的分布式賬本。區塊鏈技術作為一種持續增長的、按序整理成區塊的鏈式數據結構,通過網絡中多個節點共同參與數據的計算和記錄,并且互相驗證其信息的有效性。從這一點來說,區塊鏈技術也是一種特定的數據庫技術。由于去中心化數據庫在安全、便捷方面的特性,很多業內人士看好其發展,認為它是對現有互聯網技術的升級與補充。
2011年,“大數據”第一次上榜,位于技術萌芽期的爬坡階段,當時還統稱為“‘Big Data’ and Extreme Information Processing and Management”(“大數據”和極端信息處理和管理)。
2012年更進一步,并在2013年幾乎達到了過熱期頂峰。經歷了2014年的下滑,從2015年開始,“大數據”突然從曲線中消失,可解讀為Gartner對大數據的定位已從“新興”轉為“主流”。當前,大數據對于企業的意義已從能力要素上升為戰略核心。
相對而言,“區塊鏈”直到2016年才第一次出現在《技術成熟度曲線》中,并直接進入“過熱期”。總的來看,“大數據”和“區塊鏈”所處的生命周期階段大不相同,兩者約有5年左右的差距。
▌區塊鏈和大數據的相互差異
大數據通常用來描述數據集足夠大,足夠復雜,以致很難用傳統的方式來處理。而區塊鏈能承載的信息數據是有限的,離“大數據”標準還差得很遠。區塊鏈與大數據有幾個顯著差異:
結構化vs非結構化:區塊鏈是結構定義嚴謹的塊,通過指針組成的鏈,典型的結構化數據,而大數據需要處理的更多的是非結構化數據。
獨立vs整合:區塊鏈系統為保證安全性,信息是相對獨立的,而大數據著重的是信息的整合分析。
直接vs間接:區塊鏈系統本身就是一個數據庫,而大數據指的是對數據的深度分析和挖掘,是一種間接的數據。
數學vs數據:區塊鏈試圖用數學說話,區塊鏈主張“代碼即法律”,而大數據試圖用數據說話。
匿名vs個性:區塊鏈是匿名的(公開賬本,匿名擁有者,相對于傳統金融機構的公開賬號,賬本保密),而大數據有意的是個性化。
▌區塊鏈和大數據的融合關系
區塊鏈是一種不可篡改的、全歷史的分布式數據庫存儲技術,巨大的區塊鏈數據集合包含著每一筆交易的全部歷史,隨著區塊鏈技術的應用迅速發展,數據規模會越來越大,不同業務場景區塊鏈的數據融合會進一步擴大數據規模和豐富性。
區塊鏈以其可信任性、安全性和不可篡改性,讓更多數據被解放出來,推進數據的海量增長。區塊鏈的可追溯性使得數據從采集、交易、流通,以及計算分析的每一步記錄都可以留存在區塊鏈上,使得數據的質量獲得前所未有的強信任背書,也保證了數據分析結果的正確性和數據挖掘的效果。
區塊鏈能夠進一步規范數據的使用,精細化授權范圍。脫敏后的數據交易流通,則有利于突破信息孤島,建立數據橫向流通機制,形成“社會化大數據”。基于區塊鏈的價值轉移網絡,逐步推動形成基于全球化的數據交易場景。 區塊鏈提供的是賬本的完整性,數據統計分析的能力較弱。大數據則具備海量數據存儲技術和靈活高效的分析技術,極大提升區塊鏈數據的價值和使用空間。
大數據的技術生態百花齊放,沒有哪個軟件能解決所有的問題,能解決問題也是在一個范圍內,即使是Spark、Flink等。在強調透明性、安全性的場景下,區塊鏈有其用武之地。在大數據的系統上使用區塊鏈技術,可以使得數據不能被隨意添加、修改和刪除,當然其時間和數據量級是有限度的。通過把大數據與區塊鏈相結合,能讓區塊鏈中的數據更有價值,也能讓大數據的預測分析落實為行動,它們都將是數字經濟時代的基石。
▌兩者融合創新的消費積分鏈案例
基于區塊鏈和大數據共同構建“全要素積分鏈”,跳出單一的追溯體系思維,將目標聚焦在建設“信用體系”和打造“數據智能”兩個方面。
1 :建設“信用體系”
利用區塊鏈去中心化或多中心化模式,對外形成政府部門、行業企業、相關服務機構之間跨組織的互信關系,以較低的“技術成本”解決了信任成本高企這一“管理難題”。
2 :打造“數據智能”
基于區塊鏈、大數據技術,對內形成數據互通互聯、共治共享的機制,以“數據智能”賦能企業,推動產品互聯網運營能力的提升。要推動中國積分建設,單靠傳統的追溯系統進行事后究責是遠遠不夠的。我們需要更多真實的數據,并打通生產、流通、消費等全產業鏈環節,通過數據的整合分析,從被動監管,到主動幫助企業提升。
但將目標聚焦在建設“信用體系”和打造“數據智能”兩個方面就需要解決兩個核心問題:
一是企業自建或第三方平臺公信力不足,部分企業參與力度不夠等導致的無法確保數據的真實性和可靠性。
二是政府或企業建設標準不統一、政府部門分段監管等導致的數據難以流通和數據孤島問題。
▌走向未來成為互聯網的新基石
不完全統計,2015年我國大數據相關交易的市場規模為33.85億元,2016年國內大數據交易市場規模達到62.12億元,2020年將達到545億元。
基于以上認知,創新性的將區塊鏈的技術與跨界積分管理提升支撐體系結合,形成“全要素積分鏈”,其目的在于幫助企業提升產品積分,其核心是以產品為中心,形成積分閉環,縱向打通企業端到消費端的產品供應鏈,由原來只注重產品本身的積分管理,延伸至消費者的消費體驗;橫向則以產品標準和檢驗檢測作為保障,圍繞產品的生命周期,建立產品制造、流通、消費全產業鏈積分管理,形成全要素管控和發展。
針對大數據交易共性敏感問題,缺乏全面、權威、有公信力的解決方案。在中心化系統結構下,大數據交易存在成本、管理、安全性、靈活性等方面的問題難以突破,對大數據安全共享與交易形成了挑戰。
利用區塊鏈去中心化或多中心化模式,對外形成政府部門、行業企業、相關服務機構之間跨組織的互信關系,努力實現建平臺、定標準、構生態三個方面。利用區塊鏈技術將最終解決可追溯性、數據安全真實性、以及開放性、保密性、一致性等問題。
通過區塊鏈過往數據不可篡改的特性,把數據變成受保護的虛擬資產,確保每筆交易和數據都有確權證書。保證數據真實性有效性;基于既有風控模有效降低欺詐風險;助力相關部門智慧決策。
想了解更多IT資訊,請訪問中培偉業官網:中培偉業