大數(shù)據(jù)何時真正進(jìn)入我們的生活,更重要的是,什么原因?qū)е麓髷?shù)據(jù)如此普及?大數(shù)據(jù)流行背后的原因是什么?在本文中,我們將重點關(guān)注這些因素中的一些因素及其歷史,以便更好地評估對大數(shù)據(jù)的需求增長,并因此嘗試說明大數(shù)據(jù)是流行語還是實際的機會媒介。實際上,我們從大數(shù)據(jù)歷史中看到的是,在“大數(shù)據(jù)”一詞獲得顯著發(fā)展之前,就已經(jīng)存在一些大數(shù)據(jù)功能。但是直到某個時間點才有足夠的需求。
本文的其余部分將重點放在時間上的某些點上,以了解那里具有哪些大數(shù)據(jù)能力,但很少使用。然后,我們將重點關(guān)注顯示大數(shù)據(jù)需求實際上已經(jīng)并且可能會快速增長的重要因素。
大數(shù)據(jù)的過去時光
大多數(shù)時候,您會看到大數(shù)據(jù)空間的歷史始于Google于2003年左右撰寫的GFS論文。在2006年左右,我們第一次看到Hadoop。但是,盡管大數(shù)據(jù)的歷史可能是最重要的里程碑之一,但事實并非完全如此。至少到現(xiàn)在為止。
埃里克·布魯爾的CAP定理是一個已經(jīng)存在了一段時間的示例,并且也存在于GFS論文之前。CAP定理在大數(shù)據(jù)領(lǐng)域仍然很重要,并且非常重要。
CAP定理
在一致性,網(wǎng)絡(luò)分區(qū)和可用性這三個支柱中;您只能同時選擇兩個。
不要失去圍繞本文的重點;我們將不會詳細(xì)解釋CAP定理的工作原理,因為這需要進(jìn)一步的詳細(xì)技術(shù)說明。我們寧愿關(guān)注CAP定理的影響。
大數(shù)據(jù)平臺顯然是分布式的。假設(shè)在大數(shù)據(jù)環(huán)境中必須進(jìn)行網(wǎng)絡(luò)分區(qū),那么選擇就變得很明確:在一致性和可用性之間進(jìn)行權(quán)衡。
首先讓我們看兩個基本的例子,以便在專注于有關(guān)CAP定理的思想首次出現(xiàn)時更好地理解“權(quán)衡”:
范例1:
讓我們考慮一個金融大數(shù)據(jù)系統(tǒng),該系統(tǒng)為客戶提供一定的信息環(huán)境。提供給客戶的信息很可能需要財務(wù)系統(tǒng)非常精確。因此,這類系統(tǒng)很可能會希望內(nèi)容保持一致而不是始終可用。考慮一個場景,一個客戶一個接一個地登錄兩個不同的渠道來檢查他/她的帳戶。毫無疑問,與始終具有高可用性并且同時極有可能顯示不一致的帳戶詳細(xì)信息相比,最好始終顯示相同且正確的帳戶詳細(xì)信息,并且始終不具有高可用性。
范例2:
與上述相反,讓我們考慮一個娛樂系統(tǒng)。娛樂系統(tǒng)可能傾向于始終可用,而不是確保內(nèi)容在所有分區(qū)上都是一致的。因此,這次與始終保持一致相比,偏好可能是可用的。
CAP定理是什么時候首次引入的?
埃里克·布魯爾在1998年左右提出了CAP定理的想法,例如,在GFS論文之前5年,在MapReduce論文之前6年,在Hadoop首次發(fā)布之前8年,在HBase首次發(fā)布之前9年。但是,直到2002年才被接受為有效定理。每當(dāng)我們決定要使用哪種存儲選項時,都應(yīng)再次訪問該定理。因此,至少部分人已經(jīng)知道分區(qū)容忍之類的大數(shù)據(jù)概念有多重要。
僅在2006年之后,大數(shù)據(jù)域的普及才開始飆升。這明確表明,早在1998年,只有一小部分觀眾對大數(shù)據(jù)感興趣。像CAP這樣的重要定理在發(fā)布四年后才引起關(guān)注,并成為一個實際定理。CAP定理已受到關(guān)注,其重要性是毋庸置疑的。甚至WernerVogels在他的個人博客中也發(fā)表了有關(guān)CAP定理的文章。有關(guān)大數(shù)據(jù)的重要定理開始受到廣泛關(guān)注的事實表明了大數(shù)據(jù)的重要性。
大數(shù)據(jù)需求持續(xù)急劇增長
數(shù)據(jù)是數(shù)據(jù)管理系統(tǒng)的重要組成部分。換句話說,對大數(shù)據(jù)的需求肯定已經(jīng)增加,有關(guān)大數(shù)據(jù)的定理,白皮書也符合這一基本原理。
讓我們從另一個角度看待需求的增長。一個簡單的大數(shù)據(jù)定義是3分比:數(shù)量,速度和品種。該卷的數(shù)據(jù)僅僅指的是一個事實,即量能的大數(shù)據(jù)平臺內(nèi)大于將是傳統(tǒng)的數(shù)據(jù)管理系統(tǒng)的情況。數(shù)據(jù)的速度是指大數(shù)據(jù)平臺能夠處理動態(tài)數(shù)據(jù)和靜態(tài)數(shù)據(jù)的事實。各種各樣的數(shù)據(jù)是指。
大數(shù)據(jù)又是另一個關(guān)鍵詞。答案很簡單:Data。可以肯定的是,數(shù)據(jù)量/種類/速度將在不久的將來增長。
讓我們選擇以下三種數(shù)據(jù)之一:
IDC發(fā)表的一篇文章預(yù)測,到2020年,以電子方式存儲的數(shù)據(jù)總量約為44ZB,2013年則為4.4ZB。考慮到7年的10倍增長,并且知道該增長呈指數(shù)增長,可能很難預(yù)測從現(xiàn)在起15年后電子化存儲的數(shù)據(jù)量。在花點時間進(jìn)行短暫震驚之前,我們還必須記住另一項尚未充分發(fā)揮作用的巨大影響-到目前為止只是短暫的影響:物聯(lián)網(wǎng)。生成的大多數(shù)企業(yè)數(shù)據(jù)都集中在人身上,換句話說,就是從個人之間的互動中生成的數(shù)據(jù)。隨著物聯(lián)網(wǎng)的廣泛使用在未來幾年變得越來越普遍,我們將有能力從物聯(lián)網(wǎng)中捕獲更多的細(xì)粒度和豐富的數(shù)據(jù),因為事物既可以與人互動,也可以與其他事物互動。在智能家居,智能制造,智能交通,醫(yī)療保健等許多領(lǐng)域,我們對物聯(lián)網(wǎng)的未來有著漫長而令人興奮的道路。
總結(jié)一下;我們可以清楚地看到大數(shù)據(jù)需求增長與CAP定理,大數(shù)據(jù)白皮書,數(shù)據(jù)量/種類/速度的增加之間的因果關(guān)系。這些關(guān)鍵主題表明,大數(shù)據(jù)已經(jīng)并將繼續(xù)成為破壞性技術(shù)之一。
破壞性技術(shù)–奇異性
CAP定理,白皮書和3V的另一個觀點是,它們都鏈接到嚴(yán)重依賴數(shù)據(jù)的破壞性技術(shù)。
聽說過術(shù)語“奇異性”嗎?簡單的說;奇異性是技術(shù)進(jìn)步給我們帶來的根本變化。隨著數(shù)據(jù)的增長和AI技術(shù)的進(jìn)步,我們可能已經(jīng)開始在較短的生命周期中經(jīng)歷奇異時刻。技術(shù)進(jìn)步加速比以往任何時候都高。未來看到了更多的破壞性技術(shù),并且它正在迅速關(guān)閉。
您的組織是否準(zhǔn)備好應(yīng)對從未經(jīng)歷過的,比以往更大的變革?
如果正確使用,大數(shù)據(jù)將帶來許多機會。大數(shù)據(jù)不僅是這種低成本的數(shù)據(jù)存儲平臺,而且還帶來了新的用例可能性。使用傳統(tǒng)技術(shù)實施的案例非常復(fù)雜或成本很高,現(xiàn)在可以在大數(shù)據(jù)領(lǐng)域輕松實現(xiàn)。大數(shù)據(jù)涵蓋了廣泛的用例,這些用例主要集中于高級分析,人工智能,機器/深度學(xué)習(xí)以及具有低廉的高計算和存儲能力以及獲取/處理/存儲結(jié)構(gòu)化/非結(jié)構(gòu)化,批處理/流數(shù)據(jù)。
另外,可以清楚地看到,大數(shù)據(jù)用例的主要優(yōu)點之一是它們通常是新的業(yè)務(wù)用例。以前從未實現(xiàn)過的用例。甚至想到與傳統(tǒng)的用例相比,大數(shù)據(jù)用例可以帶來更多的價值,這是令人興奮的。
未來愿景
未來肯定會受到我們目前正在經(jīng)歷的數(shù)據(jù)增長期的影響。此外,數(shù)據(jù)增長仍將繼續(xù)加速,并且開始趨于平穩(wěn)的時間只是目前的預(yù)測。隨著競爭力的提高和對組織更快達(dá)到業(yè)務(wù)成果的更高期望,數(shù)據(jù)將發(fā)揮至關(guān)重要的作用。能夠?qū)⑵滢D(zhuǎn)化為收益的組織將通過基于新的基于大數(shù)據(jù)的用例涌現(xiàn)的新業(yè)務(wù)模型獲得競爭優(yōu)勢。無法跟上大數(shù)據(jù)并且遲到的組織很有可能最終也會邁向大數(shù)據(jù)。但是這一次優(yōu)勢的競爭性質(zhì)將不再有效。
以上就是關(guān)于大數(shù)據(jù)對業(yè)務(wù),過去和未來的影響的全部內(nèi)容介紹,想了解更多關(guān)于大數(shù)據(jù)的心,請繼續(xù)關(guān)注我們吧。