隨著云時(shí)代的來臨，大數(shù)據(jù) (BigData) 吸引了越來越多的關(guān)注，數(shù)據(jù)已成為一種資源，企業(yè)內(nèi)部的經(jīng)營交易信息、互聯(lián)網(wǎng)世界中的商品物流信息、人人交互信息、位置信息、物聯(lián)網(wǎng)、車聯(lián)網(wǎng)等產(chǎn)生的信息無時(shí)無刻不在產(chǎn)生著大量數(shù)據(jù)，其數(shù)量將遠(yuǎn)遠(yuǎn)超越現(xiàn)有企業(yè) IT 架構(gòu)的承載能力。中培偉業(yè)IT常青樹有關(guān)專家將在這里將重點(diǎn)分析傳統(tǒng)企業(yè)級(jí)分析系統(tǒng)向大數(shù)據(jù)分析系統(tǒng)演進(jìn)的必然性。

傳統(tǒng)架構(gòu)的約束與困局

數(shù)據(jù)尤其是大數(shù)據(jù)，已經(jīng)滲透到當(dāng)今每一個(gè)行業(yè)和業(yè)務(wù)職能領(lǐng)域，成為重要的生產(chǎn)因素。人們對(duì)于海量數(shù)據(jù)的挖掘和運(yùn)用，預(yù)示著新一波生產(chǎn)率增長和消費(fèi)者盈余浪潮的到來，大數(shù)據(jù)的累積效應(yīng)正給整個(gè)IT業(yè)帶來變革。特別是云概念和大數(shù)據(jù)技術(shù)的深入發(fā)展，日均GB、TB級(jí)的數(shù)據(jù)量對(duì)企業(yè)級(jí)大數(shù)據(jù)壓力與日俱增，而IDC的大規(guī)模建設(shè)更是加劇了這一趨勢。

目前，傳統(tǒng)的小型機(jī)+傳統(tǒng)盤陣+關(guān)系型數(shù)據(jù)庫的IOE架構(gòu)存在著一定的弊端，無法適應(yīng)當(dāng)前企業(yè)級(jí)大數(shù)據(jù)平臺(tái)的需求，具體表現(xiàn)在：

數(shù)據(jù)源匱乏：數(shù)據(jù)主要來源于業(yè)務(wù)支撐域各系統(tǒng)、支撐服務(wù)對(duì)象較少，數(shù)據(jù)質(zhì)量不高，無法滿足對(duì)企業(yè)管理、市場營銷支持、網(wǎng)絡(luò)生產(chǎn)管理等全面支撐；

維護(hù)費(fèi)用偏高：不能滿足大數(shù)據(jù)時(shí)代低成本要求、傳統(tǒng)的小型機(jī)盤陣架構(gòu)所占用的機(jī)房空間、耗電量、散熱量及每年高額的維保費(fèi)用偏高，與綠色節(jié)能減排的宗旨相違背；

架構(gòu)層面不夠靈活：擴(kuò)展性不足，設(shè)備性能的提升依賴于設(shè)備硬件的擴(kuò)展及軟件的升級(jí)，小型機(jī)的單機(jī)擴(kuò)展能力有限，當(dāng)應(yīng)用資源需求超越小型機(jī)的極限時(shí)，小型機(jī)就變得無能為力。同時(shí)小型機(jī)價(jià)格比較昂貴，性價(jià)比差，多套主機(jī)共享一套存儲(chǔ)的集中處理模式對(duì)于系統(tǒng)的運(yùn)行、I/O口讀寫速率都造成極大的負(fù)荷；

數(shù)據(jù)庫瓶頸：目前Gb和Gn等接口的部分信令數(shù)據(jù)，經(jīng)過爬蟲系統(tǒng)提取的互聯(lián)網(wǎng)URL等數(shù)據(jù)存在著大量非結(jié)構(gòu)化數(shù)據(jù)，而目前存在的數(shù)據(jù)庫多為Oracle和DB2類的關(guān)系型數(shù)據(jù)庫，非關(guān)系型數(shù)據(jù)庫技術(shù)并未被得到深化應(yīng)用。

應(yīng)用層缺乏實(shí)時(shí)性：目前上層應(yīng)用多為離線處理或準(zhǔn)實(shí)時(shí)性，影響用戶感知，支撐服務(wù)對(duì)象較少。

由此可見，現(xiàn)有的企業(yè)級(jí)分析系統(tǒng)的發(fā)展并不能與未來企業(yè)信息化發(fā)展的腳步同步；而分析系統(tǒng)的數(shù)據(jù)特點(diǎn)決定其與大數(shù)據(jù)技術(shù)的結(jié)合的必要性。因此，逐步完善企業(yè)級(jí)分析系統(tǒng)，構(gòu)建數(shù)據(jù)融合的大數(shù)據(jù)平臺(tái)是今后企業(yè)大數(shù)據(jù)平臺(tái)的發(fā)展趨勢之一。

基于大數(shù)據(jù)企業(yè)級(jí)分析系統(tǒng)演進(jìn)的必然性

基于大數(shù)據(jù)企業(yè)級(jí)分析系統(tǒng)是在現(xiàn)有的企業(yè)IT架構(gòu)基礎(chǔ)上進(jìn)行補(bǔ)充完善，滿足系統(tǒng)建設(shè)的平滑過渡；包括架構(gòu)調(diào)整，數(shù)據(jù)源的擴(kuò)充、整合、統(tǒng)一及平臺(tái)的對(duì)外開放等。傳統(tǒng)分析系統(tǒng)與基于大數(shù)據(jù)的分析系統(tǒng)的差異性如表一所示。

表一、分析系統(tǒng)比較

圖一是典型的基于大數(shù)據(jù)的企業(yè)級(jí)分析系統(tǒng)架構(gòu)，包括數(shù)據(jù)源、采集層、數(shù)據(jù)層、能力層和應(yīng)用層。

圖一、基于大數(shù)據(jù)的企業(yè)分析系統(tǒng)架構(gòu)

對(duì)現(xiàn)有傳統(tǒng)的IT架構(gòu)演進(jìn)過程如圖二所示，主要包括如下步驟：

擴(kuò)充數(shù)據(jù)源，沉淀企業(yè)數(shù)據(jù)資產(chǎn)：逐步打通B、M、O三域壁壘，構(gòu)建IT共享資源池，具體可采用大二層技術(shù)來擴(kuò)展二層網(wǎng)絡(luò)，逐步將三域納入同一個(gè)大二層范圍內(nèi)，一方面有利于擴(kuò)大分析系統(tǒng)數(shù)據(jù)源，另一方面更有利于同一個(gè)大二層下的云化實(shí)施，此外為用戶曾將基礎(chǔ)屬性數(shù)據(jù)，實(shí)現(xiàn)企業(yè)大數(shù)據(jù)平臺(tái)多維全量的用戶數(shù)據(jù)，包括：基礎(chǔ)屬性、位置信息、用戶喜好標(biāo)簽，更便于實(shí)時(shí)精準(zhǔn)營銷，提高用戶粘性，延長用戶生命周期。

采用云ETL替代傳統(tǒng)ETL，構(gòu)建企業(yè)級(jí)的采集平臺(tái)。ETL指針對(duì)數(shù)據(jù)源進(jìn)行提取（Extract）、轉(zhuǎn)置（Transform）、加載（Load）。在分析系統(tǒng)中原有ETL智能實(shí)現(xiàn)對(duì)業(yè)務(wù)單域數(shù)據(jù)的采集處理、為實(shí)現(xiàn)對(duì)全域數(shù)據(jù)的采集，構(gòu)建企業(yè)級(jí)云ETL采集層。

圖二、分析系統(tǒng)演進(jìn)過程

加大X86系統(tǒng)占比，逐步實(shí)現(xiàn)由小型機(jī)向X86服務(wù)器的遷移。根據(jù)分析系統(tǒng)定義的不同重要級(jí)別，例如可按照等級(jí)由高到低的順序?qū)?shù)據(jù)庫、采集、重要應(yīng)用、一般應(yīng)用等來逐步實(shí)施。并且，由于數(shù)據(jù)庫體量龐大，對(duì)設(shè)備要求較高且目前業(yè)界并無針對(duì)數(shù)據(jù)庫X86化的專有成熟技術(shù)，需謹(jǐn)慎考慮數(shù)據(jù)庫的X86 化。目前階段建議采用混搭、多架構(gòu)并存的模式：對(duì)于不同的數(shù)據(jù)類型部署不同架構(gòu)，除傳統(tǒng)基礎(chǔ)數(shù)據(jù)倉庫外，搭建適配各類數(shù)據(jù)庫的專有數(shù)據(jù)倉庫。針對(duì)關(guān)系型數(shù)據(jù)庫盡量部署MPP腳骨，以優(yōu)化架構(gòu)，針對(duì)非結(jié)構(gòu)化數(shù)據(jù)庫實(shí)施Hadoop技術(shù)。對(duì)于關(guān)系型事務(wù)處理類數(shù)據(jù)，為保持系統(tǒng)的平滑過渡，可維持原有關(guān)系型數(shù)據(jù)庫，保持原有架構(gòu)；互聯(lián)網(wǎng)信令類數(shù)據(jù)，由于隨機(jī)性加大，關(guān)聯(lián)性小，可采用非結(jié)構(gòu)化數(shù)據(jù)庫技術(shù)（如Hadoop）；分析挖掘類數(shù)據(jù)，如非實(shí)時(shí)性的歷史數(shù)據(jù)庫，需充分進(jìn)行數(shù)據(jù)挖掘，關(guān)聯(lián)匯總，需調(diào)整原有架構(gòu)，可部署MPP架構(gòu)。

大數(shù)據(jù)時(shí)代已經(jīng)到來，正促進(jìn)著信息技術(shù)與各行業(yè)的深度融合；針對(duì)企業(yè)級(jí)數(shù)據(jù)分析系統(tǒng)的局限性和短板，提出應(yīng)對(duì)的解決措施和今后建設(shè)思路。基于大數(shù)據(jù)技術(shù)的企業(yè)級(jí)分析系統(tǒng)的建設(shè)涉及范圍廣、影響意義深遠(yuǎn)，并非短期可以實(shí)現(xiàn)。結(jié)合企業(yè)IT現(xiàn)狀，合理規(guī)劃、逐步演進(jìn)。建企業(yè)級(jí)大數(shù)據(jù)分析系統(tǒng)，利用和深挖傳統(tǒng)IT系統(tǒng)把握機(jī)遇，迎接挑戰(zhàn)，釋放出數(shù)據(jù)的巨大能量是發(fā)展的重中之重，也無疑是大數(shù)據(jù)時(shí)代的發(fā)展任務(wù)之一。