企業大數據平臺的建設和運營無疑是實現上述目標的關鍵舉措，也正成為是企業信息化建設的核心任務和目標，通過構建企業大數據平臺，實現資源整合優化、統一數據采集及數據加工、統一數據共享及服務、提高企業運營效率、最大化釋放數據價值，最終實現“一點存儲、統一管控、多點應用、體現價值”的目標。

▌企業大數據平臺的建設目標

企業大數據平臺是企業信息支撐系統的重要組成部分，具備對企業各系統和其它域外部系統的數據聚合與數據處理能力，同時，通過對數據加工形成的數據資產進行統一管理與數據封裝，實現對企業數據管理與數據服務能力、應用體系管理能力的系統支撐。

企業大數據中心應具備如下三方面特征：

1. “企業級”數據中心：企業大數據中心全面獲取企業內外部各系統源數據，并進行整合、處理，生成企業級統一數據視圖，數據服務范圍面向企業各系統及應用領域，實現跨業務線、跨部門、跨系統的數據支撐。

2. “智慧型”數據中心：數據完備且標準規范；平臺功能完善；數據共享充分；應用的智能化和多樣化；系統資源可彈性擴展；系統架構可動態適配。

3. “管理運營”數據中心：企業大數據平臺需肩負起企業數據管理和運營的樞紐作用，對企業數據的獲取、傳輸、加工、應用、管控、運維等實行一體化支撐，實現數據管理流程與各方面工作的無縫銜接和高度協同，構建數據價值運營生態體系。

▌建設原則

1   ▏一體化原則

系統技術架構方面，應將地市系統數據納入數據采集范圍，并在數據存儲方面實現統一數據存儲和全省數據共享。

系統功能架構方面，應從數據的使用和數據應用的開發層面，實現數據的共享訪問和數據應用的個性化開發支撐。

2   ▏先進性原則

企業大數據平臺在系統架構方面，應確保先進性和可擴展性，確保企業大數據平臺架構合理部署、適度超前，能夠適應公司未來較長周期內發展需求，為源數據引入、應用建設提供一個穩定、可平滑演進的系統框架。

在系統技術方面，應采用先進的產品和技術，搭建一個架構可伸縮、可平滑擴展、資源可彈性調配的數據中心平臺；

在體系架構方面，應實現數據中心大數據處理分析平臺與應用平臺的分離，采用組件化、模塊化技術，確保平臺在內核穩定的同時具有高度開放性、可靈活擴展。

在數據服務交付方面，應借鑒先進的SOA理念，實現數據與應用分離，提供快速便捷的應用交付能力，支持各類用戶通過數據服務支撐平臺按需定購，快速獲得相關數據服務。

3   ▏智慧型原則

全新的企業大數據平臺應逐步轉變傳統BI以報表提供為主的數據應用和服務方式，以洞察力為導向，提高數據分析處理和應用的實效性、關聯性，充分發揮數據使能的驅動作用，改善數據應用和數據服務水平，充分體現系統在感知、調度、觸發等方面的智慧性原則。

系統應從架構設計上，借助分布式計算與分布式存儲技術，形成海量數據的快速處理與深加工能力，滿足智慧性系統對數據的各種靈活加工與數據存儲及智能調度的要求。

在數據管理方面，需在多形態、海量數據聚合處理形成的數據資產基礎上，通過全面、靈活、可靠的數據資產模型與管理體系的支撐，實現對數據資產擴充智能化存儲與管理、數據使用過程的智能引導與觸發。

數據應用方面，通過場景化、標準化、流程化的應用體系和靈活、易用的應用開發工具的支撐，應具備對數據應用的開發與使用行為的感知能力，并通過系統的自學習能力與自助式數據封裝能力，實現對數據應用使用的智能引導。

在系統管理層面，需實現對數據加工、數據封裝、數據應用開發與數據應用使用行為的可視化管理、統一調度與流程監控，形成企業大數據平臺的智能神經中樞。

4   ▏開放性原則

企業大數據平臺服務對象：數據中心的服務對象覆蓋面更廣，不僅包括公司內部的管理人員、一線人員和運營人員，公司外部的合作伙伴、集團客戶、大眾客戶，還包括公司內外的各域、各行業信息系統和IT平臺。中心可依據數據安全標準、服務內容和SLA水平設定不同的數據開放級別。

企業大數據平臺服務領域：隨著源數據覆蓋不斷擴展數據服務領域橫向不斷延伸、縱向不斷深化，可面向管理運營、面向市場擴展、面向外部客戶提供多領域的數據應用。

企業大數據平臺所使用的各種網絡協議、硬件接口和數據接口等應符合業界開放式標準。應通過數據封裝等標準化數據服務形式，面向公司各業務系統對外提供數據服務，支撐開放式數據應用構建。

5   ▏安全性原則

企業大數據平臺應具備統一且完善的安全機制以確保數據的安全性和系統的安全性。

數據安全：企業大數據平臺保存的數據是經過匯聚、提煉的各業務線、管理線的內外部數據，對管理決策、生產運營和業務擴展意義重大，數據訪問和開放應進行嚴格的安全控制，需要針對不同的服務對象和數據內容構建差異化的安全訪問策略和分級管理機制，確保資產信息保存、訪問和傳輸的安全性。

系統安全：系統設計不能影響數據中心系統的可靠運行，需構建系統層面的安全控制機制，確保大數據采集、處理分析以及應用能夠可靠準確運行，同時，數據中心應與其它系統之間采取嚴格的權限控制或防火墻等措施，保證其安全性。

6   ▏原則易用性

數據應用易用性：實現數據資產可視化呈現，構建的統一數據資產易于理解與應用，同時，提供友好的UI確保用戶在應用數據服務時的良好客戶體驗，要求系統具備良好易用的人機交互界面與靈活多樣的展現方式。

運營管理易用性：運營管理功能深入且直觀。易理解、易學習，功能描述準確細致、邏輯清晰，用戶進入操作界面后一目了然，能夠很直觀、很容易找到自己要使用的功能菜單，方便的完成運維操作。

7   ▏總體規劃、分步實施、迭代式演進原則

企業大數據平臺的規劃實施，應結合企業的的轉型戰略實現突破創新，兼備先進性、智慧性和前瞻性；

具體的演進過程，應結合不同階段的業務訴求、IT環境、數據中心成熟度等因素，制定數據中心服務能力體系建設、大數據企業大數據平臺服務能力體系建設、企業大數據平臺運營服務能力體系三個階段。

▌系統規劃

1   ▏系統能力體系

企業大數據平臺建設是一個復雜的系統性工程，其能力體系包括：

構建大數據管理平臺，支撐大數據的獲取、加工、存儲及服務能力

采用基于分布式處理的功能架構與技術架構，建設分層處理、功能解耦的企業大數據平臺；應用Hadoop、實時流處理、分布式數據庫、NoSQL數據庫等大數據處理技術，構建公司內外部結構化、非結構化、流數據等不同形態海量數據的處理能力；合理部署存儲資源，針對企業大數據平臺海量數據實施分級存儲管理；應用數據封裝技術，實現企業大數據平臺對外數據服務的系統化支撐；實施數據質量管理，保障企業大數據平臺數據準確性；實施系統安全與信息安全管理，保障企業大數據平臺運行穩定，具備高可用性，保障信息安全。

匯聚公司內外部源數據，有效組織多態大數據

采用統一封裝的數據采集接口，實現對公司內外部系統數據的匯聚，包括公司內部以及各業務平臺的價值源數據，公司外部互聯網、社會統計、競爭對手數據。支持結構化、非結構化和實時數據的采集。支持海量數據的采集和存儲。

構建企業級數據資產，支撐核心數據的共享和復用

采用先進加工技術實施大數據分析處理，實現對基礎數據資產的統一管理。

通過智慧性，先進性的數據模型構建，實現從基礎數據資產到應用數據資產的持續的加工處理。建立系統化的數據資產長周期存儲、大數據量加工與轉換方案，實現從存儲效率、時間要求、訪問要求、應用要求多維度的管控機制與系統管理支撐能力。

構建標準化數據服務能力，支撐公司運營數據需求

基于統一數據資產，建立標準化的數據服務流程和服務標準；以標準化數據服務方式為公司內外部各系統及使用方提供數據支撐。

構建數據應用體系，支撐數據價值挖掘及應用

建立企業大數據平臺數據價值挖掘及應用流程，基于企業大數據平臺數據支撐，在公司各業務運營領域推動數據應用，發揮數據價值。

面向內部管理：服務于企業的精細化管理要求，提升企業運營管理水平；

面向客戶：為企業提高精準營銷與個性化客戶服務能力，優化客戶感知；

面向合作伙伴：為合作伙伴提供高價值的數據服務產品，實現企業數據增值。

2   ▏系統總體框架

基于企業大數據平臺的建設目標與建設原則，企業大數據平臺從總體框架上要支持大數據時代的以多態、海量數據為主的數據源引入和數據聚合，通過大數據處理架構的數據處理能力形成集中的企業級數據資產，通過數據資產的加工與數據封裝，以及數據管理體系與數據應用體系的建設，實現對數據應用和數據產品的開發與使用過程的智能化支撐，從而支撐企業的精細化管理、全業務運營。

企業大數據平臺的總體框架包括數據聚合、數據資產、數據應用、系統管理、訪問門戶五個方面。通過聚合多態、海量源數據，形成企業級基礎數據資產與應用數據資產，通過數據分析挖掘與數據封裝，提供基于數據資產的數據服務，支撐數據應用與數據產品的開發，并通過系統門戶，面向公司各類人員提供數據分析與業務決策支持，面向公司內業務支撐系統以及各業務平臺提供數據服務能力，面向合作伙伴、集團客戶等外部用戶提供智慧型數據價值產品，助力外部企業用戶的運營能力提升。

數據聚合

數據聚合方面，要聚合包含企業外部系統在內的公司內、外部數據，形成常態化的數據聚合機制。

針對源數據的數據種類、接口種類，建設與其相匹配的接口與處理能力，實現結構化數據/非結構化數據、實時/非實時數據的聚合，為加工形成集中的統一數據資產提供基礎數據。

數據資產

數據資產的建設方面，要構建結構化、模型化數據資產的組織、管理、存儲架構。根據業務使用要求（高熱度數據/低熱度數據），提供不同的數據資產分類管理、存儲環境。引入NoSQL數據庫，與關系型數據庫形成高效的融合架構，共同形成數據資產的綜合管理支撐能力。

數據資產包括基礎數據資產和應用數據資產兩個層面。

數據應用

數據應用從形態上包括數據應用、數據產品、數據服務三種類型。通過構建應用支撐體系，圍繞公司運營的市場活動提供數據應用能力支撐。

1. 數據服務：是基于數據資產的數據封裝，面向業務系統提供標準化數據服務接口，將數據能力按照服務的方式對外開放，實現系統間的有效互動。

2. 數據產品：是面向企業外部、合作伙伴等客戶提供的基于數據資產進行分析挖掘形成的高價值數據產品。

3. 數據應用：包括基于數據集市數據加工而成的地市數據應用，和基于省級數據資產進行數據價值持續挖掘形成的全省數據應用,通過省市兩級數據應用共享與互動，為省市兩級的一體化運營提供價值應用支撐，面向公司業務決策與經營提供數據分析支撐能力。

系統管理

系統管理統一負責對企業大數據平臺數據資產、數據應用的統一管理與調度，構建數據級可視化管理能力，實現全程數據溯源、數據質量管理和服務流程監控管理，為數據中心的開放運營提供基礎保障能力。

訪問門戶

訪問門戶包括面向省市業務人員、公司領導的對內門戶，面向外部人員數據產品運營的對外門戶，面向企業大數據平臺管理人員的管理門戶三個組成部分。

1. 對內門戶：是面向省市業務人員、公司領導提供統一的訪問Portal。實現定制化的個人工作臺。其中，地市數據應用通過對內門戶的地市專區向地市人員開放，提供統一訪問與管理。

2. 對外門戶：是面向外部人員提供獨立的安全的訪問門戶。以貨架形式對外部企業與個人用戶提供數據運營產品，方便外部客戶獲取適合自身的數據產品，提升企業與個人自身的市場運營能力。

3. 管理門戶：是面向企業大數據平臺管理人員和數據服務開發者的訪問門戶。管理人員通過該門戶實現數據資產管理、數據服務管理、數據服務自助組裝、系統日常運行維護與數據質量管控等功能，數據服務開發者通過該門戶實現數據服務的自助開發與注冊、管理，構建高價值數據服務開發的共享平臺。

3   ▏數據平臺功能架構

大數據基礎平臺

數據采集對業務數據進行統一采集的平臺，獲取層由網頁爬蟲和接口文件采集構成。它通過數據采集子層為數據層提供規范、高效的數據服務，實現業務數據的充分共享。

數據存儲和處理是平臺對業務數據進行統一組織、集中管理的平臺，數據層由數據存儲和數據處理組件構成。組件是實現特定功能的程序模塊，比如：HDFS組件、MapReduce組件、Hive組件、YARN組件、Hbase組件等。

數據總線通過數據集成平臺或ETL實現內部模塊之間的數據交互。

大數據能力平臺

基于上層大數據基礎數據分析能力，針對不同業務產品，通過Java、Jobs等技術封裝形成數據服務能力組件，包括關鍵詞分析組件、客戶識別組件、標簽產品組件、行為分析組件等。從而為平臺提供數據服務能力和平臺服務能力。

大數據開放平臺

在數據服務能力組件基礎上，對外提供服務能力開放，提供各種訪問設備、外部系統接入的接口，由接入適配構成。它進行交互信息的協議轉換、路由控制、負載均衡和訪問設備的合法性驗證，完成訪問設備、外部系統與平臺系統的接口適配。

大數據管理平臺

大數據管理平臺是大數據能力產品與應用平臺對系統進行統一管理、監控的平臺，管理層由系統安全、數據質量、作業調度、運維監控等構成，通過建立網絡安全、數據隱私保護、調度機制、運維監控管理等為平臺提供管理保障措施。

大數據應用平臺是大數據能力產品與應用平臺實現應用功能的平臺，可通過標準化服務接口訪問，由一個或多個組件按一定的規則和標準封裝而成，既是展示邏輯調用的對象，也是組成業務流程的實體，也可調用服務來完成業務功能。

信息化建設是一個逐步推進和不斷完善的過程，不可能一蹴而就，尤其是作為企業架構之一的大數據支撐平臺建設，即要有高瞻遠矚的戰略眼光，又要有腳踏實地的務實精神，把企業的當前需求與長遠規劃發展結合起來，突出重點、分步實施，實現對精確管理和品牌經營的有力支撐。

想了解更多IT資訊，請訪問中培偉業官網：中培偉業