數據治理是逐步實現數據價值的過程,具體來說,數據治理是指將零散的用戶數據通過采集、傳輸、儲存等一系列標準化的流程變成格式規范、結構統一的數據,并有嚴格和規范的綜合數據管控;對這些標準化的數據進行進一步加工分析成為具有指導意義的業務監控報表、業務監控模型以幫助業務進行輔助決策。
在數據治理中,涉及到了前端業務系統,后端業務數據庫系統再到業務終端的數據分析,從源頭到終端再回到源頭,形成的一個閉環負反饋系統。同樣地,在數據治理中,我們也需要一套標準化的規范來指導數據的采集、傳輸、儲存以及應用。
數據治理包括數據規劃、數據采集、數據儲存管理、數據應用四個方面。根據每一個方面的特點,我們可以將數據治理總結為四個字,即“理”、“采”、“存”、“用”。
1.理:梳理業務流程,規劃數據資源
對于企業來說,每天的實時數據都會超過TB級別,需要采集用戶的哪些數據,這么多的數據放在哪里,如何放,以什么樣的方式放?這些問題都是需要事先進行規劃的,需要有一套從無序變為有序的流程,這個過程需要跨部門的協作,包括了前端、后端、數據工程師、數據分析師、項目經理等角色的參與。
2.采:ETL采集、去重、脫敏、轉換、關聯、去除異常值
前后端將采集到的數據給到數據部門,數據部門通過ETL工具將數據從來源端經過抽取(extract)、轉換(transform)、加載(load)至目的端的過程,目的是將散落和零亂的數據集中存儲起來。
3.存:大數據高性能存儲及管理
這么多的業務數據存在哪里?這需要有一高性能的大數據存儲系統,在這套系統里面將數據進行分門別類放到其對應的庫里面,為后續的管理及使用提供最大的便利。
4.用:即時查詢、報表監控、智能分析、模型預測
數據治理的最終目的就是輔助業務進行決策,前面的三個方面都是為最終的查詢、分析、監控做鋪墊。這個階段就是數據分析師的主場,分析師們運用這些標準化的數據可以進行即時的查詢、指標體系和報表體系的建立、業務問題的分析,甚至是模型的預測。
了解完數據治理的四個方面后,讓我們得知數據治理給企業帶來的巨大好處及價值,但是目前主要難題是數據治理專業人員比較缺乏,持有數據治理證書的專業人士更是少之又少,企業數據治理工作進展比較緩慢,很多數據價值還未得以發掘出來。
為了解決社會對數據管理人才的緊迫需求,規范化數字要素市場,推進政府數據開放共享、提升社會數據資源價值、加強數據資源整合和安全保護三項要求,DAMA中國決定建立一個長期的“數據人才”成長計劃,面向個人開展培訓認證。
為了便于國內廣大數據從業者學習相關認證,DAMA中國以國際數據管理協會(簡稱“DAMA國際”) DAMA數據管理知識體系為基礎,結合國內實際需求,對DAMA國際數據管理專業人員認證( CDMP )的考試語言、考試形式、考試內容、證書類型等進行了適當本地化重構。
重構后認證考試分為數據治理工程師( CDGA )和數據治理專家( CDGP ),DAMA中國承擔認證考試命題工作,并定期組織中文考試,對考試通過者由DAMA中國頒發認證證書。證書有效期為三年,獲得CDGA認證才能申請CDGP認證考試。
想要了解更多課程資訊或考試信息可以課程老師聯系18513851518(同微信)