第5章 元數據管理
近年來,大數據技術已經開始駛入快速發展的軌道,國內外從事大數據技術研究和應用的企業越來越多,應用領域也越來越廣,應用行業也越來越細。但是,在行業應用中,由于缺乏統一的數據描述,使得數據在識別、傳輸、轉換、共享等過程中常常出現歧義,數據的擁有者不能及時準確地按照業務要求提供數據的情況時有發生。在大數據時代,借助于元數據了解數據的業務含義、上下文等信息的需求越來越強烈。據了解,ISO/IEC、JTC1、SC32下設的多個工作組從事不同領域的標準研制工作,其中就包括元數據。對于我國大數據時代元數據標準的制定,有國內專家指出,我國迫切需要加強元數據標準或元數據模型的研究和應用,健全與完善元數據標準規范和元數據模型,使大數據向著標準化、條理化、脈絡化方向發展,實現無歧義溝通、理解和共享使用,更好地對數據進行管控,挖掘大數據,發揮數據價值。
在傳統金融體系外,大數據技術及應用風生水起,而作為擁有大量客戶信息及客戶交易數據的銀行卻越發顯示出在數據標準體系建設、信息共享、信息挖掘和利用等方面的短板。
挖掘銀行數據價值、發揮元數據作為銀行數據信息地圖的重要作用,將分散在不同系統、不同工具、不同人員中的元數據信息進行統一管理,實現從業務層面到技術層面的全面貫通,對銀行業務的發展具有重大意義,是銀行數據規范和高效管理的重要支撐。
元數據,英文名是Metadata,意指關于數據的數據,即對數據的描述。早在20世紀末,元數據管理體系的概念和相關工具就已經廣泛出現,但由于當時的數據規模還不夠大,而且元數據管理本身又包含了太多的內容,以至于它一直未得到充分的重視。而在今天看來,元數據正在成為解決諸多數據問題時必須要抓住的一個“精髓”要素。
元數據描述了數據的結構、內容等多項內容,提供了對數據對象的描述、定位、管理、檢索、評估、選擇和交互等功能,是數據治理的重要基礎。元數據是數據對象的信息地圖,通過元數據管理,能夠準確勾勒出銀行數據資產的整體視圖,支持科學地制定信息數據管理政策。通過元數據管理,也能夠建立統一的數據表達形式、元數據標準,使數據可視化,方便數據的靈活交互和擴展。
當前,我國銀行業在元數據管理及體系建設方面起點不一,發展程度也不一樣。根據IBM公司對元數據管理6個階段的劃分,結合我國銀行元數據管理發展情況來看,目前我國部分元數據管理較為成熟的銀行已發展到元數據集中管理和元模型驅動階段。