5.4 非結構化數據的元數據管理
由于非結構化數據的類型和表現形式多樣,其元數據管理辦法很難統一,并且非結構化數據的內容不確定、不易獲取(如影音、視頻),因此其元數據的提取和管理在業界還是一個新領域。在此,僅就幾類非結構化數據進行元數據管理方法的初步探討。
1)對于影音、視頻、圖片等形式的非結構化數據,其內容一般較難獲取,因此根據前面介紹的四面體模型來管理這類非結構化數據的元數據。數據生成或獲取時明確其語義特征、基本屬性、底層特征三方面屬性,可以將其抽離出來作為結構化數據存儲,那么就可以按照結構化數據的元數據管理方法進行管理。
2)對于網頁、文檔等,不僅可以獲取語義特征、基本屬性、底層特征等屬性作為元數據,還可以從其中對其內容進行讀取解析,抽取出關鍵字,作為非結構化數據的標簽。主要分為三種類別:
第一種是提取文章里的關鍵詞,作為主題詞標簽元數據。
第二種是對文章進行多個維度的分類,打上分類標簽,如在輿情分析過程中,會打上文章所涉及的銀行、產品及業務、風險點、正負面情感等。
第三種是文章本身的結構化標簽元數據,如時間、作者、來源、大小等。
在實現過程中,只有通過分詞、文本去重、各類分析模型(如主題分析模型、分類模型、情感分析模型)處理,并輔以各種自動化訓練手段,才能獲取網頁、文檔等各類文本的非結構化數據的標簽元數據。
3)對于具有加密方式的非結構化數據,要獲取其內容,一般需要比較高級的權限,因此在對其進行管理時只能獲取基本的語義特征、基本屬性,即可以知道文檔的名稱、時間等,而對于其內容則無法獲知,一般和影音、視頻、圖片的相關元數據管理方法類似。