欧美麻豆久久久久久中文_成年免费观看_男人天堂亚洲成人_中国一级片_动漫黄网站免费永久在线观看_国产精品自产av一区二区三区

中培偉業IT資訊頻道
您現在的位置:首頁 > IT資訊 > 大數據 > 文本獲取與預處理

文本獲取與預處理

2018-05-09 14:39:03 | 來源:中培企業IT培訓網

(2)輿情分析在大數據時代的背景下,網絡上存在大量以文本為代表的非結構化數據,特別是互聯網上的新聞、社交媒體數據,其中更不乏與商業銀行有關的輿情信息。對這些信息進行有效的挖掘和利用,將為商業銀行及時掌握在互聯網上傳播的潛在風險事件提供一個全新的視角。

實現輿情風險管理的文本挖掘技術過程一般分為文本獲取、預處理、分析挖掘、可視化展現等步驟。

1)文本獲取:商業銀行獲取文本的方式包括已采購的財經新聞、行業動態、研究報告等外部資訊信息,還可以通過開發采集工具來進一步擴大新聞媒體的采集范圍,比如對以微博、論壇為代表的社交媒體信息進行采集。采集方式包括搜索引擎(通過搜索引擎進行關鍵詞搜索,之后將所有結果通過爬網程序進行采集)、新聞網站、論壇頁面適配(通過Web爬蟲程序抓取微博或論壇頁面,并從頁面結構中解析出正文和評論數據)、微博頁面適配(通過模擬實際用戶登錄后對微博信息進行采集)。

2)預處理:包括中文分詞和文本去重等步驟,從而實現文本的預處理。前者是在獲取到文本數據之后,將文本切分成詞匯的集合,使得機器能夠更好地理解詞匯組成的文本。后者則通過相似哈希算法快速對海量文本相似程度進行計算:將文檔看成特征詞的集合,為每個特征詞分配唯一編碼;根據特征詞的編碼以及在文檔中的權重,通過相似哈希算法生成文檔的信息指紋(可比較的64位二進制編碼);文檔指紋完全相同的文檔,則認定為內容相同;指紋間不同的位數越少,則說明文檔內容越相似。文本虛詞的增減、語句位置的變換將不會影響近似文本的發現。

標簽: 輿情分析

相關閱讀

主站蜘蛛池模板: 最新精品国偷自产在线老年人 | 亚洲男人天堂久久 | 久久精品无码中文字幕老司机 | 欧美一级毛片在线播放 | 亚洲av高清手机在线 | 电家庭影院午夜 | 无码人妻AV免费一区二区三区 | 亚洲国产成人精品无码一区二区三区 | 少妇激情艳情综合小视频 | 9传媒制片厂制作在线观看 女兵的真人大毛片 | CHINA男男互插网站 | 无码色情一区二区在线看 | 日本三级免费看 | 亚洲精品无码久久久久A片苍井 | 99热这里只有精品最新地址获取 | 粗一硬一长一进一爽一a片 国产激情在线观看 | 亚洲精品国产成人综合久久久久久久久 | 开心五月综合亚洲 | 日本一卡2卡三卡4卡无卡免费网站 | 久久天天躁夜夜躁狠狠ds005 | 九九久久精品国产AV片国产 | 午夜激情久久久 | 国产产区一二三产区区别在线 | 波多野结衣的AV一区二区三区 | 麻豆成人在线视频 | A级国产乱理论片在线观看 亚洲高清中文字幕免费 | 国产真实夫妇视频 | 精品人妻无码一区二区三区竹菊影视 | 高潮插的我好爽再干噢在线欢看 | 人妻夜夜爽天天爽一区 | 公交车上~嗯啊被高潮视频软件 | gogogo高清在线观看视频中文 | 国产超爽人人爽人人做人人爽 | 日韩欧美在线观看一区二区视频 | 国产又粗又猛又爽又黄A片小说 | JAPANESE在线播放国产 | 欧美性受xxxx白人性爽 | 黄,不卡,免费,在线 亚洲AV永久无码精品一福利 | 欧美性生活区 | 女人被黑人躁得好爽视频 | 国产精品午夜福利不卡 |