現對此典型的流數據處理系統設計思路進行簡要介紹
1)客戶通過POS等渠道進行交易。
2)流數據處理系統引入大內存、分布式計算等技術實現交易數據的快速處理。
3)流數據處理系統準實時推送服務,廣泛應用于余額提醒、事件式營銷、風險防控等交易場景。
4)客戶經理、業務人員及時對客戶進行營銷、提醒等服務。
流數據處理系統主要作為交易系統的延伸,通過對交易數據的采集、存儲、計算、分發、持久化等環節的快速處理,承擔交易過程中涉及的風險控制、增值類數據加工處理服務,為客戶營銷、風險監控、客戶服務等業務系統提供異步準實時交易信息處理和推送服務。
通常流數據處理系統提供兩種不同的服務方式,一種是逐筆對交易信息進行處理的“流式”服務模式,另一種是一次性對一批交易信息進行處理的準實時批量服務模式。兩種服務模式具體的處理模式、技術特點、時效、設備資源和服務領域見表12.1。
(1)“流式”服務模式這種模式需要逐筆對交易報文進行處理,經過規則計算,并以聯機報文的方式對外提供服務。此類服務模式適用于對時效要求非常高(秒級響應)的業務功能,典型的應用場景包括:余額提醒、商戶圈信息推送、信用卡交易監控(反欺詐)信息篩選、柜面客戶大額資金變動后的觸點式營銷等。
(2)準實時批量服務模式這種模式是對一段時間內發生的一批交易報文進行統一的處理,通過Spark將存儲在HDFS中的信息抽取出來進行統一計算,主要以批量文件的方式對外提供服務。此類服務模式適用于分鐘級響應的業務功能,典型的場景包括:客戶購買理財產品后營銷信息推送、大額資金流轉至第三方存管的營銷、風險監控(分鐘級時效)、交易監控統計、分行特色銷售統計等。
表12-1 兩種服務模式的比較