所謂流式處理技術,是針對流式數據的一種分布式、高可用、低延時、具有自身容錯性的實時計算技術。它是根據一組處理規則來工作的工具。通過提取和分析來自各個系統的信息,解決企業監控和管理的各種問題。
目前,主流的流數據處理技術主要有Storm、Spark、Streaming等,它們的基本原理是類似的,均對來自各個系統的高頻度事件流進行分析,根據既定的一些分析規則,對每個獨立事件進行處理分析,計算得出所需要的服務信息,用于時效要求的服務場景。
典型的流數據處理系統設計思路如圖12-3所示。