培訓背景

課程通過完整的大數據開發項目及一組實際項目訓練與實戰案例，完全覆蓋Hadoop與Spark生態系統平臺的應用開發與運維實踐。課堂實踐項目以項目小組的形式進行沙盤實操練習，重點強化理解Hadoop與Spark大數據項目各個階段的工作重點，同時掌握作為大數據項目管理者的基本技術與業務素養。

培訓收益

1.掌握業界最流行的MapReduce分布式計算框架關鍵技術、工作機制與編程模型，以及MapReduce最佳實踐開發技術，包括cominber、partition和shuffle優化；

2.掌握基于內存的大數據統一編程框Spark核心技術、RDD數據模型、DAG圖執行模式、緩存機制、容錯機制、分布式系統架構，以及基于Scala的編程開發模型、常用數據處理函數、性能優化技術；

3.掌握大數據分布式文件系統HDFS關鍵機制、分布式系統架構、高可用方案、擴容方案、運維參數與性能優化；

4.掌握Hadoop分布式集群部署、參數設置與運維關鍵技術；

5.掌握YARN框架工作機制、關鍵組件，以及資源調度器的工作原理、常用調度策略和優化方向；

6.掌握NoSQL分布式數據庫HBase工作機制、分布式系統架構、數據組織方式、讀寫機制，以及HBase表模式設計最佳實踐；

7.掌握基于MapReduce和Spark的大數據倉庫Hive與SparkSQL的工作原理，常見SQL操作，存儲格式優化，分區/分桶技術；

8.掌握經典數據挖掘與機器學習算法，掌握基于Spark的機器學習算法庫MLlib，及其數據模型和編程開發模型，掌握基于大數據的推薦技術與協同過濾算法；

9.掌握大數據分布式協同管理系統Zookeeper原理知識和應用場景；

10.深入理解大數據平臺主流技術架構和各關鍵組件適用場景；

11.嫻熟運用Hadoop與Spark大數據技術體系規劃解決方案滿足實際項目需求；

12.通過實戰操作熟練地掌握基于Hadoop與Spark大數據平臺進行應用程序開發、集群運維管理和性能調優技巧。

培訓特色

本課程的授課師資都是有著多年在一線從事Hadoop與Spark大數據項目的資深講師，采用原理技術剖析和實戰案例相結合的方式開展互動教學、強化以建立大數據項目解決方案為主體的應用開發、技術討論與交流咨詢，在學習的同時促進講師學員之間的交流，讓每個學員都能在課程培訓過程中學到實實在在的大數據技術知識體系，以及大數據技術應用實戰技能，具備實際大數據應用項目的動手開發實踐與運維管理部署能力。

課程大綱