楚門智能創始人,昆士蘭理工大學數據科學碩士,前阿里高級研發工程師,Cloudera認證講師,Cloudera認證大數據管理員;多年大數據行業經驗,原聯想電商大數據平臺負責人,主要科研方向為數據科學,在自然語言處理領域有資深的經驗,參與過多個百億級別得大數據項目,操作過真正得大數據集群。并擁有咨詢、大數據產品設計、商務等多方面得資深經驗。擅長Spark、Hadoop等平臺架構,講課風格幽默風趣、實戰為主。
國內首批獲得美國cloudera 認證大數據架構師
精通課程
Spark相關技術
數據挖掘
Java及數據架構
Python高級開發系列課程
Android
大客戶培訓經驗<部分>
中國電子科技集團公司第28所-----------------云計算架構與實踐
華為終端有限公司-----------------大數據助力用戶行為分析
廣州民航信息技術有限公司-----------------Hadoop 調優與集群管理
廣東省通信產業服務有限公司朗訊-----------------大數據最佳實踐與建設技術
中國農業銀行北京分公司-----------------金融大數據的困擾與解決方案
廣東電信-----------------云計算與大數據對電信的影響及技術架構
……..
項目經驗<部分>
項目經驗
2014年至今:聯想網絡監控大數據平臺-Spark
2014年至今:聯想自然語義分析平臺
2012/2-至今:某金融行業海量數據分析與存儲平臺
項目描述:某金融企業海量數據分析與存儲平臺,目前處于POC階段,主要用來解決大數據環境下,金融行業面對的挑戰與成本問題
責任描述:架構設計,重要模塊實現,Python 構建的核心算法模塊
2012/5-至今:某國企知識庫系統
項目描述:基于云搜的一個企業應用,主要用來處理企業內部文檔搜索的需求
責任描述: 需求調研,架構設計,Python 構建的核心算法模塊
2012/1-至今:云計算實時分析ETL系統
項目描述:該項目為海量數據實時分析系統,可以處理實時數據分析的需求,如數據統計,網站分析數據統計等
責任描述:架構設計
2011/9-至今:云搜
項目描述:該項目為解決大數據時代海量數據搜索而設計,解決了原有基于Solr等搜索的局限性與問題
責任描述:架構設計,Python Django架構設計
2011/5 --至今:某國企指紋智能匹配平臺
項目描述: 匹配指紋系統.系統能力達到2千萬條指紋數據通過算法匹配,5秒內返回結果.
責任描述: 架構設計,Python 構建的核心算法模塊
2011/1 --至今:海量數據實時分析平臺
項目描述: 該項目是我們自主研發的產品,全稱為海量數據實時分析系統.系統實現目標為,對很多日志進行實時的統計,如網站的PV,UV,分類的排名等.實基于日志的統計信息,能夠實現準實時的顯示統計結果,實現業務包括網站的PV,視頻,廣告點擊率等.功能強大,具有高可靠性,強擴展性.
責任描述: 架構設計,研究
2011/1 --至今:海量數據自動部署與智能運維平臺
項目描述: 該項目為云平臺自動部署運維平臺,可以通過簡單的配置,自動安裝所有云平臺的組件。提供強大的運維功能
責任描述: 架構設計研發
2010/6 --至今:某國企電力項目海量數據收集分析
項目描述: 該項目為統計某地單位時間內全部電表用電量情況。數據規模:3千萬數據收集點 每分鐘9千萬數據需要入庫 并同時產生實時分析數據結果,包括用電量等
責任描述: 架構設計,Python 構建的核心算法模塊
2010/4 --至今:大數據平臺
開發工具: java shell
項目描述: 該項目為海量數據挖掘系統。采用了Hadoop 作為文件系統,并且采用了HBase hive作為分析工具 與 分布式數據庫。對Hadoop等有長時間的研究
責任描述: 架構,優化,研發
2009/10 -- 2010/3 :XXX號碼百事通預定平臺
項目描述: 該平臺為XXX電信 官方預定平臺,包含吃住行游購娛,多方面咨詢及預定服務,同時整和了支付寶,翼支付等第三方支付平臺。項目中涉及到webservice freemaker等技術,包含了多平臺整和 其中有.net PHP
責任描述: 該項目中,擔任了項目經理 主要是作了 單點登陸的實現,解決了跨平臺webservice速度慢的問題,數據庫的優化,SQL語句的優化,并開發了工具類庫
2009/6 -- 2009/8 :XXX移動身份與認證管理平臺手機客戶端
開發工具: android2.1
項目描述: 該項目為移動身份認證管理平臺手機客戶端實現 包括ssl telnetd登錄 配置服務器等功能
責任描述: 本客戶端中 為項目經理 軟件的設計開發 與客戶的協調工作
2009/5 -- 2009/12 :XXX人壽身份與認證管理系統
軟件環境: Windows server 2003 , Weblogic 8.x ,Spring2.0 ,Struts,Hibernate
硬件環境: WINDOWS B/S , CVS
開發工具: JAVA(JDK1.5.8),采用MyEclipse6.0等工具開發
項目描述: 該項目為XXX人壽的資源 身份認證管理系統
責任描述: 需求調研,網元模塊開發
2009/4 -- 2009/10 :XXX移動短信動態網關認證平臺
項目描述: XXX移動短信動態網關認證平臺.是為解決移動集團用戶通過VPN登錄集團時,忘記密碼的情況而開發的一款中間件,現該產品在移動內部使用,穩定運行,分1.0,2.0兩個版本,主要應用技術有webservice等,認證產品為cisco acs。主要采用的線程池,緩沖隊列來解決項目中并發數的問題,采用的是LDAP,數據庫采用SQLSERVER。對并發量的控制有自己的見解
責任描述: 負責設計,開發,需求調研等。全權負責開發工作,負責所有功能的開發,包括下發短信,取回密碼,VPN登陸
2009/1 --至今:XXX移動身份與認證管理平臺
軟件環境: apache jboss
開發工具: apache jboss
項目描述: 簡稱為全網4a 我主要參與了3。0 3。1 版本的開發 而且對產品升級提出了自己的見解,獲得領導的表揚。實現了對移動身份及資源的管理,具體資源包括網元等核心設備。實現了自動代添等功能,解決了移動賬號口令認證管理多方面需求 涉及到東西很多包括各種網元客戶端 及各種操作系統,同時包括安氏防火墻,安盟認證等第三方安全產品,同時該項目數據庫為posgre 身份存儲為ldap。 項目中 我整和了安盟產品,并且開發了網元模塊
責任描述: BS方面:參與系統的設計工作 需求分析,詳細設計,權限的設計,登陸模塊,并且開發了流程管理,審計管理模塊,并且參與用戶溝通,并對組內成員進行輔導,技術難點攻克。CS:方面 運用c++代添組件的開發 包括華為
2008/9 -- 2008/12 :XXX聯通合同管理系統
項目描述: XXX聯通合同管理系統 是XXX聯通客服服務部為了將XXX聯通的合同錄入 修改查看,數字化 并可以進行網上審批 而委托我們做的一個簡單的合同管理系統,屬于OA的一部分。由于該項目為黑龍江省聯通分公司的需求,所以整個系統的需求,設計,代碼,實現都是由我們委派到黑龍江的項目組來實現。項目中,由于具體業務的需求,我們采用的是我來封裝的struts框架,spring框架,及現有的hibernate來實現。
責任描述: 該項目中,由需求分析,軟件的設計,是由我來做,并且實現了一部分代碼功能,由我的同事來完成其他的工作。整個項目采用比較流行三層架構即view層 service層 dao層,整個項目的接口由我設計