1、基于AWS快速構(gòu)建數(shù)據(jù)分析平臺技術(shù)創(chuàng)新 變革未來Agenda我們是誰，要解決的問題基于開源系統(tǒng)的解決方案 基于AWS系統(tǒng)的方案升級 后續(xù)計劃用戶案例背景與方案時尚地產(chǎn)零售汽車家裝母嬰麗人娛樂商場有跡可尋：通過Wi-Fi、視頻等感知技術(shù)獲得的行為數(shù) 據(jù)，來掌握消費者行為軌跡， 找出潛在顧客有計可施：有認知的進行營銷，幫助營銷決策做到及時、精準且體驗良好，有效提高 營銷效能有據(jù)可依：數(shù)據(jù)化的管理用數(shù)據(jù)說話，避免主觀判斷，提升 管理效率，用數(shù)據(jù)呈現(xiàn)事實幫助 品牌決策商業(yè)運營認知 營銷消費者數(shù)據(jù)化方案拓撲智能數(shù)據(jù)運營平臺流量數(shù)據(jù)平臺流量感知 超千萬的線下客流數(shù)據(jù)第三方京東、騰訊等生命周期標簽行為標簽推

2、薦標簽場景標簽線上標簽商圈商場商戶顧客活動廣告多數(shù)據(jù)類型融合標簽體系多應(yīng)用場景落地客戶案例品牌客戶商業(yè)地產(chǎn)客戶美妝汽車服裝母嬰3C數(shù)碼房產(chǎn)家裝購物中心傳統(tǒng)解決方案Lambda架構(gòu)D ata receiving server groupkafkaS TR E A MFTPD ataB aseAPP M yS Q LRedisH D FSH A D O O PH IV E /S p arkB atch R ecom puteR ealtim e Increm entM E R G EnginxS ensors3rd p arty p latformBI IN P U TBA T C HS P E

3、E DS E R V IN GO U T P U TTagging S ystemR ecom m en dation S ystemQ uery S ystem面臨的問題自建集群運維成本高硬件資源無法彈性伸縮系統(tǒng)高可用、數(shù)據(jù)持久性方案復(fù)雜新業(yè)務(wù)上線周期長為什么選擇AWS云創(chuàng)計劃的初期積累完善的產(chǎn)品和服務(wù)靈活的定價方式完善的安全機制品牌和多年的運營經(jīng)驗基于AWS的架構(gòu)升級A uto S caling groupA uto S caling groupS E N S O R主要變更EMR vs 自建Hadoop動態(tài)擴容集群監(jiān)控按需計費Kinesis vs Kafka水平擴容集群監(jiān)控RDS vs

4、mysql全托管服務(wù)高可用在線擴容ElastiCache vs Redis全托管服務(wù)在線擴容S3 vs HDFS數(shù)據(jù)持久性數(shù)據(jù)計算分離RedshiftLambdaPB級數(shù)據(jù)倉庫快速查詢可擴展性無服務(wù)器管理天生高可用安用量計費主要變更存儲架構(gòu)變更實時計算變更S3RedShi(GlacierEMR Web App ServerA uto S caling groupKinesis StreamsS3Lambda fuc2onLambda fuc2onDynamoDB完善的監(jiān)控系統(tǒng)基于AWS系統(tǒng)的優(yōu)勢降低系統(tǒng)復(fù)雜度大部分組件高可用性由AWS保證，減少自行 設(shè)計帶來的復(fù)雜度更加精準的資源使用按需付費，

5、合理分配資源，杜絕浪費提升系統(tǒng)可用性高可用的PAAS服務(wù)帶來高可用的應(yīng)用提升服務(wù)等級數(shù)據(jù)存儲的持久性得到很好解決隔離線上和離線計算資源，互不干擾提高系統(tǒng)性能Redshift引入，提高查詢性能專注業(yè)務(wù)系統(tǒng)開發(fā)開發(fā)人員從基礎(chǔ)硬件的運維中解放出來加速新業(yè)務(wù)的開發(fā)后續(xù)計劃逐步遷移其他的業(yè)務(wù)到AWS平臺嘗試使用更多的AWS PAAS服務(wù)，如IoT等持續(xù)關(guān)注中國區(qū)的新業(yè)務(wù)落地對系統(tǒng)成本做持續(xù)優(yōu)化用戶案例某全國連鎖服裝品牌用戶案例上海某高端購物中心w w w .zhim atech.co mR ep o rt: 2 0 18 /2 /9M O N TH LYS B 1FE 1FN B 1FE venly d istrib uted均勻分布E venly d istrib uted均勻分布C onc集entrated at sub w ay entrance大多中于地鐵出入口Monthly Analysis - Floor Heat map樓層熱力分N 1FS 1FN 3F集中于入C onc