1、電商系統(tǒng)峰值架構(gòu)研究,洋碼頭內(nèi)部資料 梁中華 2014.12 ,目標場景,類似雙10，雙11，黑五這類大促 請求量、網(wǎng)絡(luò)流量，短時間可達平時10倍，甚至幾十倍 秒殺，限時搶購 瞬時流量可達平時的幾十、上百倍，一個不慎，可能瞬間把整個集群摧垮 各種沒有節(jié)操的攻擊 找你的薄弱環(huán)節(jié)，狠狠地壓你 各種網(wǎng)站聯(lián)盟、線上、線下引流,面臨的問題,帶寬可能不夠：做好圖片、頁面、資源壓縮，節(jié)省流量 數(shù)據(jù)庫可能撐不?。篒O、CPU、連接數(shù)過高 緩存服務(wù)器可能撐不住：CPU，連接數(shù)過高 Session服務(wù)器負載過高 應(yīng)用服務(wù)器可能撐不?。?CPU、連接數(shù)、線程數(shù)、執(zhí)行時間過長 第三方接口可能會撐不住： 短信、個推等

2、個別頁面或業(yè)務(wù)的瞬間壓力過大可能會導(dǎo)致整個系統(tǒng)面臨很大的風(fēng)險 各種原因，可能會宕機,整體解決思路,提前進行容量規(guī)劃和場景分析 場景分析很重要、分析出可能的熱點和薄弱環(huán)節(jié) 功夫在戲外，平時工作要做足 核心思想： 分而治之，大系統(tǒng)小做、小系統(tǒng)大做 Partition(Scalable) Everything, Async Everywhere, Caching Everything, Remember Everything Will Fail(Cluster,Monitor) 兩個重點方向： 既要“快” 天下武功，唯快不破 又要“穩(wěn)” 穩(wěn)定壓倒一切,“快”Caching Everything,將有

3、效期較長的頁面進行緩存或反向代理服務(wù)器緩存 有效期短的頁面或數(shù)據(jù)緩存到本地內(nèi)存或者分布式緩存服務(wù)器，如Redis 考慮緩存失效情況，避免緩存失效穿透，造成后端瞬間壓力過大 將混合型頁面進行動靜分離，如單品頁，介紹性內(nèi)容靜態(tài)化；價格、庫存等動態(tài)異步加載 有些只是Request級別或線程級別的數(shù)據(jù)，可以緩存在HttpContext或ThreadStatic變量中，避免多次從遠程獲取,“快”應(yīng)用代碼結(jié)構(gòu)和流程,盡量避免使用Session 盡量避免大量的嵌套循環(huán)、無意識的linq join操作，大數(shù)據(jù)量的排序和篩選，選取高效的算法。 盡量避免大數(shù)據(jù)量的復(fù)雜字符串操作 盡量減少遠程調(diào)用的次數(shù)，提供粗粒度

4、接口 遠程調(diào)用時盡量使用長連接，減少頻繁創(chuàng)建連接帶來的資源損耗 盡量避免需要大量序列化和反序列化的操作 盡量避免創(chuàng)建大快內(nèi)存，減少GC壓力 必要時進行異步處理和并行處理,“快”數(shù)據(jù)庫,SQL優(yōu)化: 重構(gòu)索引、where字句優(yōu)化 減少大事務(wù)、最小化一致性要求 數(shù)據(jù)庫讀寫分離：Master-Slaver 數(shù)據(jù)庫分庫：按業(yè)務(wù)垂直拆分，分散壓力，保護主流程 數(shù)據(jù)庫分區(qū)：按時間進行分區(qū) 通過異步寫庫：削峰填谷,“快”負載均衡,通過負載均衡進行快速擴展集群容量 實現(xiàn)彈性擴容，Scalable Everything! 通過硬件實現(xiàn)：F5, NetScaler 通過軟件實現(xiàn)：LVS, HAProxy,Ngin

5、x RPC服務(wù)框架自動實現(xiàn)負載均衡，如dubbo 自實現(xiàn)各種負載均衡算法,穩(wěn)分而治之,按業(yè)務(wù)，按模塊進行拆分，使每個模塊又輕又快，小而美。 公共模塊SOA化，集中監(jiān)控和擴容 使CPU密集、IO密集、占用內(nèi)存高等不同資源敏感的服務(wù)得以不同的方式進行擴容 熱點分離，減少各模塊之間互相影響，保護核心業(yè)務(wù)流程 可以針對性的進行監(jiān)控、流量控制和擴容 做好超時控制，每個遠程調(diào)用都設(shè)置合理的超時時間,參考架構(gòu)當當,參考架構(gòu)-JD,穩(wěn)服務(wù)降級,服務(wù)降級(有損服務(wù)) CAP：降低強一致性，換取高性能 同步變異步：降低用戶體驗，換取高性能 去除周邊功能，保證核心業(yè)務(wù)：類目，單品，訂單支付 等服務(wù)的核心功能 動態(tài)頁

6、面臨時性變成靜態(tài)頁面，如活動頁，部分熱點單品頁 需要很強的靈活性和應(yīng)變能力，考驗程序架構(gòu)和運維能力,穩(wěn)流量控制,系統(tǒng)設(shè)計一般都有一定的流量標準 當流量超過標準時需要對流量進行限制： Web應(yīng)用訪問墻擋住惡意攻擊流量 Nginx根據(jù)用戶IP進行限流 服務(wù)根據(jù)單位時間內(nèi)訪問次數(shù)進行限流 Db根據(jù)連接數(shù)進行限流 應(yīng)用配合限流的特殊返回情況,眼觀六路，耳聽八方,Remember Everything will Fail Monitor ,monitor and Monitor! 網(wǎng)絡(luò)監(jiān)控：連接數(shù)，網(wǎng)絡(luò)流量，路由，丟包率，DNS 系統(tǒng)監(jiān)控：cpu,mem,connections, 應(yīng)用監(jiān)控: qps, request executings, requests exec time, threads, GC，應(yīng)用心跳 頁面、接口