Golang在BFE的應(yīng)用taochunhua@2016年4月個人簡介?陶春華，運(yùn)維部，BaiduFrontEnd團(tuán)隊–2010年，天津大學(xué)，計算機(jī)專業(yè)博士?2013年7月，加入百度–使用GO開發(fā)的項目?百度GOLANG委員會成員?后臺程序開發(fā)的需求和難點–C,PythonandGo對比?采用Go語言重構(gòu)BFE路線后臺程序開發(fā)的需求(1)?性能?并發(fā)性–Process,Thread,Event(編程難度)?開發(fā)效率–語言的描述效率：代碼量–語言的簡潔、易用后臺程序開發(fā)的需求(2)?大型程序的組織?可測試能力–單測，覆蓋度測量?錯誤檢查能力–程序異常的troubleshooting后臺程序開發(fā)的需求(3)?上線和運(yùn)維–對運(yùn)行環(huán)境的依賴–對庫(動態(tài)庫)的依賴后臺程序編程的難點–C程序中很大比例的Bug和內(nèi)容有關(guān)?分布式/高并發(fā)的處理遍掌握–CPU資源的調(diào)度：Process/Thread/Event–數(shù)據(jù)的封裝和互斥訪問；–并行運(yùn)算邏輯的同步CvsPython(1)?性能：–相差10倍以上–Python:解釋執(zhí)行，動態(tài)類型?并發(fā)性能–Python:自己實現(xiàn)的thread,只能使用一個CPU?開發(fā)效率–相差5-10倍–內(nèi)存的處理是一個難點–dict/map,listCvsPython(2)?大型程序的組織?可測試能力?錯誤檢查能力調(diào)試成本hon?無編譯，可用pylint做檢查，易出低級錯誤?錯誤，exceptionCvsPython(3)?上線和運(yùn)維–Python:需要python運(yùn)行環(huán)境，及依賴的庫Golang(1)?性能?并發(fā)性–Goroutine:屏蔽底層的機(jī)制，充分利用cpu資源–多線程模型：容易思考?開發(fā)效率–描述能力和python接近–較豐富的庫(系統(tǒng)庫，第三方庫)Golang(2)?大型程序的組織–數(shù)據(jù)訪問的限制(首字母大小寫的區(qū)別)?可測試能力–內(nèi)置的單測和覆蓋檢查工具，易于做TDD?錯誤檢查能力–嚴(yán)格的編譯階段檢查：強(qiáng)類型，文件包含，…Golang(3)?上線和運(yùn)維–可編譯為獨立可執(zhí)行程序rontEnd?百度統(tǒng)一前端–七層流量接入平臺接入與轉(zhuǎn)發(fā)流量調(diào)度數(shù)據(jù)分析ront接入與轉(zhuǎn)發(fā)流量調(diào)度數(shù)據(jù)分析?主要服務(wù)?防攻擊、流量調(diào)度、數(shù)據(jù)分析?業(yè)務(wù)現(xiàn)狀?覆蓋大部分重要產(chǎn)品?日請求量千億級別為什么重寫B(tài)FE?現(xiàn)存問題?事件驅(qū)動的編程模型：編碼和調(diào)試難度大?C語言本身的難度和開發(fā)效率–配置管理方式落后–變更和穩(wěn)定性的矛盾技術(shù)選型：GovsNginx?學(xué)習(xí)成本?開發(fā)成本–并發(fā)編程模型：同步(Go)vs異步(Nginx)?性能BFE圍內(nèi)補(bǔ)GC化布式架構(gòu)GC帶來的問題避免的延遲(幾十到幾百ms).經(jīng)驗公式：10萬對象1ms掃描時間.GO-BFE的實時需求.實測–100萬連接，400msgc延遲GC優(yōu)化思路?Go的gc算法(go1.3)–MarkandSweep：大量時間時間用于掃描對象?常規(guī)手段的核心：減少對象數(shù)–小對象合并成大對象?利用Array來合并一組對象(內(nèi)部對象計數(shù)為1)Ccgo用–對象復(fù)用(對象池)–深度優(yōu)化系統(tǒng)結(jié)構(gòu)和算法?減小對象數(shù)的困境–修改golang網(wǎng)絡(luò)庫，重寫基本數(shù)據(jù)結(jié)構(gòu)?不使用讓go管理內(nèi)存–不能解決問題：大量go對象難以避免！輪轉(zhuǎn)GC方案本思路進(jìn)程狀態(tài)技術(shù)細(xì)節(jié)質(zhì)上：多個進(jìn)程監(jiān)聽同一個端口技術(shù)細(xì)節(jié)務(wù)態(tài)待態(tài)圾收集態(tài)?HTTP場景?平均連接上的請求是3個?對gc造成的延遲(幾十ms)不敏感?Stop-The-World(STW)縮短了，決定因素也變了sespentloopingovermallocspans?實際運(yùn)行，還是有幾十個ms的STW時間–GO-BFE的場景和服務(wù)模式，大量的goroutine必然?需要根據(jù)線上運(yùn)行實際情況來做選型協(xié)議一致性問題要一些方法來驗證GO-BFEGO-BFE MockclientGO-BFE Mockserver協(xié)議一致性TcpcopyonlinequeryRealRealServer?urlencodecaseHETICca