深圳超算科來(lái)回溯分析系統(tǒng)測(cè)試分析報(bào)告目錄TOC\o"1-5"\h\z\u1. 測(cè)試概要 11.1. 需求分析 11.2. 測(cè)試目標(biāo) 22. 設(shè)備部署 43. 網(wǎng)絡(luò)流量可視化監(jiān)控及異常事件回溯 63.1. 網(wǎng)絡(luò)流量可視化監(jiān)控 63.2. 異常事件一：流量突發(fā)分析 93.3. 異常事件二：服務(wù)器主動(dòng)外聯(lián) 103.4. 異常事件三：異常TCP連接行為 143.5. 異常事件四：路由環(huán)路 173.6. 異常事件五：數(shù)據(jù)泄露 194. 業(yè)務(wù)與分支機(jī)構(gòu)流量梳理 214.1. 業(yè)務(wù)流量梳理 214.2. 分支機(jī)構(gòu)流量梳理 235. “WEB服務(wù)器”流量與性能監(jiān)控 255.1. 業(yè)務(wù)訪問(wèn)量分析 265.2. 最慢語(yǔ)句追蹤 295.3. 網(wǎng)絡(luò)質(zhì)量監(jiān)控 306. 告警設(shè)置 326.1. 服務(wù)器與網(wǎng)絡(luò)時(shí)延預(yù)警 326.2. 流量突發(fā)預(yù)警 336.3. 主機(jī)掃描預(yù)警 346.4. TCP異常通信預(yù)警 356.5. CIFS蠕蟲(chóng)攻擊告警 366.6. DDOS攻擊預(yù)警 376.7. 郵件安全預(yù)警 386.8. 可疑域名檢查 417. 科來(lái)軟件公司簡(jiǎn)介 43測(cè)試概要需求分析隨著網(wǎng)絡(luò)與應(yīng)用信息化的全面建設(shè)和快速發(fā)展，網(wǎng)絡(luò)中承載了越來(lái)越多的關(guān)鍵業(yè)務(wù)及應(yīng)用。深圳超算托管了大量重要的業(yè)務(wù)系統(tǒng)，所有關(guān)鍵業(yè)務(wù)都實(shí)現(xiàn)了網(wǎng)絡(luò)化運(yùn)營(yíng)。確保應(yīng)用訪問(wèn)質(zhì)量以及網(wǎng)絡(luò)安全穩(wěn)定高效的運(yùn)行已經(jīng)成為支撐深圳超算運(yùn)營(yíng)的關(guān)鍵。保障網(wǎng)絡(luò)與應(yīng)用的安全穩(wěn)定高效的運(yùn)行，一直是維護(hù)部門(mén)的主要任務(wù)。但如今網(wǎng)絡(luò)和應(yīng)用日益復(fù)雜，出故障的可能性也越大，造成的損失也越大；而且現(xiàn)今網(wǎng)絡(luò)攻擊越來(lái)越普遍和隱蔽。如何能夠迅速的定位網(wǎng)絡(luò)中的故障，找出攻擊者成為網(wǎng)絡(luò)管理人員頭疼的問(wèn)題。實(shí)踐證明網(wǎng)絡(luò)分析能實(shí)時(shí)的監(jiān)控和分析網(wǎng)絡(luò)運(yùn)行情況，及時(shí)發(fā)現(xiàn)網(wǎng)絡(luò)的異常和安全異常行為，快速定位分析網(wǎng)絡(luò)和應(yīng)用問(wèn)題，同時(shí)提供強(qiáng)大的安全分析功能，是保障網(wǎng)絡(luò)安全高效持續(xù)運(yùn)行的非常有效的手段。傳統(tǒng)的便攜式網(wǎng)絡(luò)分析產(chǎn)品雖然能夠?qū)W(wǎng)絡(luò)安全事件進(jìn)行分析。但是，面對(duì)越來(lái)越復(fù)雜的網(wǎng)絡(luò)安全問(wèn)題，如何從海量的網(wǎng)絡(luò)數(shù)據(jù)中快速發(fā)現(xiàn)異常，如何在網(wǎng)絡(luò)故攻擊發(fā)生后快速重現(xiàn)攻擊現(xiàn)象，并找出攻擊源，如何提供長(zhǎng)期的數(shù)據(jù)存儲(chǔ)并快速提取歷史數(shù)據(jù)進(jìn)行精細(xì)的數(shù)據(jù)挖掘分析，是當(dāng)前網(wǎng)絡(luò)管理面臨的新的挑戰(zhàn)，便攜式實(shí)時(shí)網(wǎng)絡(luò)分析產(chǎn)品面對(duì)新的網(wǎng)絡(luò)管理需求時(shí)，存在以下不足：無(wú)法實(shí)現(xiàn)長(zhǎng)期的原始數(shù)據(jù)保存；無(wú)法實(shí)現(xiàn)持續(xù)的流量監(jiān)控；無(wú)法查看分析歷史通訊數(shù)據(jù)；無(wú)法還原歷史攻擊現(xiàn)象；無(wú)法進(jìn)行網(wǎng)絡(luò)鏈路統(tǒng)一集中管理；故障回溯分析能力欠缺；針對(duì)新的網(wǎng)絡(luò)管理挑戰(zhàn)，科來(lái)軟件提供了高性能的網(wǎng)絡(luò)回溯分析系統(tǒng)，使用靈活、簡(jiǎn)單的系統(tǒng)架構(gòu)，實(shí)現(xiàn)了長(zhǎng)期、大容量的數(shù)據(jù)存儲(chǔ)、歷史數(shù)據(jù)回溯及持續(xù)的網(wǎng)絡(luò)流量監(jiān)控，為企業(yè)網(wǎng)絡(luò)管理提供了全新的解決方案。測(cè)試目標(biāo)測(cè)試產(chǎn)品 科來(lái)網(wǎng)絡(luò)回溯分析系統(tǒng)RAS3004ST；測(cè)試目標(biāo)深圳超算IDC機(jī)房承載著重要的業(yè)務(wù)系統(tǒng)及辦公系統(tǒng)，能否有效的運(yùn)行將影響到業(yè)務(wù)系統(tǒng)各個(gè)環(huán)節(jié)的協(xié)調(diào)，因此保障系統(tǒng)網(wǎng)絡(luò)能夠高效、安全的同時(shí)，還需要能夠監(jiān)控到網(wǎng)絡(luò)中承載的業(yè)務(wù)的流量特征、運(yùn)行狀況，體現(xiàn)運(yùn)維的核心價(jià)值：彌補(bǔ)現(xiàn)有管理手段的空白：網(wǎng)絡(luò)與應(yīng)用是互相依托的，都會(huì)對(duì)用戶(hù)的業(yè)務(wù)體驗(yàn)造成影響，現(xiàn)有網(wǎng)絡(luò)設(shè)備由網(wǎng)管工具進(jìn)行監(jiān)控，而應(yīng)用系統(tǒng)則由系統(tǒng)本身的日志進(jìn)行監(jiān)控，這兩個(gè)數(shù)據(jù)無(wú)法進(jìn)行關(guān)聯(lián)分析；而科來(lái)網(wǎng)絡(luò)回溯分析系統(tǒng)可以從網(wǎng)絡(luò)角度，通過(guò)網(wǎng)絡(luò)時(shí)延、服務(wù)器應(yīng)用語(yǔ)句處理時(shí)延、丟包、誤碼等量化指標(biāo)來(lái)衡量用戶(hù)的業(yè)務(wù)體驗(yàn)，彌補(bǔ)現(xiàn)有管理的空白；生產(chǎn)應(yīng)用梳理：理清網(wǎng)絡(luò)中各種業(yè)務(wù)系統(tǒng)流量，從而掌握網(wǎng)絡(luò)資源占用情況，及時(shí)發(fā)現(xiàn)異常流量或新上線業(yè)務(wù)；生產(chǎn)應(yīng)用監(jiān)控：通過(guò)長(zhǎng)期監(jiān)控分析，建立關(guān)鍵生產(chǎn)應(yīng)用的安全生產(chǎn)的運(yùn)行基線，并建立合理的告警閥值，主動(dòng)的發(fā)現(xiàn)生產(chǎn)業(yè)務(wù)的異常；生產(chǎn)業(yè)務(wù)性能分析：需要對(duì)用戶(hù)指定的自定義應(yīng)用進(jìn)行實(shí)時(shí)監(jiān)控和質(zhì)量分析，能夠?qū)崟r(shí)顯示及事后分析關(guān)鍵應(yīng)用的重要通訊質(zhì)量指標(biāo)，如：網(wǎng)絡(luò)響應(yīng)時(shí)間、服務(wù)響應(yīng)時(shí)間、通訊會(huì)話(huà)數(shù)量等等。實(shí)現(xiàn)主動(dòng)化、數(shù)據(jù)化的精細(xì)業(yè)務(wù)質(zhì)量監(jiān)控與分析；運(yùn)維價(jià)值展現(xiàn)：橫向和縱向的多維度的展現(xiàn)網(wǎng)絡(luò)運(yùn)維的價(jià)值，流量最大的業(yè)務(wù)系統(tǒng)排序，每個(gè)業(yè)務(wù)主要有哪些用戶(hù)在用；流量最大的用戶(hù)排序，最繁忙的用戶(hù)主要在跑什么業(yè)務(wù)系統(tǒng)；網(wǎng)絡(luò)安全監(jiān)控：通過(guò)7*24小時(shí)的監(jiān)控，發(fā)現(xiàn)流量最大的內(nèi)網(wǎng)/外網(wǎng)主機(jī)，分析網(wǎng)絡(luò)中是否存在攻擊、病毒、異常流量等安全隱患。智能預(yù)警：根據(jù)網(wǎng)絡(luò)與業(yè)務(wù)系統(tǒng)的健康基準(zhǔn)，設(shè)置各種針對(duì)業(yè)務(wù)系統(tǒng)的性能與安全預(yù)警，主動(dòng)的發(fā)現(xiàn)問(wèn)題。

設(shè)備部署部署方式采用端口鏡像（Monitor）旁路方式接入（不會(huì)影響原有網(wǎng)絡(luò)與應(yīng)用結(jié)構(gòu)）部署拓?fù)鋱D測(cè)試設(shè)備 本次測(cè)試采用的設(shè)備為科來(lái)網(wǎng)絡(luò)回溯分析服務(wù)器RAS3014ST，RAS3000系列產(chǎn)品針對(duì)大、中型企業(yè)網(wǎng)絡(luò)，RAS3000提供了高達(dá)1000Mbps流量的線速捕獲，采用RAID5/RAID6存儲(chǔ)技術(shù)，存儲(chǔ)容量最高可達(dá)16TB，冗余電源，可熱插拔驅(qū)動(dòng)器，提供雙口RJ45及雙口SFP數(shù)據(jù)采集網(wǎng)卡。硬件參數(shù)指標(biāo)：捕獲性能：2000Mbps流量實(shí)時(shí)捕獲管理配置口：雙口RJ45Ethernet數(shù)據(jù)采集口：雙口千兆R(shí)J45/雙口千兆SFP數(shù)據(jù)存儲(chǔ)性能：2000MbpsRAID模式：RAID5/RAID6硬盤(pán)：8×2TSATA2

網(wǎng)絡(luò)流量可視化監(jiān)控及異常事件回溯網(wǎng)絡(luò)流量可視化監(jiān)控流量負(fù)載監(jiān)控：深圳超算外網(wǎng)流量主要集中在上班時(shí)間的平均流量持續(xù)在200Mbps左右，偶爾也有些突發(fā)，但是突發(fā)流量不是很明顯，大概在300Mbps左右，可以通過(guò)流量回溯，追蹤突發(fā)的源頭，從而判斷是否為異常，下圖為10天的流量趨勢(shì)圖。十天流量趨勢(shì)圖一天流量趨勢(shì)圖網(wǎng)絡(luò)流量實(shí)時(shí)可視化監(jiān)控：通過(guò)對(duì)數(shù)據(jù)包進(jìn)行7層的深度檢查，我們可以掌握網(wǎng)絡(luò)實(shí)時(shí)監(jiān)控狀態(tài)：流量負(fù)載及趨勢(shì)變化：流量大小、數(shù)據(jù)包速率及TCP連接等健康指標(biāo)；TOP網(wǎng)段監(jiān)控：掌握是哪些部門(mén)、各網(wǎng)點(diǎn)在訪問(wèn)系統(tǒng)狀況；TOP應(yīng)用監(jiān)控：掌握哪些業(yè)務(wù)系統(tǒng)使用頻率高、是否存在非業(yè)務(wù)流量；TOP主機(jī)：掌握哪些用戶(hù)流量最大，及時(shí)發(fā)現(xiàn)異?？蛻?hù)端；實(shí)時(shí)預(yù)警：及時(shí)掌握網(wǎng)絡(luò)突發(fā)、攻擊、網(wǎng)絡(luò)及應(yīng)用時(shí)延下降、應(yīng)用訪問(wèn)失敗等異常狀況： 這些統(tǒng)計(jì)數(shù)據(jù)及通信數(shù)據(jù)包也會(huì)被記錄在回溯分析系統(tǒng)中，這樣對(duì)于過(guò)去發(fā)生的異常事件，我們也可以通過(guò)回溯挖掘分析。異常事件一：流量突發(fā)分析突發(fā)流量回溯：2015/12/711:21:00-11:42:00的時(shí)間段出現(xiàn)一次流量突發(fā)，回溯到該時(shí)間段我們發(fā)現(xiàn)，突發(fā)持續(xù)了21分鐘左右，平均流量超過(guò)400Mbps,主要應(yīng)用為“未知UDP應(yīng)用”，總字節(jié)數(shù)為21.96GB，主要的IP地址為：4和52：對(duì)其流量深入挖掘，發(fā)現(xiàn)為IP:52向IP:4的443端口發(fā)送了10GB以上的流量。異常事件二：服務(wù)器主動(dòng)外聯(lián)TCP建立連接時(shí)，客戶(hù)端會(huì)發(fā)一個(gè)“同步請(qǐng)求包”，服務(wù)器回應(yīng)一個(gè)“同步確認(rèn)包”，正常情況下，這兩個(gè)參數(shù)應(yīng)該是一致。但測(cè)試時(shí)間段一直發(fā)現(xiàn)一臺(tái)服務(wù)器IP:65（土地房產(chǎn)交易服務(wù)器）向大量的客戶(hù)端發(fā)起建立連接，而且還發(fā)送了大量的TCP重置包。如下圖所示。繼續(xù)深入挖掘其通訊行為，發(fā)現(xiàn)在20分鐘發(fā)起的TCP連接數(shù)超過(guò)50萬(wàn)條，其中還有一個(gè)會(huì)話(huà)是建立成功的，并且和建立的會(huì)話(huà)的IP：4屬于北美地區(qū)的IP。對(duì)其數(shù)據(jù)流重組可以很清晰的看出，IP:65（土地房產(chǎn)交易服務(wù)器）主動(dòng)向境外IP：4發(fā)起建立連接，境外IP響應(yīng)其建立連接請(qǐng)求，后續(xù)土地房產(chǎn)交易服務(wù)器發(fā)起的數(shù)據(jù)請(qǐng)求。數(shù)據(jù)流解碼可以看出以下為土地房產(chǎn)交易服務(wù)器發(fā)起的數(shù)據(jù)請(qǐng)求內(nèi)容。下面境外IP響應(yīng)地房產(chǎn)交易服務(wù)器的內(nèi)容解碼。通過(guò)通訊流可以看出其通訊規(guī)律主要是IP:65（土地房產(chǎn)交易服務(wù)器）發(fā)起了異常的交易請(qǐng)求，然后境外IP會(huì)響應(yīng)一大堆異常的通訊內(nèi)容。通過(guò)其會(huì)話(huà)的持續(xù)時(shí)間發(fā)現(xiàn)，該會(huì)話(huà)從凌晨建立起連接，到第二天早上九點(diǎn)多都一直保持著，該行為也非常不正常。通過(guò)以上的數(shù)據(jù)行為分析，土地房產(chǎn)交易服務(wù)器應(yīng)該成為肉雞，主要受控于境外IP：4。由土地房產(chǎn)交易服務(wù)器先主動(dòng)向境外服務(wù)器發(fā)起連接，境外再發(fā)起一些惡意程序給土地房產(chǎn)交易服務(wù)器，由其再向其他IP發(fā)起攻擊行為。建議：盡快對(duì)土地房產(chǎn)交易服務(wù)器進(jìn)行病毒查殺。異常事件三：異常TCP連接行為T(mén)CP建立連接時(shí)，客戶(hù)端會(huì)發(fā)一個(gè)“同步請(qǐng)求包”，服務(wù)器回應(yīng)一個(gè)“同步確認(rèn)包”，正常情況下，這兩個(gè)參數(shù)應(yīng)該是一致。在測(cè)試期間發(fā)現(xiàn)IP:1通過(guò)隨機(jī)端口一直向IP:01的9090端口一直發(fā)起連接請(qǐng)求，但I(xiàn)P:01并沒(méi)有響應(yīng)。單獨(dú)把IP:IP:01的流量趨勢(shì)及與其通訊的IP提取出來(lái)分析，發(fā)現(xiàn)其流量趨勢(shì)很有規(guī)律一直保持不變，和它通訊的IP有46個(gè)，并且這些IP都是發(fā)起TCP連接包（同步包數(shù)基本一致，將近3000個(gè)），服務(wù)器都沒(méi)有響應(yīng)。對(duì)某個(gè)IP的數(shù)據(jù)流重組發(fā)現(xiàn)，發(fā)起連接請(qǐng)求的IP其請(qǐng)求的連接頻率非常高，而且都是毫秒級(jí)的發(fā)起連接請(qǐng)求。其中所有和IP:02的行為也是一樣。通過(guò)以上的行為分析發(fā)現(xiàn)，所有發(fā)起和IP:01和02進(jìn)行連接的終端電腦，應(yīng)該都是安裝了某種應(yīng)用的客戶(hù)端程序，應(yīng)該是IP:01和02之前提供的某種服務(wù)，現(xiàn)在已經(jīng)停止。但是終端電腦的策略沒(méi)有調(diào)整過(guò)來(lái)，導(dǎo)致出現(xiàn)了以上的現(xiàn)象。影響：以上行為的影響主要是：1、網(wǎng)絡(luò)里面存在大量沒(méi)用流量，占用網(wǎng)絡(luò)帶寬；2、大量的連接請(qǐng)求數(shù)據(jù)包也會(huì)影響網(wǎng)絡(luò)設(shè)備和安全設(shè)備的性能，從而影響整體網(wǎng)絡(luò)的性能。建議：確認(rèn)IP:01和02如果已經(jīng)不再提供某種應(yīng)用服務(wù)器，可以調(diào)整終端電腦的客戶(hù)端程序策略，或卸載客戶(hù)端程序。異常事件四：路由環(huán)路在測(cè)試期間發(fā)現(xiàn)IP:3的ICMP協(xié)議流量很大，通過(guò)其流量趨勢(shì)可以看出，每秒的流量非常不大，但是流量非常平穩(wěn)。發(fā)現(xiàn)主要就是IP:和IP:和其通訊的ICMP流量。數(shù)據(jù)包下載分析，通過(guò)我們的專(zhuān)家診斷觸發(fā)了IPTTL太小診斷。深入分析發(fā)現(xiàn)IP:3向IP:發(fā)起ICMP請(qǐng)求數(shù)據(jù)包，但該數(shù)據(jù)包在通訊過(guò)程中其TTL值一直減到1，而且是從251一直減到1。數(shù)據(jù)包TTL值減到1后該數(shù)據(jù)包就丟棄，以上行為主要是由于路由環(huán)路導(dǎo)致的，由于路由環(huán)路一個(gè)數(shù)據(jù)就會(huì)在以上兩IP的網(wǎng)絡(luò)間不斷來(lái)回的傳輸251次，又剛好IP:3和IP:間存在的心跳包，就會(huì)不定時(shí)發(fā)起ICMP包確認(rèn)對(duì)方的存在，這樣一來(lái)就會(huì)導(dǎo)致ICMP包在網(wǎng)絡(luò)里面大量存在。建議：盡快調(diào)整路由策略，排除網(wǎng)絡(luò)環(huán)路。異常事件五：數(shù)據(jù)泄露測(cè)試期間發(fā)現(xiàn)境外很多IP都能連接IP:7(深圳人民醫(yī)院)的3389端口，而且都能建立成功并傳輸數(shù)據(jù)。如下為越南IP:24通過(guò)隨機(jī)端口一直能與IP:7(深圳人民醫(yī)院)的3389端口建立連接。下面是更多的境外IP與其建立連接。數(shù)據(jù)包解碼深入分析。發(fā)現(xiàn)境外IP建立連接后，通過(guò)默認(rèn)的管理員賬號(hào)administrator都能登陸人民醫(yī)院服務(wù)器。后續(xù)還看到人民醫(yī)院服務(wù)器向境外IP發(fā)送大量的數(shù)據(jù)。建議：加強(qiáng)對(duì)該服務(wù)器3389端口的管理，可以關(guān)閉該端口，或者對(duì)訪問(wèn)其端口的權(quán)限做控制，以防止數(shù)據(jù)泄露。業(yè)務(wù)與分支機(jī)構(gòu)流量梳理業(yè)務(wù)流量梳理挖掘任意歷史流量最大的主機(jī)，如過(guò)去24小時(shí)最大的主機(jī)流量：下一步，可以通過(guò)“源目標(biāo)IP+服務(wù)端口號(hào)”、URL及URL子目錄等方式識(shí)別網(wǎng)絡(luò)中的各種業(yè)務(wù)流量，如訪問(wèn)服務(wù)器“65”歸屬為“土地房產(chǎn)交易”服務(wù)器： 進(jìn)行梳理后，便能獲取網(wǎng)絡(luò)中的各種業(yè)務(wù)流量占比，如一天中，流量最大的業(yè)務(wù)系統(tǒng)分別為：對(duì)于未梳理的流量，可以快速的定位到流量的源目標(biāo)通信源頭，從而快速的判斷其是否為異常流量，例如：ICMP應(yīng)用流量較大。分支機(jī)構(gòu)流量梳理可通過(guò)IP地址，IP地址段等方式對(duì)各分支機(jī)構(gòu)進(jìn)行定義，例如：名稱(chēng)“測(cè)試網(wǎng)段”，IP地址子網(wǎng)為：/24。通過(guò)分支機(jī)構(gòu)定義后即可清晰看到每條鏈路每天的分支機(jī)構(gòu)流量排名，或結(jié)合上面的定義的業(yè)務(wù)應(yīng)用，也可以清晰看到每個(gè)業(yè)務(wù)系統(tǒng)每天主要都是哪些分支機(jī)構(gòu)在訪問(wèn)。如果全部把網(wǎng)段都定義上，可以更加直觀的看到每個(gè)網(wǎng)段的流量排名。通過(guò)對(duì)分支機(jī)構(gòu)的流量梳理，可以為分支機(jī)構(gòu)的流量擴(kuò)容或業(yè)務(wù)策略調(diào)整提供很好參考依據(jù)。例如：“測(cè)試網(wǎng)段”的總字節(jié)數(shù)，總利用率，還有進(jìn)網(wǎng)利用率，出網(wǎng)利用率等。還可以深入挖掘網(wǎng)段里面具體的IP流量成分。如下圖：“WEB服務(wù)器”流量與性能監(jiān)控業(yè)務(wù)性能監(jiān)控原理：將TCP會(huì)話(huà)數(shù)據(jù)流重組，便可通過(guò)時(shí)延、丟包、重傳等參數(shù)判斷服務(wù)器與網(wǎng)絡(luò)的性能。例如：通過(guò)三次握手，可以判斷客戶(hù)端網(wǎng)絡(luò)時(shí)延與服務(wù)器端網(wǎng)絡(luò)時(shí)延；對(duì)與客戶(hù)端的每一次請(qǐng)求，我們都可以計(jì)算服務(wù)器花了多長(zhǎng)時(shí)間查詢(xún)、多長(zhǎng)時(shí)間響應(yīng)：

業(yè)務(wù)訪問(wèn)量分析流量負(fù)載：“WEB服務(wù)器”流量負(fù)載峰值出現(xiàn)不高，大概在5Mbps左右。下面為所有客戶(hù)端訪問(wèn)“WEB服務(wù)器”的連接效率。接下來(lái)對(duì)訪問(wèn)不成功的會(huì)話(huà)進(jìn)行升入分析。對(duì)其會(huì)話(huà)流進(jìn)行深入分析，可以看到客戶(hù)端發(fā)起SYN包，服務(wù)器也回應(yīng)了SYNACK，而且還重復(fù)回復(fù)多個(gè)包，客戶(hù)單都沒(méi)有響應(yīng)，應(yīng)該是該數(shù)據(jù)包已經(jīng)在丟掉了。導(dǎo)致客戶(hù)端重新再發(fā)起連接。該現(xiàn)象主要是由于互聯(lián)網(wǎng)鏈路不穩(wěn)定導(dǎo)致。最慢語(yǔ)句追蹤響應(yīng)時(shí)間監(jiān)控：WEB服務(wù)器部分請(qǐng)求最大響應(yīng)時(shí)間為1185.21毫秒，這明顯會(huì)影響到用戶(hù)的體驗(yàn)：對(duì)其數(shù)據(jù)流重組發(fā)現(xiàn)，網(wǎng)絡(luò)延時(shí)很小，只有29毫秒的網(wǎng)絡(luò)延時(shí)，但是對(duì)于一個(gè)交易請(qǐng)求時(shí)延達(dá)到1185.21毫秒，請(qǐng)求的語(yǔ)句GET/thread-609960-1-21.htmlHTTP/1.1。網(wǎng)絡(luò)質(zhì)量監(jiān)控“三次握手時(shí)間”：相當(dāng)于服務(wù)器和客戶(hù)端ping時(shí)間，可用于衡量服務(wù)器到客戶(hù)端的網(wǎng)絡(luò)時(shí)延；“三次握手客戶(hù)端RTT”：可用于衡量監(jiān)控點(diǎn)到客戶(hù)端的網(wǎng)絡(luò)時(shí)延；“三次握手服務(wù)器RTT”：可用于衡量監(jiān)控點(diǎn)到服務(wù)器的網(wǎng)絡(luò)時(shí)延； 訪問(wèn)“WEB服務(wù)器”的客戶(hù)端中，網(wǎng)絡(luò)時(shí)延超過(guò)1000毫秒客戶(hù)端數(shù)量很多，為了更精確確認(rèn)延時(shí)大的范圍，我們還有基于多種條件篩選，例如：可以按地理位置篩選，看延時(shí)大是否都屬于某個(gè)區(qū)域，這說(shuō)明為了影響業(yè)務(wù)體驗(yàn)的第一個(gè)瓶頸主要在于某個(gè)區(qū)域的客戶(hù)端接入的網(wǎng)絡(luò)質(zhì)量：服務(wù)器端的延時(shí)都非常小，只在2毫秒之內(nèi)，說(shuō)明服務(wù)器端的網(wǎng)絡(luò)質(zhì)量挺好。對(duì)某個(gè)會(huì)話(huà)客戶(hù)端延時(shí)大的數(shù)據(jù)流進(jìn)行重組，可以發(fā)現(xiàn)出現(xiàn)延時(shí)大，主要是由于客戶(hù)端的網(wǎng)絡(luò)鏈路不穩(wěn)定導(dǎo)致的。客戶(hù)端發(fā)起的連接請(qǐng)求，服務(wù)器已經(jīng)很快響應(yīng)，并在一定時(shí)間內(nèi)發(fā)起多個(gè)數(shù)據(jù)包確認(rèn)，但客戶(hù)單沒(méi)有回應(yīng)。接下來(lái)客戶(hù)端再發(fā)起連接請(qǐng)求。通過(guò)以上的分析甘肅區(qū)域（移動(dòng)用戶(hù)）網(wǎng)絡(luò)延時(shí)較大，這樣會(huì)直接影響客戶(hù)端訪問(wèn)業(yè)務(wù)系統(tǒng)的體驗(yàn)效果。告警設(shè)置服務(wù)器與網(wǎng)絡(luò)時(shí)延預(yù)警 我們可以根據(jù)三次握手響應(yīng)時(shí)延、丟包問(wèn)題去發(fā)現(xiàn)網(wǎng)絡(luò)問(wèn)題 如“客戶(hù)端網(wǎng)絡(luò)時(shí)延異常”預(yù)警：“三次握手平均時(shí)延超過(guò)100毫秒”同時(shí)“三次握手平均客戶(hù)端時(shí)延超過(guò)100毫秒”； 出發(fā)該預(yù)警的客戶(hù)端，肯定是網(wǎng)絡(luò)質(zhì)量除了問(wèn)題 服務(wù)器“響應(yīng)質(zhì)量下降”預(yù)警：通過(guò)這段時(shí)間的監(jiān)控我們了解到“WEB服務(wù)器”平均響應(yīng)時(shí)延不超過(guò)200ms，那么如果“TCP交易數(shù)量”超過(guò)10000pps、“平均響應(yīng)時(shí)延”超過(guò)1000毫秒，則說(shuō)明由于業(yè)務(wù)量上升，服務(wù)器的質(zhì)量嚴(yán)重下降： 隨著我們對(duì)業(yè)務(wù)系統(tǒng)的深入了解，我們可以設(shè)置更多這樣有針對(duì)性的預(yù)警，及時(shí)發(fā)現(xiàn)業(yè)務(wù)體驗(yàn)的變化，快速的定制應(yīng)對(duì)的策略。流量突發(fā)預(yù)警 測(cè)試的過(guò)程中，我們梳理出生產(chǎn)業(yè)務(wù)流量，如果某天出現(xiàn)“未知TCP流量”突發(fā)，很可能就是網(wǎng)絡(luò)異常：

主機(jī)掃描預(yù)警設(shè)置目的：發(fā)現(xiàn)針對(duì)網(wǎng)段特定服務(wù)端口的主機(jī)掃描行為，這種行為會(huì)短時(shí)間內(nèi)向某網(wǎng)段所有IP的特定TCP端口發(fā)起連接請(qǐng)求，一般每秒會(huì)超過(guò)100個(gè)SYN包，但不會(huì)持續(xù)很長(zhǎng)時(shí)間。設(shè)置方法：這是一個(gè)高級(jí)警報(bào)設(shè)置，類(lèi)型為“任意應(yīng)用警報(bào)”，觸發(fā)條件為“每秒數(shù)據(jù)包數(shù)>=100”AND“平均包長(zhǎng)<72”，觸發(fā)時(shí)間為1秒

TCP異常通信預(yù)警設(shè)置目的：及時(shí)發(fā)現(xiàn)發(fā)起/受到端口掃描或SYN攻擊的異常IP地址。設(shè)置方法：高級(jí)警報(bào)設(shè)置，類(lèi)型為“任意IP警報(bào)”，觸發(fā)條件為（“每秒發(fā)送TCP同步包>=50”AND“接收TCP同步確認(rèn)包<15”）OR（“每秒接收TCP同步包>=50”AND“發(fā)送TCP同步確認(rèn)包<15”），觸發(fā)時(shí)間為1秒。補(bǔ)充說(shuō)明：這個(gè)警報(bào)和“主機(jī)掃描”警報(bào)配合可以快速定位發(fā)起主機(jī)掃描的IP地址，同一時(shí)間發(fā)生主機(jī)掃描和TCP通信異常警報(bào)，基本可以判斷是TCP通信異常的IP地址發(fā)起的主機(jī)掃描；一些P2P應(yīng)用有時(shí)會(huì)觸發(fā)這個(gè)警報(bào)。

CIFS蠕蟲(chóng)攻擊告警設(shè)置目的：網(wǎng)絡(luò)中存在利用CIFS漏洞傳播的蠕蟲(chóng)時(shí)，利用此警報(bào)及時(shí)發(fā)現(xiàn)。設(shè)置方法：簡(jiǎn)單警報(bào)設(shè)置，類(lèi)型為“單個(gè)應(yīng)用警報(bào)”，應(yīng)用選則“CIFS”，觸發(fā)條件為“平均包長(zhǎng)<128”，觸發(fā)時(shí)間為5秒。補(bǔ)充說(shuō)明：這個(gè)警報(bào)只適用于監(jiān)控互聯(lián)網(wǎng)出口鏈路的情況，因?yàn)榛ヂ?lián)網(wǎng)出口鏈路上一般情況下CIFS應(yīng)用很少；如果是CIFS應(yīng)用流量較大的鏈路，大量文件共享的大包會(huì)拉高CIFS應(yīng)用的平均包長(zhǎng)，導(dǎo)致警報(bào)失效。

DDOS攻擊預(yù)警SYNFlood攻擊預(yù)警設(shè)置目的：當(dāng)某IP發(fā)起SYNFlood攻擊時(shí)報(bào)警。設(shè)置方法：高級(jí)警報(bào)設(shè)置，類(lèi)型為“任意IP警報(bào)”，觸發(fā)條件為“每秒發(fā)送TCP同步包>=300”AND“接收TCP同步確認(rèn)包<15”，觸發(fā)時(shí)間為1秒。補(bǔ)充說(shuō)明：這個(gè)警報(bào)與“TCP通信異?！本瘓?bào)相比，可以更精確的報(bào)警SYNFlood攻擊行為。DoS攻擊預(yù)警