第7章應用層測試和故障診斷7.1應用層測試相關知識1．數據格式（1）原始數據原始數據即通過測試工具捕獲的網絡中實際傳送的數據分組，并存儲成專用的文件格式，如pcap或cap格式。（2）流格式數據借助于網絡設備，將數據分組形成流記錄，每條流記錄包含源地址或目標地址、源端口號或目標端口號、端口標簽或時間標簽等信息。網絡設備將流數據發(fā)送至專用分析測試平臺進行數據存儲。流存儲節(jié)省了大量數據內容信息，大大壓縮了原始數據量。2．應用協議分析中的關鍵技術（1）捕包（2）線速存儲（3）海量存儲（4）流量分類（5）協議和應用（6）異常事件的可視性（7）多級架構（8）點對點方式3．常用應用介紹（1）電子郵件1）SMTP三個基本路徑。①MUA（MailUserAgent，郵件用戶代理）通過SMTP將郵件發(fā)送給本地MTA（MailTransferAgent，郵件傳輸代理）（位于郵件服務器中）。②本地MTA查詢所需投遞域名的MX（MailExchanger）記錄，如果位于本地服務器中，則傳遞給本郵件服務器的MDA（MailDeliveryAgent，郵件投遞代理）；如果在異地，則通過SMTP將郵件發(fā)送到對端MTA。③對端MUA通過POP3將郵件接收到本地MUA。常用的SMTP命令和ESMTP命令命

令描

述HELO向接收方標記發(fā)送方MAIL初始化郵件傳輸RCPT標記郵件接收方DATA聲明郵件數據開始（消息的主體）RSET中止當前的傳輸VRFY用于確認接收用戶NOOP無操作QUIT關閉連接SEND使接收主機知道消息必須送到另一個終端命

令描

述EHLOHELO的擴展8BITMIME指明8位MIME傳輸SIZE限制消息的長度2）POP3POP（PostOfficeProtocol，郵局協議）是適用于客戶-服務器結構的脫機模型的電子郵件協議，目前已發(fā)展到第3版（POP3）。POP3的工作過程如下。①服務器通過偵聽TCP端口110開始POP3服務，當客戶端主機需要使用服務時，與服務器主機建立TCP連接。②連接建立后，POP3發(fā)送確認消息。③客戶端和POP3服務器相互交換命令和響應，此過程持續(xù)到連接終止。命

令描

述USER輸入用戶名PASS此命令若成功，將導致狀態(tài)轉換APOPDigest是MD5消息摘要STAT請求服務器發(fā)回關于郵箱的統(tǒng)計資料UIDL返回郵件的唯一標識符LIST返回郵件數量和每個郵件的大小RETR返回由參數標識的郵件的全部文本DELE服務器將由參數標識的郵件標記為刪除RSET服務器將重置所有標記為刪除的郵件TOP服務器將返回由參數標識的郵件前n行內容NOOP服務器返回一個肯定的響應QUIT刪除標記的郵件（3）超文本傳輸協議目前使用的最為廣泛的應用層協議是HTTP（超文本傳輸協議），其將HTML（超文本置標語言）文檔從Web服務器傳送到Web瀏覽器，是一種基于客戶-服務器模式、面向事務的應用層協議，可以傳送任意類型的數據對象。典型的HTTP事務處理過程如下：①客戶端和服務器建立連接；②客戶端向服務器提出請求；③服務器接受請求，并根據請求返回相應的文件作為應答；④客戶端與服務器關閉連接。7.2應用層故障分類應用層故障的原因非常復雜，甚至有下層傳遞給應用層的故障。應用層故障大致可分為兩類：①可用性類故障，即不能訪問特定的服務；②性能類故障，如訪問緩慢，時斷時續(xù)等現象。7.2.1應用可用性類故障應用層測試和故障診斷時一般按以下步驟進行：①應用程序的配置；②進程是否異常（如處于高負荷狀態(tài)導致無法及時響應）；③應用程序所需相關服務是否正常啟用。1．網絡基本服務DNS故障借助于Windows操作系統(tǒng)中自帶的Nslookup工具可以查詢主機名、MX記錄和NS記錄等。2．郵件認證故障SMTP在發(fā)送郵件時經常遇到不能通過認證的情況，除了密碼錯誤外，主要原因是認證方式配置不匹配。ESMTP有三個認證方式：CRAM-MD5、PLAIN和LOGIN。不同的郵件服務器要求的認證方式可能不同，如果配置錯誤結果就會導致認證不通過。圖（a）為運用Wireshark協議分析軟件的TCP流功能還原指令流，圖（a）為成功認證的情形，圖（b）為LOGIN方式時錯誤口令的情形。7.2.2應用性能類故障以下列舉5種常見的應用性能故障。1．代碼效率問題2．分層服務環(huán)境中的訪問故障對采用分層架構的網絡進行故障排查是極其困難的，除非對所有服務器的流量進行監(jiān)控。NPM、APM和BPM是三種不完全相同的應用分析方式。APM采用Agent技術，可以覆蓋應用節(jié)點；NPM采用探針部署，可以覆蓋網絡節(jié)點；而BPM并不是前兩者相加，因為它采取的方式是，以包的層面分析業(yè)務數據，覆蓋應用節(jié)點和網絡節(jié)點，實現網絡與應用的關聯，以業(yè)務為導向實現對全鏈路性能的監(jiān)控。

NetSensor業(yè)務應用拓撲結構NetSensor負載量分析NetSensor延時（時延）和重傳分析NetSensor網上銀行詳單3．資源用盡或匱乏導致訪問緩慢服務器資源不足會導致訪問性能下降，這類情況也可以借助NetFlow協議軟件采集的數據和統(tǒng)計信息進行應用層分析4．網絡設計缺陷導致服務器訪問緩慢在此類網絡中，網管人員需要監(jiān)控不同區(qū)域內網絡的流量，監(jiān)控每個VLAN內的流量和協議分布，必要時在防火墻上添加策略，限制某些網段或某些應用的訪問，還必須監(jiān)測上行鏈路。5．病毒攻擊導致整個網絡應用變慢在網絡主干鏈路（特別是與外部相連的廣域鏈路）中，流量的組成情況異常復雜，需要進行高粒度分析，而NetFlow軟件非常適合此類故障中的分析應用。從OutboundSymantec流量觀察，測試期間，流量也是維持在210kbps左右，但使用者只有一個IP地址（91），而該地址沒有分配給服務器，故判斷該機器有可能中毒了。7.3應用層的測試和故障診斷7.3.1故障分析和排除環(huán)境中的測試1．部署方式進行分析前需要了解被測系統(tǒng)的大致情況，以確定如何部署測試工具和以何種方式進行分析。一般的Web訪問可分為以下4個步驟。①DNS查找解析：客戶端首先查找DNS服務器，然后通過DNS獲取訪問網站的IP地址信息，DNS將信息返回給客戶端。②TCP連接建立：客戶端和Web服務器建立連接。③服務器響應：服務器在接收到客戶端請求后，通常會先運行處理后再傳送數據。④數據傳送：服務器將數據傳送給客戶端。在進行Web應用類故障分析時，要特別注意服務群的訪問流程（又稱為分層應用），如果采用的是多級架構的模式，由于Web應用是前端應用，后端還有其他服務器（如認證服務器或數據庫服務器等），因此在進行分析時，需要同時捕獲其他服務器的流量，合并后進行協同分析。另外，需要注意Web應用路徑中相關設備的配置，如采用Cache（緩存）技術、鏡像服務器技術和CDN（內容分發(fā)網絡）技術等。在這類環(huán)境中測試時，需要在多個網絡路徑上部署探針以捕獲數據。4個分析位置，對應4種不同的情形①分析位置1：分析重點是客戶端是否存在問題，如DNS響應請求慢、客戶端延時是否合理等。②分析位置2：分析重點是服務器是否存在問題，區(qū)分問題出在服務器還是網絡中。③分析位置3：分析重點是數據包途經設備后是否存在內容變化或者延時變化。④分析位置4：分析重點是多級架構服務器中的數據流訪問是否有異常。2．分析方法一般協議分析過程包括三個階段：實時監(jiān)控、捕獲數據和事后分析。設備接入被測系統(tǒng)后，開始進行實時監(jiān)控；在需要時進行捕包；捕包完成后，啟用數據分析顯示功能。分析Web應用類故障需要對網頁的加載過程逐步進行詳細分析。在DNS查詢并返回結果后，客戶端和服務器會進行3次握手建立TCP連接。在連接建立后，客戶端會向服務器請求數據，一般HTTP服務器會向客戶端回應其相應的HTTP報頭和數據，當數據傳輸完畢后，客戶端發(fā)送FIN關閉連接。假設測試儀接在客戶端（分析位置1）通過在分析位置1和分析位置2部署測試儀，可以分析Web應用訪問緩慢的原因。①如果客戶端與服務器距離太遠，將導致3次握手的時間過長，兩者之間的路由器增多，數據包經過的路徑增長會導致訪問速度慢。②服務器響應時間過長。某些操作（如請求）中存在過多的頁面腳本或圖片等，會造成響應時間的增加，導致訪問速度變慢。對比常態(tài)和故障時服務器的耗時比例，可以判斷是否由于服務器問題而導致故障。如果測試儀處在分析位置3（相當于在網絡傳輸路徑上設置監(jiān)控點）。在合并后的視圖中顯示了同一個數據幀經過不同網絡設備傳輸后的情況，通過對比可以獲知數據包有沒有被改變和延時等信息。如果測試儀處在分析位置4（相當于在網絡服務群中的傳輸路徑上設置監(jiān)控點）則可以監(jiān)控經過不同服務器后的數據包變化情況。在分析時可以進行分層查看，如圖7.31所示，將用戶訪問分為三層，每層實現不同的功能，并記錄時間信息。這樣，多級架構網絡中的應用訪問就變得可視了，可以清楚地了解每層中所消耗的時間。導致服務器變慢的因素可能包括：①

服務器資源不夠，導致性能下降；②

服務器在等待后續(xù)服務器的響應；③

服務器處于其他基礎應用服務等待中延時發(fā)生于第一層延時發(fā)生于第二層延時發(fā)生于第三層區(qū)別于測試儀處在分析位置3的情況，采用多級架構服務器時，數據包的對應關系不復存在。如果客戶端請求Web服務器，而Web服務器繼而訪問數據庫服務器，那么客戶端同Web服務器之間的數據以及Web服務器和數據庫服務器之間的數據通常只有時間上的關聯，內容上的關聯性可能很小。分析時需要將流程相關服務器進行手動關聯，指定時間點后展現在同一視圖中在故障定位時，如果已經獲得了引起延時的位置，可以分析具體的訪問流程。如果是因為某條數據庫查詢語句導致的，則有以下典型的可能性：①數據庫檢索對象為全局而非某一字段；②被查詢內容沒有建立索引；③數據庫系統(tǒng)優(yōu)化不夠，如重復提交等。7.3.2監(jiān)控網絡運行場景中的測試1．部署方式應用層的流量監(jiān)控比網絡層的要復雜得多，其主要目的如下。①分析指定應用的響應時間和趨勢，以及應用的組成和分布。②分析指定的事務過程，可能涉及不同的應用協議并同時進行分析。③分析行為和過程，評估訪問效率。常用的應用層流量監(jiān)控基于以下三種方式。①SNMP分析（基于RMON、RMONII提供應用層的相關信息）：是端口級的分析。②NetFlow分析（基于流）：是FDR和IP級分析。③

探針分析（基于原始數據）：是應用協議和應用級分析。（1）NetFlow分析NetFlow架構如圖7.37所示。其中，NetFlow分析器和NetFlow源設備是NetFlow架構中的兩個關鍵因素。判斷Flow記錄是否到期的4個原則如下。①當TCP連接完成（FIN）或被重置（RST）時，Flow記錄將終止。②當緩存滿時，刪除多余的Flow記錄。③如果Flow記錄在一段時間內均為Idle狀態(tài)，則認為該Flow超時，并將其從緩存中移除。④將長時間存在的Flow記錄從緩存中移除。在默認情況下，Flow記錄的生存時間不允許超過30min。路由器每秒檢查一次緩存，若Flow記錄的不活動時間超過15s或者Flow記錄的活動時間超過30min，都將造成Flow記錄在緩存中超時。具體時間可以根據需要進行配置。（2）探針分析為了從更深層次上了解網絡，通常采用將探針部署在網絡不同位置的方式，以獲得原始數據。探針是泛指的概念，有Box架構或Server架構之分，有基于廣域網和局域網之分，有基于本地存儲數據和異地存儲數據之分，有基于串行接入和基于旁路接入之分。2．分析方法（1）NetFlow分析①基于端口的網絡流量監(jiān)控②基于應用的網絡流量監(jiān)控（2）探針分析7.3.3性能評估場景中的測試1．部署方式應用層測試中，性能測試是非常重要的測試內容，分為應用性能仿真測試和功能仿真測試。應用層的性能測試是主動測試方式，可以根據測試需要定制各類仿真流量。此時，被測網絡被視作黑盒，在其中注入不同的應用流，以獲得在不同條件下被測網絡對于各類激勵流量的響應情況。在測試部署時，通過TrafficAgent（TA，流量代理）加TestCenter（TC，測試中心）的方式組成測試系統(tǒng)TA可以是網絡設備，也可以是PC機或者服務器、測試工具等。TA負責執(zhí)行測試過程并提交測試數據，TC負責下發(fā)測試要求并統(tǒng)計TA提交的數據。復雜的應用仿真系統(tǒng)在TA和TC的基礎上還會擴展出UI（UserInterface，用戶接口）、腳本代理（免安裝TA）等。電信運營商網絡的主動應用性能仿真測試系統(tǒng)示意圖，TA分布在不同的數據中心、分支機構、小型分支、辦公室等處，位于總部數據中心的TC則負責下發(fā)和收集測試數據，并進行匯總，獲得全網的主動測試數據。2．分析方法應用性能測試主要有三種方法。（1）端到端的End-to-End測試

（2）端到端的End-through-End測試（3）端到端的Client-Server測試7.4應用層的測試和故障診斷案例7.4.1典型案例1：大型數據中心的網絡訪問異常狀況分析NTM捕獲的數據如圖7.70所示，系統(tǒng)分析過程如下。（1）查看DLC低層情況①查看廣播包：本例中是正常的。②查看流量趨勢：本例中無明顯異常（如流量突發(fā)或趨勢變大）。（2）查看網絡層數據觀察流量最大的188和186服務器的數據流，分別如圖7.71和圖7.72所示。如果有以往的數據（如一個月前的相應數據），則可進行時間上的縱向比較。本例中從趨勢圖無法獲得更詳細的信息。（3）查看應用層統(tǒng)計單擊進入應用層統(tǒng)計數據顯示，如圖7.73所示，發(fā)現存在大量錯誤，主要是401未認證錯誤。特別要注意的是，這類錯誤并不一定與網絡訪問緩慢有直接關系，可能是由于代碼效率問題導致的，需要進一步細查，并做出優(yōu)化。（4）應用流分析由于本次故障現象集中表現在訪問速度慢或不能提供服務，因此對訪問188服務器的流量進行分析，如圖7.74和圖7.75所示為其中流量最大的IP地址為93的客戶端的過濾分析數據。故障狀態(tài)下服務器訪問延時數據正常工作時服務器訪問延時數據由于NTM部署于服務器前端，可以認為處于同一位置，從有關數據和解碼界面進行分析判斷，數據POST請求已經到達NTM，那么可以認為也到達了服務器端口，基本可以判斷訪問速度慢或服務不可用的主要原因來自服務器。報文到達了服務器端口，但是服務器沒有及時做出響應，需要應用服務軟件開發(fā)人員進一步確認具體原因。7.4.2典型案例2：大型數據中心的網絡流量監(jiān)控和優(yōu)化對于大型數據中心，經常需要對網絡流量趨勢進行分析，以了解網絡中的流量成分，從而根據業(yè)務進行流量優(yōu)化。①網絡流量突發(fā)嚴重，需要進行錯峰處理，做到削峰填谷。②網絡流量中存在很大的背景流量，需要給出應用整改建議，同時定位耗用帶寬大戶。③關鍵網絡設備的CPU利用率居高不下，響應時間增加或不響應，需要確認原因。BPC對存在問題的系統(tǒng)發(fā)出告警，并且通過企業(yè)微信告警平臺給客戶發(fā)送微信?？蛻羰盏礁婢?，可以進行處理。BPC發(fā)出告警140和141服務器響應率低140和141服務器各項指標的曲線圖多維統(tǒng)計分析中，對異常交易類型的層層鉆取新增服務器之后，從應用層視圖明顯發(fā)現響應時間降低，響應率提高多維統(tǒng)計分析中，重要業(yè)務類型響應率恢復正常，各臺服務器響應時間和響應率也都處于正常值7.4.3典型案例3：大型數據中心復雜應用環(huán)境下的分析大型數據中心中經常需要進行多級應用架構的網絡分析，特別是當客戶端訪問緩慢或提交表單數據響應時間長時，基于多級應用架構的分析尤為重要。部署于數據中心，旁路接在交換機上即可。通過鏡像口設置將客戶端IP地址為99、Web服務器（IP地址為5）、報表服務器（IP地址為3）、數據庫服務器（IP地址為1）等數據導入測試儀。本