web服務(wù)器性能測(cè)試系統(tǒng)的pc-w基準(zhǔn)測(cè)試技術(shù)

1被測(cè)數(shù)據(jù)的確立web服務(wù)器的性能不僅與web服務(wù)器軟件本身有關(guān)，而且與服務(wù)器硬件的設(shè)計(jì)水平和服務(wù)器操作系統(tǒng)之間也有很大關(guān)系。因此，web服務(wù)器的性能測(cè)試是一種全面的測(cè)試。目前比較流行的Web服務(wù)器測(cè)試程序有很多,如SpecWeb99和WebStone,它們的測(cè)試特征各有側(cè)重,測(cè)試指標(biāo)也有所不同.WebStone測(cè)試在給定文件集的條件下,每分鐘能獲取的頁(yè)面數(shù)目,它只考慮服務(wù)器端的峰值性能.而單個(gè)用戶關(guān)心的是服務(wù)器對(duì)他的每個(gè)請(qǐng)求的響應(yīng)時(shí)間.SpecWeb99評(píng)測(cè)服務(wù)器最多能夠支持的“順暢連接”數(shù),對(duì)用戶關(guān)心的響應(yīng)時(shí)間有一定的考慮,但并沒(méi)有給出明確的測(cè)試數(shù)據(jù).為了彌補(bǔ)以上缺陷,根據(jù)TPCW1.8標(biāo)準(zhǔn),我們?cè)O(shè)計(jì)和實(shí)現(xiàn)了TPC-W基準(zhǔn)測(cè)試系統(tǒng),它既考慮了Web服務(wù)器作為一個(gè)整體的峰值性能,又考慮了單個(gè)用戶所關(guān)心的響應(yīng)時(shí)間,選取了最能反映服務(wù)器性能的兩個(gè)主要指標(biāo):一個(gè)是WIPS(WebInteractionPerSecond),即每秒Web操作次數(shù)的平均數(shù).一次成功的Web操作包括:用戶向服務(wù)器發(fā)出一個(gè)請(qǐng)求;服務(wù)器響應(yīng)用戶的請(qǐng)求,并將用戶所需要的信息送給用戶;用戶接受服務(wù)器發(fā)來(lái)的信息.服務(wù)器每秒處理的Web操作越多,即WIPS越大,服務(wù)器的性能就越好.另一個(gè)是WIRT(WebInteractionResponseTime),即服務(wù)器對(duì)用戶每個(gè)請(qǐng)求的響應(yīng)時(shí)間.所謂響應(yīng)時(shí)間是指從客戶申請(qǐng)一個(gè)Web請(qǐng)求的第一個(gè)字節(jié)送出到客戶完全收到所請(qǐng)求信息的最后一個(gè)字節(jié)的時(shí)間.響應(yīng)時(shí)間越短,服務(wù)器性能越好.一個(gè)好的Web服務(wù)器評(píng)測(cè)軟件應(yīng)該具有哪些特征呢?首先,構(gòu)建一個(gè)好的被測(cè)系統(tǒng)(SUT,ServerUnderTest)以測(cè)量其性能;其次,有一個(gè)好的監(jiān)視和分析工具對(duì)結(jié)果進(jìn)行分析和顯示.這兩個(gè)特征正是TPC-W的優(yōu)點(diǎn).TPC-W系統(tǒng)分為兩大模塊:服務(wù)器端模塊和客戶端模塊.服務(wù)器端自動(dòng)在集群超級(jí)網(wǎng)絡(luò)服務(wù)器上建立一個(gè)模擬售書(shū)的電子商務(wù)網(wǎng)站(由網(wǎng)頁(yè)、配套的專用數(shù)據(jù)庫(kù)和動(dòng)態(tài)鏈接庫(kù)組成).數(shù)據(jù)庫(kù)的大小可變,由數(shù)據(jù)庫(kù)中ITEM表的行數(shù)決定,它可從下列幾個(gè)數(shù)字中選擇:1000、10000、100000、1000000及10000000.客戶端產(chǎn)生多線程對(duì)網(wǎng)站進(jìn)行訪問(wèn),從而測(cè)試服務(wù)器的性能并對(duì)結(jié)果進(jìn)行分析和實(shí)時(shí)顯示.整個(gè)測(cè)試系統(tǒng)由一臺(tái)用于負(fù)載平衡的LoadBalancer、N(N2)臺(tái)Web服務(wù)器和一臺(tái)用于主控的主客戶機(jī)、若干臺(tái)用于負(fù)載生成的客戶機(jī)組成,具體拓?fù)浣Y(jié)構(gòu)如圖1所示.2進(jìn)程控制和測(cè)試過(guò)程客戶端的目標(biāo)是要得到兩個(gè)指標(biāo)(WIPS、WIRT)的測(cè)量值.從客戶端往服務(wù)器發(fā)請(qǐng)求,嚴(yán)格按規(guī)定比例訪問(wèn)網(wǎng)站的各個(gè)網(wǎng)頁(yè),收集測(cè)試指標(biāo),從而得出系統(tǒng)的性能參數(shù).該軟件使用事件來(lái)同步線程.測(cè)試結(jié)束或用戶決定中途終止測(cè)試時(shí),主線程打開(kāi)事件對(duì)象Kill,輔線程檢測(cè)到事件Kill為活動(dòng)狀態(tài)時(shí),自動(dòng)結(jié)束線程.整個(gè)測(cè)試過(guò)程可以循環(huán)進(jìn)行.客戶端的工作流程如圖2所示:具體工作流程描述如下:①輸入Web站點(diǎn)地址、服務(wù)器總價(jià)格和測(cè)試模式,隨后顯示站點(diǎn)主頁(yè).②從主菜單中選擇“Start”,彈出對(duì)話框輸入測(cè)試時(shí)間和線程數(shù)等測(cè)試配置參數(shù);創(chuàng)建相應(yīng)數(shù)目的訪問(wèn)線程,并設(shè)置計(jì)時(shí)器2.③為保證一次訪問(wèn)的完整和內(nèi)存得到安全釋放,每個(gè)線程在循環(huán)開(kāi)始時(shí),先檢測(cè)事件Kill是否為活動(dòng)狀態(tài);若是,則跳出循環(huán),安全釋放連接和會(huì)話緩沖區(qū)所占用的內(nèi)存,并自動(dòng)結(jié)束線程;否則轉(zhuǎn)④.④多線程采用用戶界面線程,每一個(gè)線程實(shí)現(xiàn)對(duì)所有頁(yè)面的按比例循環(huán)訪問(wèn).在測(cè)試過(guò)程中對(duì)每個(gè)Web頁(yè)分別記錄測(cè)試數(shù)據(jù).為提高客戶端對(duì)服務(wù)器的訪問(wèn)速度,一個(gè)線程打開(kāi)一個(gè)會(huì)話,一個(gè)會(huì)話對(duì)應(yīng)一個(gè)連接,而在一個(gè)連接中可進(jìn)行多次網(wǎng)頁(yè)訪問(wèn)直到測(cè)試時(shí)間消耗完才由③來(lái)關(guān)閉連接和會(huì)話.⑤計(jì)時(shí)器2判斷測(cè)試時(shí)間是否已消耗完;若是,則清除計(jì)時(shí)器2,打開(kāi)事件對(duì)象Kill,將測(cè)試結(jié)果集中寫(xiě)入主客戶機(jī)數(shù)據(jù)庫(kù),并以表格的形式顯示出來(lái).測(cè)試指標(biāo)的計(jì)算方法在第3節(jié)中有詳細(xì)描述.⑥當(dāng)用戶選擇主菜單的“View”時(shí),彈出對(duì)話框動(dòng)態(tài)實(shí)時(shí)顯示總的Web操作次數(shù)和平均響應(yīng)時(shí)間等;計(jì)時(shí)器1負(fù)責(zé)每秒定時(shí)更新結(jié)果顯示對(duì)話框;檢測(cè)測(cè)試時(shí)間是否已消耗完,若是,則清除計(jì)時(shí)器1,關(guān)閉結(jié)果顯示對(duì)話框.⑦當(dāng)用戶選擇主菜單的“Kill”時(shí),清除計(jì)時(shí)器2,打開(kāi)事件對(duì)象Kill.需要說(shuō)明的是,為保證測(cè)試結(jié)果的精確,在開(kāi)始記錄測(cè)試數(shù)據(jù)之前要經(jīng)過(guò)一段啟動(dòng)時(shí)間(Ramp_up,通常為10分鐘),當(dāng)服務(wù)器的吞吐量和響應(yīng)時(shí)間趨于穩(wěn)定時(shí),才開(kāi)始記錄數(shù)據(jù).3網(wǎng)頁(yè)訪問(wèn)比例計(jì)算方法要測(cè)得服務(wù)器在重負(fù)載情況下的性能,一個(gè)關(guān)鍵的技術(shù)就是要真實(shí)地模擬大量用戶訪問(wèn)網(wǎng)頁(yè)的活動(dòng),利用客戶端計(jì)算機(jī)來(lái)模擬Web瀏覽器不斷向Web服務(wù)器發(fā)送請(qǐng)求.TPC-W可以最大限度地利用客戶端機(jī)器的CPU和內(nèi)存資源來(lái)增大服務(wù)器端的負(fù)載,在客戶端采用多線程的方式,可產(chǎn)生幾十或幾百個(gè)線程同時(shí)向服務(wù)器發(fā)送請(qǐng)求.為實(shí)現(xiàn)精確的按比例訪問(wèn)網(wǎng)頁(yè),TPC-W不是采取在線程級(jí)控制比例,而是在每個(gè)線程的循環(huán)內(nèi)控制比例.通過(guò)計(jì)算每個(gè)頁(yè)面的當(dāng)前Web操作次數(shù)和總的Web操作次數(shù)之比得出當(dāng)前的訪問(wèn)比例,和要求的訪問(wèn)比例相比較,若小于,則訪問(wèn)該網(wǎng)頁(yè),否則看下一個(gè)網(wǎng)頁(yè)是否滿足要求的比例.將要訪問(wèn)的所有網(wǎng)頁(yè)按要求的比例從大到小排列,循環(huán)時(shí)采用先滿足大比例網(wǎng)頁(yè)的原則,從頭檢查,減少判別次數(shù).設(shè)當(dāng)前網(wǎng)頁(yè)的Web操作次數(shù)為N,總的Web操作次數(shù)為M,每一次訪問(wèn)新的網(wǎng)頁(yè)都要將當(dāng)前網(wǎng)頁(yè)的Web操作次數(shù)和總的Web操作次數(shù)加1.則每一次訪問(wèn)前當(dāng)前網(wǎng)頁(yè)的訪問(wèn)比例為prop=NMprop=ΝΜ,每一次訪問(wèn)后的該網(wǎng)頁(yè)的訪問(wèn)比例為prop?=N+1M+1prop*=Ν+1Μ+1,比例增加的幅度為H=prop??propprop=N+1M+1?NMNM=(MN?1)*1M+1?(N<M)Η=prop*-propprop=Ν+1Μ+1-ΝΜΝΜ=(ΜΝ-1)*1Μ+1?(Ν<Μ)在某個(gè)時(shí)刻M的值是一定的,N越大,則H越小.為使網(wǎng)頁(yè)的訪問(wèn)比例和要求的比例之間的偏差不至太大,每一次訪問(wèn)使比例增加的幅度H越小越好,所以軟件中采用先滿足大比例網(wǎng)頁(yè)的原則.算法描述如下:算法1:計(jì)算總是WEB訪問(wèn)次數(shù);prop=第一個(gè)網(wǎng)頁(yè)的Web訪問(wèn)次數(shù)/總的WEB訪問(wèn)次數(shù);REPEATEWHILE(prop不小于proportion[id][m-Metrix]){跳到下一個(gè)網(wǎng)頁(yè);若為最后一個(gè)網(wǎng)頁(yè)break;prop=當(dāng)前網(wǎng)頁(yè)的Web訪問(wèn)次數(shù)/總的WEB訪問(wèn)次數(shù);}這里用一個(gè)靜態(tài)二維數(shù)組proportion[id][m_Metrix]來(lái)定義網(wǎng)頁(yè)的訪問(wèn)比例,第一個(gè)下標(biāo)為網(wǎng)頁(yè)id,第二個(gè)下標(biāo)為用戶選擇的測(cè)試模式(WIPS、WIPSb、WIPSo),分別與三類測(cè)量區(qū)間(買(mǎi)賣(mài)區(qū)間、瀏覽區(qū)間、訂購(gòu)區(qū)間)相對(duì)應(yīng).這三類測(cè)量區(qū)間對(duì)網(wǎng)站的各網(wǎng)頁(yè)的訪問(wèn)比例嚴(yán)格按照TPCW1.8標(biāo)準(zhǔn).由于是在每個(gè)線程的內(nèi)部控制比例,宏觀上實(shí)現(xiàn)了在整個(gè)測(cè)試期間對(duì)網(wǎng)頁(yè)的按比例訪問(wèn),而微觀上每一次的訪問(wèn)又具有隨機(jī)性,這樣就遵循了大量用戶訪問(wèn)Web服務(wù)器真實(shí)行為的統(tǒng)計(jì)特性,對(duì)用戶行為進(jìn)行了細(xì)粒度的模擬.軟件中對(duì)Web服務(wù)器的14個(gè)網(wǎng)頁(yè)分別記錄測(cè)試結(jié)果,在數(shù)據(jù)庫(kù)表中每個(gè)網(wǎng)頁(yè)占一行.整個(gè)測(cè)試結(jié)束后,再?gòu)臄?shù)據(jù)庫(kù)中取出測(cè)試數(shù)據(jù)經(jīng)計(jì)算后以動(dòng)態(tài)網(wǎng)頁(yè)的形式顯示出來(lái),計(jì)算方法如下:總的Web操作次數(shù)=∑i=114=∑i=114網(wǎng)頁(yè)的Web操作次數(shù);每秒平均Web操作次數(shù)=總的Web操作次數(shù)/測(cè)試時(shí)間;平均響應(yīng)時(shí)間=[∑i=114(=[∑i=114(網(wǎng)頁(yè)的平均響應(yīng)時(shí)間*網(wǎng)頁(yè)的Web操作次數(shù))]/總的Web操作次數(shù)=∑i=114(=∑i=114(網(wǎng)頁(yè)的平均響應(yīng)時(shí)間*網(wǎng)頁(yè)的訪問(wèn)比例);平均思考時(shí)間=[∑i=114(=[∑i=114(網(wǎng)頁(yè)的平均思考時(shí)間*網(wǎng)頁(yè)的Web操作次數(shù))]/總的Web操作次數(shù)=∑i=114(=∑i=114(網(wǎng)頁(yè)的平均思考時(shí)間*網(wǎng)頁(yè)的訪問(wèn)比例).4線程內(nèi)按比例訪問(wèn)技術(shù)整個(gè)測(cè)試過(guò)程中,其他的硬件和軟件配置都相同,Web服務(wù)器是由4個(gè)節(jié)點(diǎn)機(jī)和一個(gè)用于負(fù)載平衡的LoadBalancer組成的集群,數(shù)據(jù)庫(kù)中ITEM表的行數(shù)為1000.客戶機(jī)共5臺(tái),其中1臺(tái)為主客戶機(jī),每臺(tái)客戶機(jī)設(shè)置的線程數(shù)都相同.每次測(cè)試時(shí)間為40分鐘,其中Ramp_up為10分鐘.下面對(duì)測(cè)試模式都為WIPS,客戶機(jī)的線程數(shù)分別設(shè)置為40、80、120、160、200、240、280、320的情況進(jìn)行了比較,測(cè)試結(jié)果如表1所示.表中平均思考時(shí)間沒(méi)有大的變化,這是因?yàn)樵诳蛻舳嗽O(shè)計(jì)中,一個(gè)線程內(nèi)兩次Web訪問(wèn)之間的時(shí)間間隔是0.7秒,加上客戶端機(jī)器的調(diào)度時(shí)間,測(cè)得的平均思考時(shí)間比0.7秒稍長(zhǎng)一點(diǎn).從表1可以得到WIPS變化圖(見(jiàn)圖3)和WIRT變化圖(見(jiàn)圖4).在圖3中,隨著客戶端線程數(shù)的增加,WIPS相應(yīng)的逐漸增加,但當(dāng)線程數(shù)大于280個(gè)之后,WIPS值反而減少.在圖4中,隨著客戶端線程數(shù)的增加,WIRT也在相應(yīng)的逐漸增加,理論上在[a,b]之間的曲線應(yīng)該是平滑的,這里由于測(cè)試環(huán)境的限制,出現(xiàn)了上下波動(dòng);但可以看出,當(dāng)線程數(shù)大于280個(gè)之后,WIRT曲線陡然上升.因?yàn)閃eb服務(wù)器是由4個(gè)節(jié)點(diǎn)機(jī)組成的集群,當(dāng)客戶端的線程數(shù)比較少時(shí),遠(yuǎn)不能使服務(wù)器達(dá)到滿載,大多數(shù)Web訪問(wèn)都能得到實(shí)時(shí)響應(yīng).這時(shí),隨著客戶端線程數(shù)的增多,WIPS幾乎成比例增加,WIRT也在逐漸增加.當(dāng)線程數(shù)達(dá)到280個(gè)之后,由于服務(wù)器幾乎達(dá)到滿載,隨著客戶端訪問(wèn)量的增大,服務(wù)器的CPU和內(nèi)存以及網(wǎng)絡(luò)帶寬利用率達(dá)到峰值,不能實(shí)時(shí)響應(yīng)的Web訪問(wèn)也增多,所以成功的每秒平均Web操作次數(shù)反而減少,而平均響應(yīng)時(shí)間變得很大.可見(jiàn),客戶端采用多線程技術(shù)可以充分利用客戶端機(jī)器的資源,增大服務(wù)器端的負(fù)載,從而測(cè)得服務(wù)器在一定配置下的WIPS峰值和相應(yīng)的WIRT.每次測(cè)試結(jié)束時(shí),客戶端都會(huì)自動(dòng)顯示本次測(cè)試中每個(gè)網(wǎng)頁(yè)的Web操作次數(shù)和在它在總的Web操作次數(shù)中所占的百分比.其他測(cè)試環(huán)境不變,當(dāng)客戶端的線程數(shù)都設(shè)為160個(gè)時(shí),測(cè)試模式分別為WIPS、WIPSb和WIPSo時(shí),測(cè)試結(jié)果如表2所示.從表中可以看出,采用線程內(nèi)按比例訪問(wèn)技術(shù),當(dāng)總的Web操作次數(shù)很大時(shí),網(wǎng)頁(yè)的測(cè)試比例可以精確到0.01%.實(shí)際上,一般情況下測(cè)試時(shí)間需要大于40分鐘,此時(shí)總的Web操作次數(shù)都很大.將表2中的比例和TPCW1.8標(biāo)準(zhǔn)中要求的比例相比較,發(fā)現(xiàn)在測(cè)試模式為WIPS和WIPSb時(shí),幾乎沒(méi)有差別;而測(cè)試模式為WIPSo時(shí),前面9個(gè)網(wǎng)頁(yè)的百分比比TPCW1.8標(biāo)準(zhǔn)中要求的大0.01%或0.02%,而后面5個(gè)網(wǎng)頁(yè)的百分比比TPCW1.8標(biāo)準(zhǔn)中要求的要小.原因有兩點(diǎn):第一,在線程內(nèi)按比例訪問(wèn)技術(shù)中,將要訪問(wèn)的所有網(wǎng)頁(yè)按比例從大到小排列,循環(huán)時(shí)采用先滿足大比例網(wǎng)頁(yè)的原則;第二,在客戶端的設(shè)計(jì)中,在多線程讀取全局變量總的Web操作次數(shù)的測(cè)量計(jì)數(shù)時(shí),為了防止出現(xiàn)對(duì)臨界區(qū)的訪問(wèn)等待,同時(shí)考慮到訪問(wèn)比例的小的偏差對(duì)性能測(cè)試沒(méi)有大的影響,故將總的Web操作次數(shù)的測(cè)量計(jì)數(shù)設(shè)為共享變量.其它配置不改變,再將測(cè)量模式分別設(shè)為WIPS、WPSb和WIPSo,測(cè)量區(qū)間分別對(duì)應(yīng)為買(mǎi)賣(mài)區(qū)間、瀏覽區(qū)間和訂購(gòu)區(qū)間,將其指標(biāo)測(cè)量值進(jìn)行比較(如表3).可以看出,平均思考時(shí)間TT沒(méi)有大的區(qū)別;瀏覽區(qū)間的WIPS值比買(mǎi)賣(mài)區(qū)間的要稍小,WIRT值要稍大;而訂購(gòu)區(qū)間和買(mǎi)賣(mài)區(qū)間相比,WIPS值要小得多,WIRT值大得多.從表3的訪問(wèn)比例不難看出,瀏覽區(qū)間包括明顯的瀏覽(95%)和很少的相關(guān)的訂購(gòu)活動(dòng)(5%),具體到數(shù)據(jù)庫(kù)的操作就是數(shù)據(jù)的查詢較多,訂購(gòu)區(qū)間包括明顯的訂購(gòu)(50%)和相對(duì)少的相關(guān)的瀏覽活動(dòng)(50%),具體到數(shù)據(jù)庫(kù)的操作就是數(shù)據(jù)的更新較多.由于數(shù)據(jù)庫(kù)中數(shù)據(jù)是讀-讀共享、讀-寫(xiě)互斥和寫(xiě)-寫(xiě)互斥的,所以寫(xiě)的操作增多,則數(shù)據(jù)訪問(wèn)沖突增多,這就是訂購(gòu)瀏覽區(qū)間的WIPS值和WIRT值比買(mǎi)賣(mài)區(qū)間和瀏覽區(qū)間的測(cè)量值要小得多的原因.從表3可以看出,當(dāng)用戶行為發(fā)生變化時(shí),服務(wù)器的負(fù)載隨之變化,得到指標(biāo)測(cè)量值也就不同.從上面的數(shù)據(jù)和分析可見(jiàn),利用線程內(nèi)按比例訪問(wèn)技術(shù),可以對(duì)大量用戶訪問(wèn)Web服務(wù)器的真實(shí)行為的統(tǒng)計(jì)特性進(jìn)行細(xì)粒度的模擬,進(jìn)一步對(duì)Web服務(wù)器的性能進(jìn)行分析.5測(cè)試結(jié)果和分析該軟件選取了最能反映服務(wù)器性能的兩個(gè)主要指標(biāo):每秒Web操作次數(shù)和響應(yīng)時(shí)間,在服務(wù)器端構(gòu)建一個(gè)真實(shí)的電子商務(wù)網(wǎng)站,模擬用戶行為從客戶端使用多線程發(fā)送大量的請(qǐng)求到服務(wù)器端,并在客戶端記錄指標(biāo)測(cè)量值.利用線程內(nèi)按比例訪問(wèn)技術(shù),對(duì)大量用戶訪問(wèn)Web服務(wù)器的真實(shí)行為的統(tǒng)計(jì)特性進(jìn)行細(xì)粒度的模擬.該軟件具有安裝簡(jiǎn)單,數(shù)據(jù)庫(kù)規(guī)?？缮炜s,接近現(xiàn)實(shí)世界,分析和實(shí)時(shí)顯示測(cè)試結(jié)果等優(yōu)點(diǎn).通過(guò)對(duì)測(cè)試結(jié)果進(jìn)行分析,為Web服務(wù)器的性能測(cè)試提供了