ServerScope服務(wù)器性能評測系統(tǒng)介紹一、項目背景現(xiàn)有性能評測的通常做法大規(guī)模性能評測硬件成本分析現(xiàn)有評測方法的不足我們的目標(biāo)現(xiàn)有性能評測的通常做法性能評測經(jīng)過幾十年的發(fā)展，其通常的做法大致如下：確定測試目標(biāo)負(fù)載選擇描述測試系統(tǒng)模擬實現(xiàn)測試系統(tǒng)部署測試執(zhí)行測試報告被測系統(tǒng)優(yōu)化確定測試目標(biāo)負(fù)載選擇描述測試系統(tǒng)模擬實現(xiàn)測試系統(tǒng)部署測試執(zhí)行測試報告被測系統(tǒng)優(yōu)化大規(guī)模性能評測硬件成本分析

序號123456789TpmC93471773363900777905121065137261410770567883709220Client#*CPU#1*12*12*25*28*224*232*248*264*2RTE#750014000328006200096000120240352000456000576000下表摘自TPC網(wǎng)站，是Hewlett-Packard公司2000年至2003年公開發(fā)布的TPC-C[3][4]部分測試結(jié)果：

TpmC——按比例完成其他事務(wù)情況下，系統(tǒng)每分鐘完成新訂單（New-Order）事務(wù)的數(shù)量

Client#*CPU#——客戶端設(shè)備個數(shù)及每個設(shè)備上的CPU個數(shù)

RTE——RemoteTerminalEmulator遠(yuǎn)程終端模擬器，根據(jù)測試需求編寫的負(fù)載發(fā)生程序

隨著被測系統(tǒng)性能的提高，所需測試用機(jī)的個數(shù)和參與測試的RTE個數(shù)也隨之增加。測試規(guī)模增加帶來了測試部署與管理的困難。測試規(guī)模增加帶來了測試成本的增加（如硬件成本、管理成本）現(xiàn)有評測方法的不足只能評測系統(tǒng)對一種應(yīng)用的支持程度，每種應(yīng)用的評測程序的定義、生成和實現(xiàn)相互獨立，當(dāng)需求發(fā)生變化時，評測程序又得重新進(jìn)行上面的測試步驟，即評測程序不能復(fù)用，不支持工作負(fù)載的動態(tài)、適度定制。測試環(huán)境的部署耗費時間長，部署復(fù)雜，一般用戶難以勝任；測試成本過高，通常為了獲得較高的測試指標(biāo)必須大量增加參與的客戶端數(shù)量，直接導(dǎo)致了硬件設(shè)備數(shù)量的增加；固定的工作負(fù)載定義很難滿足用戶千變?nèi)f化的應(yīng)用，因此評測結(jié)構(gòu)缺乏實際應(yīng)用意義我們的目標(biāo)建立一套適合于大規(guī)模性能評測的通用性能評測體系及測試軟件包。針對不同應(yīng)用、不同軟硬件配置進(jìn)行性能監(jiān)控、評價和優(yōu)化，對用戶使用的系統(tǒng)提出性能上的建議。定義出一套通用的性能評測方法，設(shè)計出測試軟件包的基礎(chǔ)平臺。能夠根據(jù)評測系統(tǒng)的實際情況抽取、建立一定的理論模型，對系統(tǒng)的性能進(jìn)行預(yù)測。

二、ServerScope系統(tǒng)ServerScope系統(tǒng)概述ServerScope硬件結(jié)構(gòu)ServerScope軟件框架結(jié)構(gòu)ServerScope系統(tǒng)的部署與運行ServerScope現(xiàn)有負(fù)載ServerScope系統(tǒng)概述ServerScope是一種面向用戶的，旨在評測用戶系統(tǒng)實際性能的評測系統(tǒng)。測試節(jié)點采用刀片式計算機(jī)，具有高密度、易部署、簡化連接、易于管理和低成本的特點。利用框架技術(shù)實現(xiàn)了一個性能評測軟件的基礎(chǔ)開發(fā)平臺，它顯著降低了性能評測軟件的開發(fā)成本和周期，具有可重用性、可維護(hù)性、可擴(kuò)展性、易用性等特點。

ServerScope適合大規(guī)模性能評測，具有低成本運作的特點。ServerScope硬件結(jié)構(gòu)服務(wù)節(jié)點測試節(jié)點內(nèi)部網(wǎng)絡(luò)被評測系統(tǒng)用戶GUI控制臺發(fā)送工作負(fù)載讀取日志性能監(jiān)控服務(wù)器性能測試儀測試節(jié)點測試節(jié)點測試節(jié)點測試節(jié)點測試節(jié)點服務(wù)節(jié)點測試節(jié)點內(nèi)部網(wǎng)絡(luò)被評測系統(tǒng)用戶GUI控制臺發(fā)送工作負(fù)載讀取日志性能監(jiān)控服務(wù)器性能測試儀測試節(jié)點測試節(jié)點測試節(jié)點測試節(jié)點測試節(jié)點ServerScopeblade外觀Blade的硬件指標(biāo)項目指標(biāo)數(shù)量CPU類型266MHzNSGeodeSOC1CacheUnifiedL1cache16KB內(nèi)存類型PC100SDRAM128MB網(wǎng)絡(luò)接口10M/100M自適應(yīng)2主板尺寸100mmX280mm

測試節(jié)點采用刀片技術(shù)，主板使用美國國家半導(dǎo)體（NationalSemiconductor）的GeodeSOC主板，其性能指標(biāo)如下：刀片式結(jié)構(gòu)帶來的好處成本低：單個GeodeSOC刀片的成本大約1500元，遠(yuǎn)遠(yuǎn)低于單個PC的價格

易于擴(kuò)展：使用背板技術(shù)，可以通過簡單的插拔刀片，來擴(kuò)大或縮小測試規(guī)模

結(jié)構(gòu)簡單：背板供電，連線簡單，結(jié)構(gòu)緊湊，占地面積小

易用：刀片采用無盤工作站模式，減少了客戶機(jī)操作系統(tǒng)和應(yīng)用程序的安裝

ServerScope軟件框架結(jié)構(gòu)ServerScope性能評測軟件框架結(jié)構(gòu)測試負(fù)載1測試負(fù)載2測試負(fù)載n負(fù)載中間件管理部件用戶圖形界面GUI消息通道測試系統(tǒng)基礎(chǔ)平臺性能評測軟件基礎(chǔ)平臺的組成用戶圖形界面GUI：測試的圖形化遠(yuǎn)程控制終端。管理部件：整個測試系統(tǒng)的核心管理部件，用于管理多個測試節(jié)點（如下圖所示）的多個測試。負(fù)載中間件：是管理部件在子客戶端的代理，也是所有測試負(fù)載面向上層的統(tǒng)一接口消息通道：整個框架的一個縱向接口，定義了各層之間的消息以及消息的傳遞機(jī)制。負(fù)載編程接口：定義了具體負(fù)載的編程接口規(guī)范。TCPIP包測試測試節(jié)點1TCPIP流測試空閑。。。測試節(jié)點2測試節(jié)點3測試節(jié)點4測試節(jié)點5測試節(jié)點6測試節(jié)點12管理部件SrvScp_Manager基礎(chǔ)平臺的特點負(fù)載無關(guān)性：基礎(chǔ)平臺通過外部配置文件獲得必要的負(fù)載信息，無需負(fù)載的具體細(xì)節(jié)。統(tǒng)一的用戶界面：不同測試有相同的使用模式，降低了測試人員的學(xué)習(xí)成本。動態(tài)增加測試節(jié)點：測試節(jié)點可以在測試系統(tǒng)運行時動態(tài)加入系統(tǒng)成為空閑節(jié)點，等待管理部件的任務(wù)分配。多個測試并發(fā)執(zhí)行：支持同時進(jìn)行多個測試，各測試之間的測試類型可以相同也可以不同。測試節(jié)點的單一性：每個測試節(jié)點都支持多種類型的測試，但同一時刻只運行一種類型的測試，這樣可以使測試節(jié)點能更好的發(fā)揮自身性能。性能指標(biāo)（metrics）的實時監(jiān)控：支持被測服務(wù)器的部分性能指標(biāo)的實時監(jiān)控，監(jiān)控的性能指標(biāo)可以動態(tài)增減；測試結(jié)果的匯總輸出：每個測試結(jié)束后，管理部件將所有測試節(jié)點的測試數(shù)據(jù)進(jìn)行統(tǒng)計匯總，生成測試報告，以供測試人員進(jìn)行性能分析。用戶圖形界面GUI示例1用戶圖形界面示例2（參數(shù)設(shè)置）測試負(fù)載的插件化負(fù)載中件層代理技術(shù)：負(fù)載層是整個系統(tǒng)的最底層，也是與具體負(fù)載密切相關(guān)的部分，通過負(fù)載中間層代理技術(shù)，負(fù)載中間層成為所有測試負(fù)載向上的統(tǒng)一接口，向上屏蔽了各負(fù)載的具體實現(xiàn)；向下屏蔽了整個系統(tǒng)的框架結(jié)構(gòu)的實現(xiàn)細(xì)節(jié)，負(fù)載的編寫與系統(tǒng)框架的實現(xiàn)互不影響。負(fù)載插件化技術(shù)：負(fù)載以動態(tài)連接庫的形式在需要時被負(fù)載中間層調(diào)用。新負(fù)載可以在系統(tǒng)運行時動態(tài)加入系統(tǒng)，系統(tǒng)具有一定的動態(tài)可擴(kuò)充性。負(fù)載的編寫負(fù)載的插件化使負(fù)載的編寫變得容易：負(fù)載編碼人員只要根據(jù)《ServerScope負(fù)載編寫規(guī)范》編寫負(fù)載，無需知道整個系統(tǒng)的實現(xiàn)細(xì)節(jié)，就可以編出合乎規(guī)范的負(fù)載類插件。而且系統(tǒng)提供了新負(fù)載框架的自動生成工具，使負(fù)載的編寫更加方便。負(fù)載的增加和修改簡單：增加/修改負(fù)載時，只需編譯要添加/修改的負(fù)載類插件即可，而無需對整個系統(tǒng)進(jìn)行重新編譯，更無需修改測試系統(tǒng)的代碼。增加新負(fù)載的工作量大大降低：編碼人員只需關(guān)心負(fù)載本身的實現(xiàn)，與單個測試系統(tǒng)的實現(xiàn)相比，新負(fù)載的編碼工作量至少減少了2/3。性能評測軟件框架帶來的好處松耦合性：各個功能部件相對獨立，可以用不同的語言和技術(shù)實現(xiàn)，各功能部件之間通過特定接口（或規(guī)則）進(jìn)行通信，各功能部件可以不依賴其他功能部件而相對獨立的運行。最小化框架的負(fù)載相關(guān)性：通過合理的抽象和分層，將具體的負(fù)載對整個系統(tǒng)的影響降至最低。負(fù)載的可擴(kuò)展性：測試負(fù)載的種類可以根據(jù)需要而靈活的增減。負(fù)載編程人員只要遵循框架定義的規(guī)則或者接口，就可以方便的將具體的負(fù)載插入到框架中。

多種測試的集成：能夠同時有效管理多種不同類型的測試，從而實現(xiàn)一次部署，多種測試多角度的對被測系統(tǒng)進(jìn)行評測。

規(guī)模的可伸縮性：測試規(guī)模可以根據(jù)實際的需要而動態(tài)增加測試節(jié)點，系統(tǒng)的管理部件能動態(tài)管理和配置所有測試節(jié)點。

軟件在硬件上的部署方式用戶控制臺——ServerScope-GUI：控制和顯示ServerScope管理節(jié)點——ServerScope-ManagerAgentDaemonServerScope測試節(jié)點1LoadGeneratorLoadGeneratorLoadGeneratorAgentDaemonServerScope測試節(jié)點nLoadGeneratorLoadGeneratorLoadGeneratorSystemUnderTestLOGServerScope-ConsoleServerScope-ManagerServerScope-AgentServerScope-LoadServerScope-ObjectServerScope運行方式服務(wù)節(jié)點Scope（Linux）配置為DHCP、TFTP、NFS

服務(wù)器運行MySQL（監(jiān)控所需）運行ServerScope-Manager運行ServerScope-MonitorServer測試節(jié)點blade0~blade12（無盤模式）通過dhcp協(xié)議得到相應(yīng)的IP地址通過tftp獲得內(nèi)核映象文件通過nfs加載需要的文件（ServerScope-Client的運行程序）運行ServerScope-Client現(xiàn)有負(fù)載TCP包測試TCP流測試DBMIXSPECWEB99TPC-CTCP包測試TCP/IP包測試的適用范圍：送46字節(jié)的小包，觀察服務(wù)器接收小包的能力，可以用來測試網(wǎng)絡(luò)延遲發(fā)送1.5K字節(jié)長的大包，觀察服務(wù)器接收大包的能力，可以用來測試網(wǎng)絡(luò)帶寬發(fā)送可變長、可變速，包長可按照比例進(jìn)行分配，類型為TCP、UDP、ICMP一種或多種的IP包。隨機(jī)模擬任意情況，觀察服務(wù)器的一般處理能力測試結(jié)果：測試所用時間、發(fā)包速率、發(fā)送的總字節(jié)數(shù)、該測試?yán)玫木W(wǎng)絡(luò)帶寬吞吐率等。

TCP流測試TCP/IP流測試的適用范圍：

流測試，即TCP流測試，是服務(wù)器網(wǎng)絡(luò)性能測試的一項重要指標(biāo)，它與包測試有著明顯的不同，它更重視服務(wù)器在網(wǎng)絡(luò)中針對應(yīng)用服務(wù)的響應(yīng)和處理能力。流測試比包測試更宏觀更注重應(yīng)用，層次要高一些，實現(xiàn)難度也相對要大一些。

測試結(jié)果：

發(fā)包速率DBMIX測試測試適用范圍：

自定義的數(shù)據(jù)庫測試程序。模擬數(shù)據(jù)庫的混合型數(shù)據(jù)操作，測試數(shù)據(jù)庫在不同操作比例下的處理能力。操作包括INSERT、UPDATE、SELECT，各種操作比例可定制。測試結(jié)果： 每秒鐘的插入、更新能力、一個或多個表關(guān)聯(lián)的查詢能力。單位（records/s)Specweb99測試

移植的SPEC（StandardPerformanceEvaluationCorporation）公司的web服務(wù)器標(biāo)準(zhǔn)評測程序。測試的適用范圍：用來測試服務(wù)靜態(tài)和動態(tài)頁面請求的Web服務(wù)器的性能，支持HTTP1.1/1.0。測試結(jié)果：在一定負(fù)載下，滿足數(shù)據(jù)傳送率在320kbps和400kbps之間的最大并發(fā)連接數(shù)。TPC-C測試根據(jù)TPC(TransactionProcessingPerformanceCouncil)

事務(wù)處理性能委員會所開發(fā)的TPC-C基準(zhǔn)評測規(guī)范而編寫的測試負(fù)載。

測試范圍：模擬OLTP應(yīng)用環(huán)境，評測數(shù)據(jù)庫服務(wù)器的在線事務(wù)處理能力。測試結(jié)果：按比例完成其他事務(wù)的情況下，系統(tǒng)每分鐘完成新訂單事務(wù)