1、服務器性能基準測試為了客觀地量度服務器性能，人們制定了一系列基準測試，利用測試的結果來量度服務 器各方面的性能。目前有許多專門設計基準測試程序和管理各種計算機系統(tǒng)基準測試指標的機構，其中最 著名的是SPEC （標準性能評估機構，英文全名是Standard Performance Evaluation Corporation）和TPC （事務處理性能委員會，英文全名是Transaction Processing Performance Council）0這些機構以及其它廠商設計了一系列基準測試指標來全面量 度服務器的性能。這些基準測試指標已經(jīng)成為企業(yè)用戶考察服務器性能和選型的依據(jù)之一。SPEC基

2、準測試SPEC （The Standard Performance Evaluation Corporation ）標準性能評測機構， 是國際上對系統(tǒng)應用性能進行標準評測的權威組織，它旨在確立、修改以及認定一系列服務 器應用性能評估的標準。目前包括8大測試規(guī)范、26種測試模型。該組織成立于1988年，是由斯坦福大學、清華大學、微軟、等全球幾十所知名大學、 研究機構、IT企業(yè)組成的第三方測試組織。SPEC經(jīng)過多年的發(fā)展積累，該測試標準得 到了全球眾多用戶的廣泛認可。SPECjbb2005SPECjbb2005 （Java服務器基準）是一種用于評估服務器端Java性能的SPEC基 準。和上一代的S

3、PECjbb2000-樣，SPECjbb2005可以通過模擬一套三層式的客戶端， 服務器系統(tǒng)來評估服務器端Java性能，而在模擬過程中最為強調的就是中間層。該基準實施了JVM （Java虛擬機）、JIT （Just-In-Time）編譯器、垃圾收集、線程 和操作系統(tǒng)的某些方面。它還可測量CPU、緩存、內存和共享內存處理器（SMP）的性 能。SPECjbb2005提供了一種新的增強型工作負載，而且其實施方式更加客觀，可反映 出真實環(huán)境中應用的設計方法。同時，這種增強型工作負載還引入了一些新的特性，如 XML處理和BigDecima計算，使基準測試可以更真實地反映出今天的各類應用。目前，SPECj

4、bb2005基準的重點包括：模擬目前服務器端Java應用的最常見類型一三層式的系統(tǒng)。模擬的重點是中間層的工作，如商業(yè)邏輯和對象操作等。 客戶端被驅動器線程替代，數(shù)據(jù)庫存儲則被對象的二進制樹替代。另外，為了進一步滿足客戶的需求，jbb2005還提高了所實施的工作負載數(shù)量，并 且提供擴展性的圖像查看方式，使用戶可以用更加直觀的方式對基準測試結果進行查 詢。jAppServer2004jAppServer2004月艮務器應用性能測試是一個全面衡量Web應用中J ava企業(yè)應用 服務器性能的基準測試，是jAppServer2002的升級版本，一個新的行業(yè)標準基準測試。jAppServer2004測試采

5、用JOPS （每秒總的操作次數(shù)）作為測試結果的衡量標準 （jAppServer2002測試結果的衡量標準與此相同，但表示為TOPS），JOPS為訂單事 務數(shù)加上制造工作訂單數(shù)，再除以以秒為單位的測試時間。jAppServer與jAppServer2002相比，具有實質區(qū)別，它更為嚴格和完善，更為復 雜。jAppServer2004的測試模型基于一個規(guī)模龐大、極為復雜、足以代表現(xiàn)實世界 電子商務系統(tǒng)的分布式應用程序。模擬電子化業(yè)務工作模型體現(xiàn)了軟、硬件平臺整體解 決方案的性能指標全面衡量應用服務器、數(shù)據(jù)庫服務器硬件各子系統(tǒng)的性能被眾多用戶 作為選擇硬件設備的選型指標。SPEC服務器應用性能測試是

6、目前業(yè)界最標準和權威的基準測試之一。SPEC服務器應用性能測試的測試成績可以為如下行業(yè)應用的系統(tǒng)采購提供重要的 參考指標。銀行：銀行綜合業(yè)務系統(tǒng)、銀行證券交易系統(tǒng)、信用卡業(yè)務系統(tǒng)、綜合業(yè)務計 算機網(wǎng)絡系統(tǒng)等金融證券：國稅統(tǒng)一稅收征管系統(tǒng)、基金注冊和交易系統(tǒng)平臺建設、證券集中 交易系統(tǒng)保險：保險企業(yè)綜合業(yè)務系統(tǒng)建設電信：電信計費系統(tǒng)、綜合計費帳務系統(tǒng)、客服系統(tǒng)平臺建設、用戶認證和管 理系統(tǒng)、移動計費營業(yè)系統(tǒng)、聯(lián)通綜合客服系統(tǒng)、寬帶運維系統(tǒng)政府：大中型電子政務系統(tǒng)SPECweb2005:作為SPECweb9SPECweb99_SSL的繼承者，SPECweb2005延續(xù)了SPEC的傳 統(tǒng)，為Web用

7、戶提供客觀的Web服務器系統(tǒng)性能測試基準。SPEC Web2005測試的原理，是通過多臺客戶機向服務器發(fā)出Http Get請求， 請求調用Web服務器上的網(wǎng)頁文件，這些文件從數(shù)千字節(jié)到數(shù)兆字節(jié)不等。在相同的 時間里，服務器回答的請求越多，就表明服務器對客戶端的處理能力越強，系統(tǒng)的Web 性能就越好?；诳焖侔l(fā)展的Web技術，與上一代測試基準相比，SPECweb2005基準包括許多 新增強特性，其中包括：測量并發(fā)用戶會話。相關動態(tài)內容：包括PHP和JSP實施。使用兩個并行HTTP連接請求頁面鏡像。多種標準化的工作負載：銀行業(yè)（HTTPS）、電子商務（HTTP and HTTPS） 和支持（HTT

8、P）。使用If-Modified-Since請求模擬模擬器緩存效果。文件訪問與今天的真實Web服務器訪問模式匹配度更高。SPEC CPU2006：SPEC CPU2006是標準性能評估公司SPEC在CPU2000誕生6年之后推出的一款 CPU基準測試包的最新版本。CPU2006以Sun Ultra Enterpirse 2工作站作為基準參考 系統(tǒng)，以此為參考，其他測試系統(tǒng)與之相比即可得出相對性能指數(shù)Sun的這套系統(tǒng)使 用了一顆296MHz的UltraSPARC I處理器。對于一個高性能計算機來說，用戶最關注的就是它的整體運算能力，而對于單個 CPU性能及作業(yè)吞吐能力的測試，就要靠基準測試SPE

9、C CPU2006來完成。也就是對于 計算密集類型的工作負荷來說，SPEC CPU2006是一個非常重要的基準測試。SPEC CPU2006能分別測量計算機系統(tǒng)的整數(shù)和浮點性能。其中，SPECint_base2006衡量在 單處理器系統(tǒng)上的整數(shù)“速度”性能，而SPECfp_base2006M衡量在單處理器系統(tǒng)上的 浮點“速度”性能?！罢麛?shù)”部分有12個程序，使用C或C+語言，它們不使用CPU的浮點 單元；而“浮點數(shù)”分有17個程序，使用FORTRAN 77/90和C語言，這些程序的主要 運算是浮點數(shù)的。TPC基準測試TPC（Transactionprocessing Performance C

10、ouncil,事務處理性能委員會）是由數(shù)十 家會員公司創(chuàng)建的非盈利組織，總部設在美國。TPC的成員主要是計算機軟硬件廠家，而非 計算機用戶，其功能是制定商務應用基準程序的標準規(guī)范、性能和價格度量，并管理測試結 果的發(fā)布。TPC不給出基準程序的代碼，而只給出基準程序的標準規(guī)范。任何廠家或其他測試者都 可以根據(jù)規(guī)范，最優(yōu)地構造出自己的測試系統(tǒng)（測試平臺和測試程序為保證測試結果的完 整性，被測試者（通常是廠家）必須提交給TPC一套完整的報告（Full Disclosure Report），包 括被測系統(tǒng)的詳細配置、分類價格和包含5年維護費用在內的總價格。該報告必須由TPC授 權的審核員核實（TPC本

11、身并不做審計）。TPC推出過11套基準程序，分別是正在使用的TPC-App、TPC-H、TPC-C、TPC-E、 TPC-W、TPC-S和TPC-Client/Server，過時的TPC-A、TPC-B、TPC-D和TPC-R。TPC-C：TPC-C誕生于1992年夏秋，即簡單的Client/Server架構初啟的年代，至今已走過了 13 個年頭。13年間，早期簡單的Client/Server架構及企業(yè)業(yè)務管理及事物處理的模式已經(jīng)發(fā) 生了巨大的演變，如3-Tier，B/B架構，中間件及事務交易管理器的廣泛使用，更加智能化 的表達層，.等.在此期間，盡管TPC-C經(jīng)歷了5個版本的修訂，然而TPC

12、-C測試指標的 核心定義并沒有隨著IT架構的發(fā)展而修改，應運而生的是許多新的測試指標。TPC-C使用三種性能和價格度量，其中性能由tpmC（transactions per minute，tpm） 衡量，C指TPC中的C基準程序。它的定義是每分鐘內系統(tǒng)處理的新訂單個數(shù)。TPC-C還經(jīng) 常以系統(tǒng)性能價格比的方式體現(xiàn)，單位是$ /tpmC，即以系統(tǒng)的總價格（單位是美元）/tpmC 數(shù)值得出。從TPC-C的定義不難知道，這套基準程序是用來衡量整個叩系統(tǒng)的性能，而不是評價服 務器或某種硬件系統(tǒng)的標準，而且tpm C數(shù)值的高低直接受到各個環(huán)節(jié)的影響。此處的“IT系統(tǒng)包括:服務器外設（如硬盤或RAID）服

13、務器端操作系統(tǒng)數(shù)據(jù)庫軟件客戶端及其操作系統(tǒng)數(shù)據(jù)庫軟件和網(wǎng)絡連接等。因此，如何解讀tpm C數(shù)值會因不同的采購需求有非常大的差異。以服務器為例。在很 多廠家的TPC-C測試系統(tǒng)中，服務器的價格只是系統(tǒng)總價格的25%或更小，而硬盤的價格 有可能占到總價格的30%以上，因為TPC-C要求被測系統(tǒng)必須保存180天的事務記錄（這一 趨勢從一些最新的TPC-C測試結果來看，會愈演愈烈）。如果同樣的服務器被用到用戶的環(huán)境中，廠家報的tpmC值就意義不大，因為用戶的實 際系統(tǒng)與廠家原來用于TPC-C測試的系統(tǒng)大不一樣。當同樣的主機用在不同的系統(tǒng)中時， tpmC值可能有相當大的變化，現(xiàn)在許多用戶還沒有意識到這一

14、點。一個現(xiàn)實問題是，實現(xiàn)高tpmC指標的代價用戶是否能夠承受。畢竟丁?。都是很復雜 的基準程序，做一個嚴格的測試非常消耗資源，廠商通常不會給TPC報告出全部花費的金錢 和時間。實際上，正因為tpmC （其他評測指標也大都一樣）受系統(tǒng)優(yōu)化影響較大，業(yè)界對于是 否應該在測試中進行優(yōu)化向來爭議頗多。如下圖（1）所示，TPC-C的檢測環(huán)境涵蓋了：數(shù)據(jù)庫服務器系統(tǒng)：內存，輸入輸出，CPU，磁盤存儲，網(wǎng)絡配置，操作系統(tǒng)， 及系統(tǒng)體系結構的其他方面；數(shù)據(jù)庫引擎軟件；數(shù)據(jù)庫的設計與布署；應用程序的設計；Web服務器系統(tǒng)一CPU，內存，輸入輸出，CPU，磁盤存儲，網(wǎng)絡配置，操作系統(tǒng)，.；TP管理器；中間件；網(wǎng)絡

15、互連設備，等等.TPC-C檢測環(huán)境示意圖:用戶終端仿真TCP/Ip 終端 網(wǎng)絡.表達層服務器（若干個）III內存,CPU, IO,磁盤， 網(wǎng)絡,系統(tǒng)互連.用戶終端仿真TCP/Ip 終端 網(wǎng)絡.表達層服務器（若干個）III內存,CPU, IO,磁盤， 網(wǎng)絡,系統(tǒng)互連.CP/I網(wǎng)絡數(shù)據(jù)庫服務器（一個）C/S內存,CPU, IO,磁盤，網(wǎng)絡 系統(tǒng)互連,TPC-C的反應時T 間的衡量是此處！ ITPC-C的 ：|.= 反應時間的-”衡量不是此處！IAA操作系統(tǒng)A數(shù)據(jù)庫引擎 ATPC-C應用程序 （stored procedures,.）A操作系統(tǒng)A Web Services TPC-C應用程序A TP

16、管理器ADB RPC 庫(Tuxedo, ODBC, COM+)圖（1）由圖（1）可清楚的看出：將TPC-C的測試環(huán)境簡化為一臺數(shù)據(jù)庫服務器，并將TPC-C測試結果全部歸咎于一臺數(shù) 據(jù)庫服務器硬件配置的貢獻是十分錯誤的.若像有的廠商進一步將其TPC-C的測試值歸功于 其CPU的貢獻，（時鐘頻率快，Cache大）甚至用CPU的公式來差值推算數(shù)據(jù)庫服務器的 硬件配置，則更是無稽之談！TPC-C測試值是OLTP業(yè)務的吞吐量，即，每分鐘完成多少TPC-C所定義的事務交易 （Tpmc），及每個交易的價格（$/Tpmc）.有的廠商將TPC-C的性能測試結果只與其服務器的硬件配置，甚至只與CPU的配置對應

17、起來，試圖使用戶相信：只要按他們的公式配置了 CPU，就能按比例的得到在某廠商的服 務器數(shù)據(jù)庫服務器上測出的TPC-C值。這顯然是別有用心的！因為在相同的的硬件配置下， 通過對軟件環(huán)境的優(yōu)化，可以使OLTP性能成倍的增加，這在現(xiàn)實OLTP環(huán)境下已是屢見不鮮！單就數(shù)據(jù)庫設計的水平，數(shù)據(jù)庫的布署水平及數(shù)據(jù)庫參數(shù)等方面的優(yōu)化，性能改善在幾 倍以上的例子都是常見的！現(xiàn)將影響TPC-C測試結果的其他重要因素列舉如下:（1）數(shù)據(jù)庫軟件（DB）的選擇：計算機廠商在Oracle, Microsoft SQL Server, DB2，及過去在Sybase, Informix等 數(shù)據(jù)庫上所作出的TPC-C都會有很

18、大的差別.這一方面是數(shù)據(jù)庫本身的內部機制的原因，另 一方面，不同數(shù)據(jù)庫所提供的優(yōu)化手段也有區(qū)別。所以，TPC-C測試結果的性能比較只能在 同一數(shù)據(jù)庫的前提下，進行比較。例如，在IBM DB2數(shù)據(jù)庫上的TPC-C結果，對使用 ORACLE數(shù)據(jù)庫的用戶毫無參照價值。數(shù)據(jù)庫設計及布署的優(yōu)化：數(shù)據(jù)庫的邏輯設計和規(guī)范化水平，用分區(qū)技術對“表 格”的劃分，并發(fā)競爭的控制，及對數(shù)據(jù)庫共享內存緩存的尺寸調整等等，是決定 OLTP/TPC-C性能的重要因素。Web Server的優(yōu)化：增加交易請求的鏈接及并行按處理能力。TP Monitor的優(yōu)化：增加交易的負載均衡，請求的優(yōu)化組合，及交易結果的輸入/ 輸出的優(yōu)

19、化組合，增加交易的吞吐量.(5 ) Client/Server程序優(yōu)化：廠商在編寫其相應的Client/Server程序時可進行優(yōu) 化，充分利用其操作系統(tǒng)或系統(tǒng)體系結構的特性.如有的廠商使用SMT，增加應用程序的并 行性。(6)操作系統(tǒng)的優(yōu)化：操作系統(tǒng)參數(shù)對優(yōu)化內存使用效率，I/O效率，減少系統(tǒng)頁面 及進程交換，改善CPU的分配方式，等方面與上述數(shù)據(jù)庫的優(yōu)化相配合，對改善OLTP性 能起著重要作用.(7)服務器體系結構及硬件配置：內存尺寸，CPU數(shù)目及性能，I/O控制器/磁盤/ 網(wǎng)絡控制器的數(shù)目及性能，這一切都對TPC-C的性能有影響作用。TPC-C委員會在 1997年公布的文檔：“TPC-C

20、: Standard Benchmark for DataBase Systems”中，再次談及TPC-C測試中采取人為的優(yōu)化措施可能產(chǎn)生的負面作用。原數(shù)字設備公司(Digital Equipment Corp.)的Jim Gray已是TPC委會的TPC-C專 家。在此文檔中談至上 “Benchmarks have a lifetime. Good benchmarks drive industry and technology forward. Benchmark can become counter productivity by encouraging artificial optimi

21、zation. So，every good benchmarks become obsolete over time”.淤(參考譯文)“性能測試指標具有其生命周期.好的指標可以推動業(yè)界及技術的發(fā)展.如果鼓勵人為的測試指標的優(yōu)化，那么，測試指標也可以對生產(chǎn)效率具有阻礙作用.所以, 隨著時間的推移，任何一個好的測試指標都會變得過時”上述著名公司的計算機專家及TPC-C專家們早在10年前，在肯定了TPC-C替代TPC-A 的積極意義的同時，已經(jīng)清醒地指出人為優(yōu)化TPC-C所帶來的問題及危害，并強調任何一個 好的測試指標，都會隨著時間的推移而作廢。TPC-E：TPC-E于2007年3月19日出臺，這一

22、倍受期待的基準將替換已有15年歷史的TPC-C。 新的測試包含了一個聯(lián)機事務處理系統(tǒng)（OLTP）性能分析，對各種軟硬件平臺進行模擬現(xiàn)代 IT環(huán)境的壓力測試。與TPC-C一樣，TPC-E的測試也主要有兩個指標：性能指標（tpsE，transactions per second E）和性價比（美元/tpsE）。其中，前者是指系統(tǒng)在執(zhí)行多種交易時，每秒鐘可以 處理多少交易，其指標值越大越好；后者則是指系統(tǒng)價格與前一指標的比值，數(shù)值越小越好。從測試原理上看，TPC-E模擬了一個中介公司和那些貿(mào)易、會計查詢和市場研究方面 的客戶之間的交易。這個公司會和金融市場產(chǎn)生聯(lián)動，并基于客戶的利益執(zhí)行指令及更新那

23、些賬戶信息。在TPC-E標準中，客戶的數(shù)量可以代表不同規(guī)模的商業(yè)事務，把十種商業(yè)事務 混合在一起執(zhí)行。與TPC-C相比，TPC-E是針對一種模擬訂單錄入與銷售環(huán)境測量每分鐘商業(yè)事務 （tpmC）吞吐量，測量的事務類型也只有四種。兩相對比，TPC-E所采用的商業(yè)模型更為 人們熟悉也更容易理解，也包含了更多的事務類型。相對TPC-C，TPC-E則更加客觀。TPC-H 和TPC-RTPC委員會設計的TPC-H是一個用于量度服務器支持在線分析（OLAP）和決策能力 的基準測試。它由一組面向業(yè)務的即時查詢和同時數(shù)據(jù)修改組成。所選擇的數(shù)據(jù)庫查詢和修 改操作都具有廣泛的實際應用背景、同時又照顧到容易實施。這

24、一基準測試說明服務器支持 如下決策支持功能的能力：觀察大量數(shù)據(jù)；執(zhí)行高度復雜的查詢；給出關鍵業(yè)務問題的答案；TPC-H通過執(zhí)行規(guī)定控制條件下標準數(shù)據(jù)庫的一組查詢、量度服務器運行各種決策支持系統(tǒng)的性能。TPC-H查詢具有如下的功能和特性:給出實際業(yè)務問題的答案；模擬用戶在終端上的即時查詢(例如，通過點擊GUI接口)；完成比大多數(shù)OLTP交易復雜得多的查詢(包括大量操作和選擇的約束條件)對所測試的數(shù)據(jù)庫服務器系統(tǒng)產(chǎn)生很大的工作負載；要求所測試的數(shù)據(jù)庫具有規(guī)定的容量和很大的可伸縮性；要求查詢與其它在線數(shù)據(jù)庫操作同時進行；要求數(shù)據(jù)庫具有24X7連續(xù)可用性；TPC-H基準測試報告的性能尺度稱為組合每小時

25、查詢性能指標(QphHSize)，反映系 統(tǒng)處理查詢的綜合能力，包括對選擇規(guī)模數(shù)據(jù)庫執(zhí)行查詢的速度、當查詢以單一流送入時的 查詢處理能力、當查詢由多個同時用戶送入時的查詢吞吐能力。TPC-H的價格/性能指標以 $/QphHSize來表示。數(shù)據(jù)庫查詢的速度顯然與數(shù)據(jù)庫容量有關，因此TPC-H基準測試指 標也與測試時所使用的數(shù)據(jù)庫容量有關。例如，1TBTPC-H、10TB TPC-H指標分別表示使 用容量為1 TB和10 TB數(shù)據(jù)庫進行測試、所得到的結果。此外，TPC委員會還設計的TPC-R基準測試。它類似于TPC-H，但允許根據(jù)對預先了解 的知識對查詢進行優(yōu)化。TPC-R基準測試報告的性能尺度稱為組合每小時查詢性能指標(QphRSize)，TPC-R的價格/性能指標以$/QphRSize來表示。高性能技術計算（HPC）:20世紀90年代中后期以來，許多HPTC應用領域越來越多地希望利用半導體和計算機技