1、TPCC VS TPCH基準(zhǔn)測試,中國惠普有限公司 企業(yè)計(jì)算與專業(yè)服務(wù)集團(tuán),議程,第一部分：TPCC 第二部分：TPCH 第三部分：兩種測試模型的比較 第四部分：HP在TPCH測試中的領(lǐng)先地位,議程,第一部分： TPCC 簡單介紹 測試環(huán)境 數(shù)據(jù)模型 數(shù)據(jù)量 事務(wù)類型 TPMC計(jì)算方法 第二部分：TPCH 第三部分：兩種測試模型的比較 第四部分：HP在TPCH測試中的領(lǐng)先地位,TPCC簡單介紹,TPCC是在線事務(wù)處理(OLTP)的基準(zhǔn)程序； TPC-C模擬一個(gè)批發(fā)商的貨物管理環(huán)境； TPC-C的性能由TPC-C吞吐率衡量，單位是tpmC。tpm是transactions per minute的

2、簡稱； /tpcc/default.asp,TPCC測試環(huán)境,C = Client K/D = Keyboard/Display RTE = Remote Terminal Emulator S = Server,SUT = System Under Test WS = Workstation * = Optionsl,TELNET,xterm,TPCC數(shù)據(jù)模型,這個(gè)測試模型是通過搭建并發(fā)訪問和在線事物處理的模式下的業(yè)務(wù)處理。 所模擬的客戶環(huán)境是一個(gè)總公司下屬有多個(gè)貨品倉庫； 每個(gè)貨品倉庫下屬有多個(gè)個(gè)分銷機(jī)構(gòu)； 每個(gè)商品分銷機(jī)構(gòu)擁有多個(gè)個(gè)客戶； 每個(gè)貨品倉庫總

3、處理多個(gè)個(gè)客戶的購買行為和業(yè)務(wù)處理；,TPCC數(shù)據(jù)量,下表是TPC-C標(biāo)準(zhǔn)定義的初始數(shù)據(jù)庫的對象以及數(shù)量； TPC-C測試數(shù)據(jù)庫初始大小為180MB200MB；,TPCC事務(wù)類型,支付、訂單狀態(tài)、交付、庫存水平、新訂單五種交易，事務(wù)類型簡單； 事務(wù)類型（支付、訂單狀態(tài)、交付、庫存水平、新訂單）的事務(wù)量的比例固定； 壓力產(chǎn)生工具不斷產(chǎn)生事務(wù)； 監(jiān)控各種事務(wù)的響應(yīng)時(shí)間和數(shù)量。,TPMC的計(jì)算,TPC-C基準(zhǔn)測試的結(jié)果TPC-C的吞吐量（tpmC）， 它被定義為系統(tǒng)每分鐘可以處理多少個(gè)新訂單事務(wù)； 與此同時(shí)，系統(tǒng)還在處理其他四種事務(wù)類型（支付、訂單狀態(tài)、交付、庫存水平）。 所有5個(gè)TPC-C事務(wù)都有

4、某個(gè)限定的用戶響應(yīng)時(shí)間要求，其中新訂單事務(wù)的響應(yīng)時(shí)間是5秒以內(nèi)。,議程,第一部分： TPCC 第二部分：TPCH 簡單介紹 測試環(huán)境 數(shù)據(jù)模型 數(shù)據(jù)量 事務(wù)類型 第三部分：兩種測試模型的比較 第四部分：HP在TPCH測試中的領(lǐng)先地位,TPCH簡單介紹,TPC-H是在線分析處理 (OLAP )的基準(zhǔn)程序 主要用來模擬一個(gè)供應(yīng)商和采購商之間的交易行為。 它包括模擬真實(shí)商業(yè)交易數(shù)據(jù)庫的動(dòng)態(tài)查詢， 查詢通常比較復(fù)雜，可作為在線分析處理系統(tǒng)的參考。 TPC-H的性能由TPCH Power來衡量， TPCH Power與數(shù)據(jù)量和交易平均時(shí)間相關(guān)；表示一個(gè)小時(shí)內(nèi)能夠完成的復(fù)雜交易的數(shù)量； http:/www

5、./tpch/,TPCH測試環(huán)境,Host base configuration,TPCH測試環(huán)境,Client/Server configuration,TPCH數(shù)據(jù)模型,這個(gè)測試模型是通過搭建并發(fā)訪問和在線事物處理的模式下的業(yè)務(wù)處理。 所模擬的環(huán)境是一個(gè)供應(yīng)商和采購商之間的交易行為； 采購商從不同的供應(yīng)商采購商品； 每次采購交易用一個(gè)訂單來記錄；,TPCH數(shù)據(jù)量,TPC組織提供數(shù)據(jù)產(chǎn)生工具DBGEN， DBGEN用標(biāo)準(zhǔn)C編寫； 通過參數(shù)指定產(chǎn)生的數(shù)據(jù)量；,option argument default action - - - - -f none Force.如果數(shù)據(jù)文件已經(jīng)

6、存在，將被覆蓋； -F none yes 輸出文件格式為扁平文件； -s 1 產(chǎn)生的數(shù)據(jù)量，以G為單位； -U 產(chǎn)生update/delete操作相關(guān)的文件；,Example: 產(chǎn)生5GB的數(shù)據(jù)總量 ./dbgen -f -s 5,TPCH事務(wù)類型,TPC組織提供數(shù)據(jù)產(chǎn)生事務(wù)產(chǎn)生工具QGEN， QGEN用標(biāo)準(zhǔn)C編寫； 通過SQL模版和指定參數(shù)來生成復(fù)雜的操作；,Example: 產(chǎn)生交易事務(wù)，并存儲(chǔ)在stream00.sql中。 ./qgen -d -c -i start.sql -t end.sql -r 0326141949 -p 0 -l parameters00.txt stream0

7、0.sql,option argument default action - - - - -c none 在生成的SQL操作中保留注解 -d none Default.使用參數(shù)替換的方式生成SQL -i 事務(wù)開始前預(yù)先執(zhí)行的文件； -l 指定SQL參數(shù)文件 -p 生成的SQL事務(wù)編號(hào). -r 指定隨機(jī)種子 -t 事務(wù)結(jié)束時(shí)執(zhí)行的文件；,議程,第一部分：TPCC 第二部分：TPCH 第三部分：兩種測試模型的比較 第四部分：HP在TPCH測試中的領(lǐng)先地位,TPCC VS TPCH,TPCC的特點(diǎn)： 硬件廠商主導(dǎo)進(jìn)行測試； OLTP的測試模型 測試模型落后 隨著B2B、B2C等新型應(yīng)用逐漸興起，TP

8、C-C現(xiàn)有的倉庫管理系統(tǒng)測試模型已經(jīng)距離目前的OLTP應(yīng)用模式越來越遠(yuǎn)； 測試數(shù)據(jù)量太小初始數(shù)據(jù)量約為200M，與實(shí)際應(yīng)用相差太遠(yuǎn)； 交易過于簡單 5種簡單交易，交易也不足以覆蓋用戶現(xiàn)有的典型操作； 沒有統(tǒng)計(jì)、分析等復(fù)雜交易，不能測試出數(shù)據(jù)庫服務(wù)器的I/O瓶頸；,TPCH的特點(diǎn)： 數(shù)據(jù)庫軟件廠商主導(dǎo)進(jìn)行測試； OLAP的測試模型 測試模型非常靈活 數(shù)據(jù)量可以根據(jù)需要產(chǎn)生，可到10TB，30TB； 測試以統(tǒng)計(jì)、分析等復(fù)雜交易為主,事務(wù)復(fù)雜度可以根據(jù)需要產(chǎn)生； 測試模型貼近實(shí)際應(yīng)用 由于TPCH測試的數(shù)據(jù)量非常大，事務(wù)復(fù)雜度非常高，具有很高的實(shí)際參考價(jià)值；,Note that the disk d

9、rive performance is not increasing significantly,TPCC VS TPCH,應(yīng)用系統(tǒng)最大的瓶頸是物理IO； TPCC的數(shù)據(jù)量是固定的，約為180M200M，無法測試服務(wù)器整體IO能力； TPCH可以使用高達(dá)30TB的數(shù)據(jù)量進(jìn)行測試，很好的測試了服務(wù)器整體IO能力；,TPCC VS TPCH,TPC組織自己說明了TPCC退休的原因： 測試模型產(chǎn)生的系統(tǒng)壓力從1992到今天一直沒有改變過； 數(shù)據(jù)量大?。ǔ跏紴?00M左右）， 事務(wù)太簡單，不能達(dá)到今天應(yīng)用的要求； TPCC模型沒有充分測試數(shù)據(jù)庫服務(wù)器的I/O能力；而數(shù)據(jù)庫服務(wù)器的瓶頸主要在I/O； 到

10、今天，測試壓力已經(jīng)缺乏代表性， 因?yàn)闇y試模型和今天的真實(shí)的客戶環(huán)境相差太遠(yuǎn)。,、,議程,第一部分：TPCC 第二部分：TPCH 第三部分：兩種測試模型的比較 第四部分：HP在TPCH測試中的領(lǐng)先地位,2008年3月甲骨文公司在美國總部宣布，在TPCH基準(zhǔn)測試中創(chuàng)下了新的世界紀(jì)錄。測試結(jié)果為208,457.7 QphH10000GB，取得性價(jià)比的世界記錄27.97美元/QphH10000GB。 運(yùn)行在使用HP-UX 11i v3操作環(huán)境，硬件環(huán)境為HP StorageWorks Arrays、配有64位雙核英特爾安騰1.6 GHz處理器的HP Integrity Superdome 服務(wù)器。,H

11、P動(dòng)能服務(wù)器在TPCH中的領(lǐng)導(dǎo)地位10TB,30 TB,全球第一個(gè)容量為30TB的TPC-H測試結(jié)果 Providing outstanding HP-UX and Oracle performance with scalability in a highly reliable, standards-based Integrity server solution,150,960.5 QphH 30TB $46.69/QphH Available 6/18/07,Result achieved with HP Integrity Superdome (64p/128c Dual-core Int

12、el Itanium2 1.6GHz processors) with sx2000 chipset and StorageWorks arrays, running Oracle 10g R2 and HP-UX 11i v3,Results as of 06/19/07, see: , TPC-H is a trademark of the Transaction Processing Performance Council,HP動(dòng)能服務(wù)器在TPCH中的領(lǐng)導(dǎo)地位-30TB,TPCC VS SPECjAppServer2004,TPCC的特點(diǎn)： 測試模型誕生于1992年

13、，有17年的歷史； 測試模型落后 隨著B2B、B2C等新型應(yīng)用逐漸興起，TPC-C現(xiàn)有的倉庫管理系統(tǒng)測試模型已經(jīng)距離目前的OLTP應(yīng)用模式越來越遠(yuǎn)； 測試數(shù)據(jù)量太小初始數(shù)據(jù)量約為200M，與實(shí)際應(yīng)用相差太遠(yuǎn)； 交易過于簡單 5種作業(yè)需求也不足以覆蓋用戶現(xiàn)有的典型操作； 沒有統(tǒng)計(jì)、分析等復(fù)雜交易，不能測試出數(shù)據(jù)庫服務(wù)器的I/O瓶頸；,SPECjAppServer2004的特點(diǎn)： 測試模型誕生于2004年，以一個(gè)汽車制造商為模型構(gòu)建的; 它全面衡量中間件系統(tǒng)、數(shù)據(jù)庫系統(tǒng)的綜合處理能力; 測試數(shù)據(jù)量太小初始數(shù)據(jù)量約為GB級(jí)； 交易類型豐富，包括汽車交易的全過程；,THANKS!,、,TPCC VS

14、TPCH 其他廠商對TPCC的看法,IBM Redbook “Understanding IBM pSeries Performance and Sizing” “Even though the benchmark offers a rich environment that emulates many OLTP applications, this benchmark does not reflect the entire range of OLTP requirements. Benchmark results are highly dependent on workload, specific application requirements, and system design and implementation. Relative system performance will vary as a re