1、XXXXXX 手機銀行客戶端手機銀行客戶端 性能測試方案性能測試方案 修訂記錄修訂記錄 日期日期版本版本修訂說明修訂說明修訂人修訂人 2011-8-301.0 初稿王穎 目目 錄錄 1導言導言.1 1.1文檔目的 .1 1.2背景 .1 1.3參考文檔 .1 2測試目的測試目的.1 3測試指標測試指標.2 4測試范圍測試范圍.3 4.1邏輯架構圖.3 4.2交易選取原則.3 4.3交易范圍 .4 4.4環(huán)境與版本.5 5測試資源測試資源.5 5.1人員 .5 5.2工具 .5 5.3環(huán)境 .6 5.3.1網(wǎng)絡拓撲圖.6 5.3.2軟硬件配置.6 6測試約束測試約束.7 6.1入口和出口準則.7

2、 6.1.1入口準則.7 6.1.2出口準則.7 6.2暫停/再啟動準則.7 6.3通過/失敗準則.8 6.3.1通過準則.8 6.3.2失敗準則.8 7測試策略測試策略.8 7.1策略描述 .8 7.2測試類型 .9 7.2.1基準測試.9 7.2.2負載測試.9 7.2.3穩(wěn)定性測試.9 7.3測試數(shù)據(jù) .9 7.3.1參數(shù)數(shù)據(jù).9 7.3.2存量數(shù)據(jù).9 8測試方法測試方法 .10 8.1基準測試 .10 8.1.1場景1：普通聯(lián)機交易基準測試場景.10 8.1.2場景2：普通聯(lián)機交易以檔板程序返回的基準測試場景.10 8.2負載測試 .11 8.2.1場景3：單交易負載測試.11 8.

3、3穩(wěn)定性測試 .12 8.3.1場景4：穩(wěn)定性測試場景.12 9測試風險測試風險 .12 10進度及分工進度及分工.12 11交付物交付物.13 12附件附件.13 1導言導言 1.1文檔目的文檔目的 手機銀行客戶端系統(tǒng)（簡稱客戶端系統(tǒng)）即將上線，為了保證投產(chǎn)后系統(tǒng)能夠支撐業(yè) 務發(fā)展，穩(wěn)定運行，對手機客戶端系統(tǒng)進行性能測試；本文檔的編寫即是為了對性能測試 實施提供方法指導、計劃資源分配、識別實施風險，提高測試的可控性和有效性。 1.2背景背景 手機客戶端系統(tǒng)是在推出 wap 手機銀行后，針對高端手機客戶推出的在線金融服務系 統(tǒng)，手機客戶端系統(tǒng)與 wap 系統(tǒng)共用一套客戶數(shù)據(jù)，傳統(tǒng)業(yè)務業(yè)務邏輯一

4、致，針對手機客 戶端獨有的特點，推出了金融助手服務，主要包含了，商戶搜索，在線購買機票，手機充 值，理財計算器等特色功能。 由于客戶端和 wap 手機銀行共用一套客戶數(shù)據(jù)，故 wap 手機銀行的客戶群是手機銀行 客戶端系統(tǒng)潛在的使用者。所以手機銀行客戶端系統(tǒng)的性能測試基于現(xiàn)有 wap 手機銀行生 產(chǎn)的存量數(shù)據(jù)進行，保證性能測試環(huán)境與將來生產(chǎn)環(huán)境相吻合。 備注：但實際測試過程中，銀行很難提供完全滿足業(yè)務的大量數(shù)據(jù)，因為這些大量數(shù) 據(jù)不一定能滿足我們所做業(yè)務的單項數(shù)據(jù)要求。 1.3參考文檔參考文檔 暫無 2測試目的測試目的 通過對手機銀行客戶端系統(tǒng)的性能測試實施，在測試范圍內可以達到如下目的： 1

5、、 了解客戶端系統(tǒng)在各種業(yè)務場景下的性能表現(xiàn)； 2、 了解客戶端業(yè)務系統(tǒng)的穩(wěn)定性； 3、 檢驗系統(tǒng)在異常業(yè)務場景下的容錯能力； 4、 通過各種業(yè)務場景的測試實施，為系統(tǒng)調優(yōu)提供數(shù)據(jù)參考； 5、 通過性能測試發(fā)現(xiàn)系統(tǒng)瓶頸，并進行優(yōu)化。 6、 預估系統(tǒng)的業(yè)務容量 3測試指標測試指標 指標分類指標分類指標描述指標描述性能指標需求數(shù)值性能指標需求數(shù)值 每秒事務數(shù) TPSTPS1=100 筆/秒 典型交易平均交易響應時間 ART ART 0.2 秒/筆 系統(tǒng)處理能力 交易成功率 98% CPU 占用率 60% 內存使用率 80%主機資源利用率 磁盤讀寫率(I/O) 80% CPU 占用率 60% 內存使

6、用率 80%EWP 資源利用率 磁盤讀寫率(I/O) 80% 系統(tǒng)穩(wěn)定性評估系統(tǒng)是否能夠長時間穩(wěn)定運行 1、交易成功率98%； 2、場景運行期間系統(tǒng)資源及處 理能力保持平穩(wěn)； 3、無內存泄漏發(fā)生； 【說明】 1、把手機銀行客戶端接入的服務(EWP)和應用服務(APP)作為一個整體進行測試，前 提是保證 EWP 服務不成為系統(tǒng)的瓶頸，如果發(fā)現(xiàn) EWP 是瓶頸需要查明原因，并解決。 2、為了保證測試過程中負載機/客戶端不成為系統(tǒng)瓶頸，測試過程中要求負載機/客戶 端的 CPU 和內存使用率均低于 80%，否則需要考慮增加負載機資源。 3、為了重點測試手機銀行客戶端自身系統(tǒng)，系統(tǒng)的聯(lián)機交易均做檔板處理

7、。系統(tǒng)通過 前置發(fā)起交易測試一組基礎數(shù)據(jù)，以便得到系統(tǒng)自身響應時間，通過該響應時間確定在混 合業(yè)務場景中不同交易的占比。 4測試范圍測試范圍 4.1邏輯架構圖邏輯架構圖 手機客戶端就是可以在手機終端運行的軟件；光大銀行的客戶端指的是推出的給客戶 提供在線金融服務的手機客戶端，包括三部分，客戶端，EWP，APP，本次性能測試主要 針對 EWP 服務和 APP 服務，業(yè)務邏輯圖如下： 為了真實反映手機客戶端系統(tǒng)自身的處理能力，本次測試范圍只包含客戶端系統(tǒng)新增 加的服務（圖中黑色線實框） ，客戶端，前置和核心等業(yè)務系統(tǒng)不在本次測試范圍內。由于 加密機為本次客戶端上線做了升級，故對升級部分包含在本次測

8、試范圍內。 4.2交易選取原則交易選取原則 手機銀行客戶端系統(tǒng)的性能測試交易選取原則如下： 1、 覆蓋日交易發(fā)生量累計占日交易總量 80%的交易； 2、 業(yè)務邏輯處理復雜的交易； 3、 被測系統(tǒng)特殊性能關注點； 4、 取 WAP 手機銀行最新日交易量情況調整交易范圍及比例 4.3交易范圍交易范圍 本次性能測試包括手機銀行 CS 版本主要交易和關鍵性交易以及內部管理系統(tǒng)用戶登錄。 登錄后交易包括登陸交易、儲蓄賬戶類交易（包括查詢，轉賬（行內轉賬） ） 、信用卡查詢； 非登錄，支付交易，商戶查詢，儲蓄計算器等內容。 編編 號號 交易碼交易碼交易名交易名交易占比交易占比腳本名稱腳本名稱可參數(shù)化域可參

9、數(shù)化域 1GeneratePINFromRSAToDes 測試通過加密機進行 RSA 密碼到 3DES 轉換性能 5% 2Login 用戶認證 20% Password UserId _locale BankId LoginType 4ActQueryPre 余額查詢賬戶列表 10% 5ActBalQry 余額查詢 10% AcNo BankAcType 6ActTrsQry 交易明細查詢 10% AcNo BankAcType BeginDate EndDate Currency 7BankInnerTransfer 行內轉賬 15% 8AcctInfoQry 信用卡賬戶信息查詢 10% 9

10、BillInCurQry 未出賬單查詢 10% CardId Currency 10ClientPayPre 發(fā)起支付 5% Plain Signature 11ClientPay 支付 5% Plain Signature MobilePhone SignFlag merchantId MerName orderId transAmt transDateTim e customerName productInfo customerEMai l merURL merURL1 msgExt currencyType payType EpayAcNo AcType cvv2 ExpDate Tes

11、tCode AcTypeValue VerType Password OTPPassword 4.4環(huán)境與版本環(huán)境與版本 性能測試是為了驗證被測系統(tǒng)是否滿足生產(chǎn)環(huán)境下的業(yè)務需求，因此要求測試環(huán)境 （軟硬件資源）與被測系統(tǒng)均與上線環(huán)境保持一致。 5測試資源測試資源 5.1人員人員 1.項目經(jīng)理：楊濤，任可任 2.測試負責人：王磊 3.測試人員：楊濤，任可任，王琦，張程等 4.運維人員：周艷慶 5.2工具工具 用途用途工具工具廠商廠商/ /自產(chǎn)自產(chǎn)版本版本 測試管理 QCHP9.0 手工 / 測試執(zhí)行 LoadRunnerHP8.1 測試缺陷 QCHP9.0 5.3環(huán)境環(huán)境 5.3.1網(wǎng)絡拓撲圖網(wǎng)

12、絡拓撲圖 暫時計劃使用測試環(huán)境進行測試，拓撲圖如下： 測試負載機 EWP服務器APP服務器網(wǎng)銀數(shù)據(jù)庫 5.3.2軟硬件配置軟硬件配置 為了盡可能模擬真實的生產(chǎn)環(huán)境，本次測試在測試環(huán)境上執(zhí)行，軟硬件配置如下： 環(huán)境環(huán)境資源資源 數(shù)數(shù) 量量 配置配置 與生產(chǎn)環(huán)境差與生產(chǎn)環(huán)境差 異異 EWP 服務器 硬件環(huán)境 EWP 服務 1 PC Server 8 CPU：2 核，主頻 2.4GHz 內存：16G 存儲：300G IP 地址：10.1.91.4 有差異：生產(chǎn) 環(huán)境 CPU 為 8 核 EWP 服務操 作系統(tǒng) 1 CentOS 5.4 無差別 EWP 軟件環(huán) 境EWP 服務應 用軟件 1 EWP3.

13、0 無差別 APP 服務器 硬件環(huán)境 APP 服務器 1 HP-UNIX CPU：4 核，主頻 1.6GHz 內存：16G 存儲： IP 地址：10.1.18.84 有差異：生產(chǎn) 環(huán)境內存為 20G APP 服務操 作系統(tǒng) 1 HP-UX B.11.31 無差別APP 軟件環(huán) 境 APP 服務器 J2EE 容器 1 Weblogic 10.3.0.0 無差別 6測試測試約束約束 6.1入口和出口準則入口和出口準則 6.1.1入口準則入口準則 1、 測試目的、測試指標均已明確； 2、 測試環(huán)境已經(jīng)就緒； 3、 測試腳本已經(jīng)編寫并調試通過； 4、 測試腳本已參數(shù)化； 5、 測試數(shù)據(jù)已經(jīng)準備； 6、

14、 負載機已經(jīng)準備； 7、 測試工具已經(jīng)準備并已安裝足夠的 License； 8、 測試人員全部到位； 9、 測試接口人已經(jīng)明確； 10、測試計劃通過評審； 以上條件必須全部滿足。 6.1.2出口準則出口準則 1、 所有場景均已執(zhí)行； 2、 測試結果通過評審； 3、 測試場景未執(zhí)行完成但已經(jīng)沒有測試時間； 以上滿足 1、2 屬于正常退出，滿足 3 屬于異常退出。 6.2暫停暫停/再啟動準則再啟動準則 1、 測試環(huán)境出現(xiàn)問題導致測試無法繼續(xù)進行； 2、 測試數(shù)據(jù)不能及時準備就緒； 3、 測試中出現(xiàn)的缺陷不能及時解決且影響后續(xù)的測試執(zhí)行； 4、 其它導致測試無法繼續(xù)進行的情況出現(xiàn)； 以上條件滿足其一

15、測試可進入暫停狀態(tài)。 導致測試暫停的問題得以解決即可重新啟動測試執(zhí)行。 6.3通過通過/失敗準則失敗準則 6.3.1通過準則通過準則 1、 所有場景均已執(zhí)行； 2、 被測系統(tǒng)達到預期性能指標； 以上條件全部滿足則測試通過。 6.3.2失敗準則失敗準則 1、 場景未能按計劃執(zhí)行； 2、 場景變更未通過評審； 3、 被測系統(tǒng)性能數(shù)據(jù)不滿足指標需求； 4、 因各種問題導致測試結果無效； 出現(xiàn)以上情況之一則測試失敗。 7測試策略測試策略 本章主要描述本次測試的策略及測試類型。 7.1策略描述策略描述 1、為了模擬更真實的生產(chǎn)環(huán)境，在基礎測試階段要采集 3 組數(shù)據(jù)： -通過前置發(fā)送核心系統(tǒng)，得到核心系統(tǒng)

16、處理業(yè)務的響應時間 -通過網(wǎng)銀擋板，模擬核心系統(tǒng)返回，得到網(wǎng)銀系統(tǒng)業(yè)務響應時間 -通過 EWP 擋板，模擬網(wǎng)銀系統(tǒng)返回，得到 EWP 系統(tǒng)業(yè)務響應時間 2、通過基礎測試階段得到的 TPS 推算出混合場景的業(yè)務占比模型，從而通過測試得 到最貼近生產(chǎn)環(huán)境下的測試結果； 本次性能測試在局域網(wǎng)環(huán)境內進行，測試服務包括兩部分：手機銀行接入服務 （EWP）,手機銀行應用服務(APP),對 EWP 服務器的資源使用情況進行監(jiān)控，并獲取相關 性能指標（支持并發(fā)數(shù)，響應時間） ；手機銀行應用服務（支持并發(fā)數(shù)，響應時間） 。 7.2測試類型測試類型 本次測試的測試類型包括基準測試、負載測試、穩(wěn)定性測試。 7.2.

17、1基準測試基準測試 基準測試是在系統(tǒng)無壓力的情況下，通過對單交易進行多次迭代，獲取該交易發(fā)送單 筆請求的平均響應時間，為后續(xù)的負載測試提供基準參照。測試共分為 3 種情況， 第一種：客戶端系統(tǒng)將交易發(fā)送至核心，得到交易響應時間； 第二種：客戶端系統(tǒng)通過 WAP 擋板程序，得到系統(tǒng)自身的交易響應時間。 第三種：客戶端系統(tǒng)通過 EWP 擋板程序，得到 EWP 系統(tǒng)自身的交易響應時間。 本次測試對所有普通聯(lián)機交易執(zhí)行基準測試。 7.2.2負載測試負載測試 負載測試是模擬多用戶同時向服務器發(fā)送請求（單交易） ，獲取服務器對并發(fā)請求的處 理能力，并通過不斷有規(guī)律地改變請求壓力，獲取系統(tǒng)在不同壓力下的處理

18、效率及系統(tǒng)性 能拐點。 7.2.3穩(wěn)定性測試穩(wěn)定性測試 穩(wěn)定性測試是對特定場景在特定壓力下（一般選取相關場景性能平穩(wěn)處的壓力）的長 時間（理論為 724 小時）運行，通過觀察系統(tǒng)響應效率、交易成功率及主機資源變化情 況，分析被測系統(tǒng)是否能夠長時間穩(wěn)定運行。 疲勞測試對特定場景在特定壓力下（一般選取相關場景性能拐點處的壓力）的長時間 （理論為 724 小時）運行，通過觀察系統(tǒng)響應效率、交易成功率及主機資源變化情況， 分析被測系統(tǒng)是否能夠長時間穩(wěn)定運行。 7.3測試數(shù)據(jù)測試數(shù)據(jù) 7.3.1參數(shù)數(shù)據(jù)參數(shù)數(shù)據(jù) 為了盡可能的模擬系統(tǒng)生產(chǎn)環(huán)境，所以 JVM 的初始堆棧大小、應用服務器的線程池、 數(shù)據(jù)庫連接

19、池等系統(tǒng)配置，統(tǒng)一參考 WAP 手機銀行生產(chǎn)環(huán)境配置。 7.3.2存量數(shù)據(jù)存量數(shù)據(jù) 存量數(shù)據(jù)來自 WAP 手機銀行實際生產(chǎn)系統(tǒng)，對生產(chǎn)數(shù)據(jù)進行脫敏處理，去除包括姓名、 身份證號碼、密碼等敏感信息，并導入測試環(huán)境核心系統(tǒng)數(shù)據(jù)庫?；A數(shù)據(jù)的數(shù)據(jù)規(guī)模 （截至到 2008-04-10） 。 8測試方法測試方法 根據(jù)不同的測試目的共設計 6 個業(yè)務模型測試場景， 8.1基準測試基準測試 本次測試只對普通聯(lián)機交易執(zhí)行基準測試。 8.1.1場景場景 1：普通聯(lián)機交易基準測試場景：普通聯(lián)機交易基準測試場景（無擋板）（無擋板） 【場景目的】 獲取各個聯(lián)機交易通過前置系統(tǒng)返回的基準響應時間，為負載測試提供數(shù)據(jù)參考

20、。 執(zhí)行順序：執(zhí)行順序：1 【交易范圍】 所有性能測試涵蓋的交易。 【測試方法】 在測試環(huán)境無外在壓力的情況下，模擬單用戶迭代多次，獲取交易平均響應時間。 【場景設置】 場景名場景名 稱稱 用戶數(shù)用戶數(shù)迭代次數(shù)迭代次數(shù)迭代延時迭代延時思考時間思考時間加壓時間加壓時間負載生成器數(shù)量負載生成器數(shù)量 Scene115min 次數(shù)00跑完為止1 對所有普通聯(lián)機交易均執(zhí)行上述場景測試，獲取基準響應時間。 8.1.2場景場景 2：普通聯(lián)機交易以檔板程序返回的基準測試場景：普通聯(lián)機交易以檔板程序返回的基準測試場景（EWP 擋板）擋板） 【場景目的】 獲取各個聯(lián)機交易以檔板返回的基準響應時間，測試手機銀行客戶

21、端系統(tǒng)內處理交易 流程的性能瓶頸，為負載測試提供數(shù)據(jù)參考。 執(zhí)行順序：執(zhí)行順序：2 【交易范圍】 所有性能測試涵蓋的交易。 【測試方法】 在測試環(huán)境無外在壓力的情況下，模擬單用戶迭代多次，獲取交易平均響應時間。 【場景設置】 場景名場景名 稱稱 用戶數(shù)用戶數(shù)迭代次數(shù)迭代次數(shù)迭代延時迭代延時思考時間思考時間加壓時間加壓時間負載生成器數(shù)量負載生成器數(shù)量 Scene215min 次數(shù)00跑完為止1 對所有普通聯(lián)機交易均執(zhí)行上述場景測試，獲取基準響應時間。 8.1.3場景場景 3：普通聯(lián)機交易以檔板程序返回的基準測試場景（：普通聯(lián)機交易以檔板程序返回的基準測試場景（WAP 擋板）擋板） 【場景目的】

22、獲取各個聯(lián)機交易以檔板返回的基準響應時間，測試手機銀行客戶端系統(tǒng)內處理交易 流程的性能瓶頸，為負載測試提供數(shù)據(jù)參考。 執(zhí)行順序：執(zhí)行順序：2 【交易范圍】 所有性能測試涵蓋的交易。 【測試方法】 在測試環(huán)境無外在壓力的情況下，模擬單用戶迭代多次，獲取交易平均響應時間。 【場景設置】 場景名場景名 稱稱 用戶數(shù)用戶數(shù)迭代次數(shù)迭代次數(shù)迭代延時迭代延時思考時間思考時間加壓時間加壓時間負載生成器數(shù)量負載生成器數(shù)量 Scene215min 次數(shù)00跑完為止1 對所有普通聯(lián)機交易均執(zhí)行上述場景測試，獲取基準響應時間。 8.2負載測試負載測試 8.2.1場景場景 4：單交易負載測試：單交易負載測試 【場景目

23、的】 測試單個交易在高并發(fā)情況下的處理效率，定位每個交易影響處理性能的缺陷。查看 在并發(fā)提交請求時刻，服務器對這些請求的處理和響應能力。主要觀察內存使用情況，首 先要觀察各并發(fā)時刻或者多次并發(fā)持續(xù)時間段內，是否存在內存泄露；其次觀察服務進程 會否停止、僵死、鎖頁，這兩種情況都是比較極端的故障情況，如果程序實現(xiàn)良好沒有內 存泄露，并且進程狀況良好，不會出現(xiàn)上述兩種現(xiàn)象，需要進一步跟蹤響應時間、每秒點 擊率、業(yè)務失敗率等性能指標在各并發(fā)時刻或者多次并發(fā)持續(xù)時間段內，是否能夠表現(xiàn)在 用戶可接受范圍內。 優(yōu)先級：優(yōu)先級：高 執(zhí)行順序：執(zhí)行順序：3 【交易范圍】 所有性能測試涵蓋的交易。 【測試方法】

24、在測試環(huán)境每秒增加 25 用戶，模擬多用戶高并發(fā)的情況，觀察內存回收、CPU 使用 率、應用服務器線程池使用情況、交易響應時間等關鍵數(shù)據(jù)。 【場景設置】 場景名場景名 稱稱 用戶用戶 數(shù)數(shù) 迭代延迭代延 時時 思考思考 時間時間 加載方加載方 式式 加壓時加壓時 間間 退出方式退出方式負載生成器負載生成器 數(shù)量數(shù)量 Scene325 50 00遞增5 分鐘同時1 8.3穩(wěn)定性測試穩(wěn)定性測試 8.3.1場景場景 5：混合業(yè)務容量測試場景：混合業(yè)務容量測試場景（最合適的用戶數(shù)和可承受的最大業(yè)務總量）（最合適的用戶數(shù)和可承受的最大業(yè)務總量） 【場景目的】 在混合不同交易的場景中，不斷增加用戶并發(fā)請求

25、量，同時觀察系統(tǒng)性能拐點，最終 測試出系統(tǒng)最合適的用戶數(shù)和可承受的最大業(yè)務總量。 優(yōu)先級：優(yōu)先級：高 執(zhí)行順序：執(zhí)行順序：4 【測試方法】 根據(jù)場景 1 中得到的每個交易的基準響應時間，按照比例配置每個交易的并發(fā)請求量， 從而建立一個混合業(yè)務的測試場景模型。在每秒增加 50 用戶并發(fā)請求的壓力下，觀察系統(tǒng) 的整體運行情況，最終找到系統(tǒng)性能拐點，確定最合適的用戶數(shù)和最大業(yè)務容量。 【場景設置】 場景名場景名 稱稱 用戶用戶 數(shù)數(shù) 迭代延迭代延 時時 思考時思考時 間間 加載方加載方 式式 加壓時加壓時 間間 退出方式退出方式負載生成器負載生成器 數(shù)量數(shù)量 Scene450 100 . 00遞增不

26、限時 間 系統(tǒng)性能達到 拐點 1 8.3.2場景場景 6：混合業(yè)務穩(wěn)定性測試場景（穩(wěn)定性測試和疲勞測試）：混合業(yè)務穩(wěn)定性測試場景（穩(wěn)定性測試和疲勞測試） 【場景目的】 在混合不同交易的場景中，使服務器的資源處于平穩(wěn)狀態(tài)和極限狀態(tài)，并長時連續(xù)運 行，以測試服務器在高負載情況下是否能夠穩(wěn)定工作。 優(yōu)先級：優(yōu)先級：高 執(zhí)行順序：執(zhí)行順序：5 【測試方法】 根據(jù)場景 1 中得到的每個交易的基準響應時間，按照比例配置每個交易的并發(fā)請求量， 從而建立一個混合業(yè)務的測試場景模型。在多用戶并發(fā)請求的壓力下，系統(tǒng)連續(xù)運行 12 小 時，觀察系統(tǒng)的整體運行情況。 【場景設置】 場景名場景名 稱稱 用戶用戶 數(shù)數(shù) 迭代延迭代延 時時 思考時思考時 間間 加載方加載方 式式 加壓時加壓時 間間 退出方退出方 式式 負載生成器數(shù)負載生成器數(shù) 量量 Scene5待定00同時12 小時同時1 9測試風險測試風險 風險風險 編號