附件 1：成果上報(bào)申請(qǐng)書(shū) 成果名稱 BOSS 系統(tǒng)高可用性能力提升 成果申報(bào)單位 成果承擔(dān)部門(mén) /分公司 項(xiàng)目負(fù)責(zé)人姓名 成果專業(yè) 類(lèi)別 * 支撐 網(wǎng) 成 果 研究 類(lèi)別 * 現(xiàn)有業(yè)務(wù)優(yōu)化 省 內(nèi) 評(píng)審 結(jié)果 * 通過(guò) 關(guān)鍵詞索引（ 3 5 個(gè)） 業(yè)務(wù)支撐網(wǎng) ； BOSS； 電信級(jí) 文章摘要（ 200 字左右）： 在 市場(chǎng) 競(jìng)爭(zhēng) 激烈 、 以客戶為導(dǎo)向的今天，業(yè)務(wù)的發(fā)展、市場(chǎng)的開(kāi)拓和客戶滿意度的提升等方面對(duì)業(yè)務(wù)支撐系統(tǒng)提出了更高的要求。對(duì)中國(guó)移動(dòng)廣西公司來(lái)說(shuō)，提升系統(tǒng)的可靠性和可用性，構(gòu)建電信級(jí)的業(yè)務(wù)支撐網(wǎng)系統(tǒng)，已成為增強(qiáng)企業(yè)核心競(jìng)爭(zhēng)力、提升客戶滿意度的重要手段。 BOSS 系統(tǒng)做為業(yè)務(wù)支撐網(wǎng)的核心系統(tǒng)，系統(tǒng)龐大、架構(gòu)復(fù)雜，自 BOSS1.5 上線以來(lái)，系統(tǒng)就一直受到穩(wěn)定性差，故障頻發(fā)且故障引發(fā)業(yè)務(wù)中斷時(shí)間長(zhǎng)的困擾。本項(xiàng)目將以科學(xué)的方法和手段深入分析目前系統(tǒng)癥狀，找出對(duì)策，以 7X24 小時(shí)不間斷可用服務(wù)電信級(jí) BOSS系統(tǒng)為目標(biāo)，通過(guò)對(duì)系統(tǒng)逐步實(shí)施改造、優(yōu)化，逐漸提高 BOSS 系統(tǒng)的可靠性和可用性， 探討如何持續(xù)漸進(jìn)的建設(shè)電信級(jí)的業(yè)務(wù)支撐系統(tǒng)的思路 。 省內(nèi)試運(yùn)行效果（ 300 字以上）： 從 2007 年 4 月份開(kāi)始實(shí)施，截止到 9 月底取 得的效果： 1、系統(tǒng)平臺(tái)層面 營(yíng)業(yè)系統(tǒng)：提升營(yíng)業(yè)數(shù)據(jù)庫(kù)、中間件的處理能力，解決營(yíng)業(yè)數(shù)據(jù)庫(kù) RAC 在節(jié)點(diǎn)主機(jī)宕機(jī)時(shí)不能正?；榻庸軉?wèn)題。 客服系統(tǒng)：完成了網(wǎng)絡(luò)優(yōu)化改造和客服數(shù)據(jù)庫(kù)單點(diǎn)故障改造。 帳務(wù)系統(tǒng)：提升帳務(wù)應(yīng)用、數(shù)據(jù)庫(kù)的處理能力，完成帳務(wù)數(shù)據(jù)庫(kù)單點(diǎn)故障改造。 計(jì)費(fèi)系統(tǒng)：完成擴(kuò)容提升計(jì)費(fèi)系統(tǒng)的處理能力。 CBOSS：完成 BES 配置集群、建立 CBOSS 應(yīng)急系統(tǒng) 。 PRM/CHANNEL：完成從營(yíng)業(yè)中間件分離出來(lái)，消除單點(diǎn)故障隱患。 結(jié)算系統(tǒng)：完成主機(jī)遷移提升系統(tǒng)處理能力，消除單點(diǎn)故障隱患。 即開(kāi)即通：配置了雙 機(jī)，負(fù)載均衡，完成了全區(qū) BOSS 到 HLR 的備用路由的開(kāi)通，通過(guò)路由切換腳本完成主備路由切換，主路由實(shí)現(xiàn)冗余，整個(gè)系統(tǒng)完成了消除單點(diǎn)故障的改造。 二卡合一：配置了雙機(jī)，負(fù)載均衡，消除消除單點(diǎn)故障。 2、維護(hù)管理層面 完善并演練了各子系統(tǒng)的應(yīng)急預(yù)案，其中做為核心系統(tǒng)的 營(yíng)業(yè)系統(tǒng)的中間件在數(shù)據(jù)庫(kù)后臺(tái)之間的應(yīng)急方案切換速度由原來(lái)的 2 個(gè) 多小時(shí)縮短到 30 分鐘左右。 BOSS 網(wǎng)管本地化需求已完成部分功能，監(jiān)控手段、維護(hù)流程得到進(jìn)一步完善。 3、系統(tǒng)實(shí)施改造后， 不管是故障次數(shù)、故障影響業(yè)務(wù)時(shí)長(zhǎng)均比上半年有了明顯下降。 文章主體（ 3000 字以上，可附在表格后）： 根據(jù)成果研究類(lèi)別，主體內(nèi)容的要求有差異，具體要求見(jiàn)表格后的“填寫(xiě)說(shuō)明”。 文章主體： 一、項(xiàng)目簡(jiǎn)介 （一）項(xiàng)目背景 在 市場(chǎng) 競(jìng)爭(zhēng) 激烈 、 以客戶為導(dǎo)向的今天，業(yè)務(wù)的發(fā)展、市場(chǎng)的開(kāi)拓和客戶滿意度的提升等方面對(duì)業(yè)務(wù)支撐系統(tǒng)提出了更高的要求。對(duì)中國(guó)移動(dòng)廣西公司來(lái)說(shuō)，提升系統(tǒng)的 可靠 性和可用性，構(gòu)建電信級(jí)的業(yè)務(wù)支撐網(wǎng)系統(tǒng)，已成為增強(qiáng)企業(yè)核心競(jìng)爭(zhēng)力、提升客戶滿意度的重要手段。 BOSS 系統(tǒng)做為業(yè)務(wù)支撐網(wǎng)的核心系統(tǒng)， 系統(tǒng)龐大、架構(gòu)復(fù)雜， 自 BOSS1.5 上線以來(lái)，系統(tǒng)就一直受到穩(wěn)定性差， 故障頻發(fā)且 故障引發(fā)業(yè)務(wù)中斷時(shí)間長(zhǎng)的困擾。本項(xiàng)目將 以科學(xué)的方法和手段 深入分析目前系統(tǒng)癥狀， 找出對(duì)策， 以 7X24 小時(shí)不間斷可用服務(wù)電信級(jí) BOSS系統(tǒng)為目標(biāo)，通過(guò)對(duì)系統(tǒng)逐步實(shí)施改造、優(yōu)化，逐漸 提高 BOSS 系統(tǒng)的 可靠性和可用性， 探討 如何持續(xù)漸進(jìn)的 建設(shè)電信級(jí)的業(yè)務(wù)支撐系統(tǒng)的 思路 。 （二）項(xiàng)目實(shí)施過(guò)程 1、首先提出了電信級(jí) BOSS 系統(tǒng)的定義 參照對(duì)電信級(jí)網(wǎng)絡(luò)的定義 ， 提出了電信級(jí)水平的 BOSS 系統(tǒng)的定義： 電信級(jí) BOSS 系統(tǒng)可認(rèn)為與電信級(jí)網(wǎng)絡(luò)相對(duì)應(yīng)，是以可運(yùn)營(yíng)為核心，提供 7X24 小時(shí)不間斷可用服務(wù)的業(yè)務(wù)支撐系統(tǒng)。應(yīng)具備以下特性： 高可用性（ Availability）： 可以提供長(zhǎng)時(shí)間不中斷的、可用的服務(wù)； 高可管理性（ Serviceability）： 基于標(biāo)準(zhǔn)技術(shù)，可進(jìn)行遠(yuǎn)程的故障管理、性能管理、配置管理、安全管理； 高可擴(kuò)展性（ Scalability）： 支持平滑單點(diǎn)容量上的擴(kuò)展性和多點(diǎn)地域上的擴(kuò)展性； 高安全性（ Security）： 具有較高的安全特性。 2、總體思路 在對(duì)電信級(jí) BOSS 系統(tǒng)逐步認(rèn)識(shí)和 探討 的基礎(chǔ)上， 提出建立相關(guān)科學(xué)的評(píng)估方法和模型， 通過(guò) 對(duì) BOSS 系統(tǒng) 現(xiàn)狀分析、改造、完善 等階段逐步 向 電信級(jí) 水平 的 BOSS 系統(tǒng) 演進(jìn) ，進(jìn)而提高 BOSS 系統(tǒng)的高可用性。 進(jìn)而并把相關(guān)的方法、經(jīng)驗(yàn)用于指導(dǎo)日后 BOSS 系統(tǒng)的滾動(dòng)建設(shè)。 3、實(shí)施過(guò)程簡(jiǎn)介 （ 1） 2007 年 4-5 月，提出電信級(jí) BOSS 系統(tǒng)定義，探討、 建立相關(guān)科學(xué)的評(píng)估方法和模型，據(jù)此對(duì) BOSS 系統(tǒng)現(xiàn)狀分析，從系統(tǒng)平臺(tái)、應(yīng)用系統(tǒng)、開(kāi)發(fā)測(cè)試、日常維護(hù)管理等多個(gè)維度對(duì)目前的 BOSS 系統(tǒng)進(jìn)行普查、分析，找出關(guān)鍵問(wèn)題、缺陷所在。 （ 2） 2007 年 6-9 月， 根據(jù)分析出的問(wèn)題、缺陷，結(jié)合現(xiàn)實(shí)條件，對(duì)已具備條件的，立即著手制定方案實(shí)施優(yōu)化改造；對(duì)還未具體條件 的，制定策略方案后續(xù)實(shí)施 ，完成第一階段系統(tǒng)平臺(tái)層面的實(shí)施改造。 通過(guò) BOSS2.0 工程、客服系統(tǒng)網(wǎng)絡(luò)擴(kuò)容改造工程、統(tǒng)一開(kāi)通應(yīng)急、 CBOSS 應(yīng)急、二卡合一應(yīng)急等維護(hù)項(xiàng)目來(lái)重點(diǎn)完善原系統(tǒng)的設(shè)計(jì)缺陷，解決性能瓶頸、單點(diǎn)故障問(wèn)題 ,提高故障反映和處理速度； 通過(guò) BOSS 測(cè)試系統(tǒng)擴(kuò)容改造工程，為 BOSS 應(yīng)用軟件的在軟件生命周期的各個(gè)階段開(kāi)展提供基本的質(zhì)量保證。 加強(qiáng)了各工程的壓力測(cè)試和異常測(cè)試。 通過(guò)演練來(lái)不斷完善各子系統(tǒng)系統(tǒng)應(yīng)急預(yù)案，熟悉應(yīng)急流程，積累應(yīng)急經(jīng)驗(yàn)。 加強(qiáng)監(jiān)控手段，完善維護(hù)流程。 建立了定期系統(tǒng)分析、維護(hù)機(jī) 制以及定期與集成商溝通交流機(jī)制。 完成了中間件在應(yīng)用級(jí)的動(dòng)態(tài)均衡優(yōu)化測(cè)試，為下一步實(shí)施奠定基礎(chǔ)。 （ 3） 2007 年 10 11 月，實(shí)施應(yīng)用層面的優(yōu)化改造，實(shí)現(xiàn) BOSS 系統(tǒng)應(yīng)用的動(dòng)態(tài)均衡負(fù)載，真正實(shí)現(xiàn)應(yīng)用的高可用性。 （三）項(xiàng)目創(chuàng)新性 1、首次提出了電信級(jí)水平的 BOSS 系統(tǒng)的概念和定義。 2、提出了 評(píng)估 電信級(jí) BOSS 系統(tǒng)高可用性的 科學(xué)方法 。 3、提出了建設(shè)高可用性 BOSS 系統(tǒng)的思路 ， 用于指導(dǎo)對(duì)現(xiàn)有系統(tǒng)的改造和日后 BOSS 系統(tǒng)的滾動(dòng)建設(shè)。 4、 提出 了 中間件在應(yīng)用 層面 的 真正做到 動(dòng)態(tài)均衡優(yōu)化 的 解決方案。 （四）項(xiàng)目實(shí) 施效果 從 2007 年 4 月份開(kāi)始實(shí)施，截止到 9 月底取得的效果： 1、系統(tǒng)平臺(tái)層面 營(yíng)業(yè)系統(tǒng)：提升營(yíng)業(yè)數(shù)據(jù)庫(kù)、中間件的處理能力，解決營(yíng)業(yè)數(shù)據(jù)庫(kù) RAC 在節(jié)點(diǎn)主機(jī)宕機(jī)時(shí)不能正常互為接管問(wèn)題。 客服系統(tǒng)：完成了網(wǎng)絡(luò)優(yōu)化改造和客服數(shù)據(jù)庫(kù)單點(diǎn)故障改造。 帳務(wù)系統(tǒng)：提升帳務(wù)應(yīng)用、數(shù)據(jù)庫(kù)的處理能力，完成帳務(wù)數(shù)據(jù)庫(kù)單點(diǎn)故障改造。 計(jì)費(fèi)系統(tǒng)：完成擴(kuò)容提升計(jì)費(fèi)系統(tǒng)的處理能力。 CBOSS：完成 BES 配置集群、建立 CBOSS 應(yīng)急系統(tǒng) 。 PRM/CHANNEL：完成從營(yíng)業(yè)中間件分離出來(lái)，消除單點(diǎn)故障隱患。 結(jié)算系統(tǒng)：完成主機(jī)遷移提升系 統(tǒng)處理能力，消除單點(diǎn)故障隱患。 即開(kāi)即通：配置了雙機(jī)，負(fù)載均衡，完成了全區(qū) BOSS 到 HLR 的備用路由的開(kāi)通，通過(guò)路由切換腳本完成主備路由切換，主路由實(shí)現(xiàn)冗余，整個(gè)系統(tǒng)完成了消除單點(diǎn)故障的改造。 二卡合一：配置了雙機(jī)，負(fù)載均衡，消除消除單點(diǎn)故障。 2、維護(hù)管理層面 完善并演練了各子系統(tǒng)的應(yīng)急預(yù)案，其中做為核心系統(tǒng)的 營(yíng)業(yè)系統(tǒng)的中間件在數(shù)據(jù)庫(kù)后臺(tái)之間的應(yīng)急方案切換速度由原來(lái)的 2 個(gè) 多小時(shí)縮短到 30 分鐘左右。 BOSS 網(wǎng)管本地化需求已完成部分功能，監(jiān)控手段、維護(hù)流程得到進(jìn)一步完善。 3、系統(tǒng)實(shí)施改造后， 不管是故障次 數(shù)、故障影響業(yè)務(wù)時(shí)長(zhǎng)均比上半年有了明顯下降。 二、項(xiàng)目詳細(xì)內(nèi)容 1、立項(xiàng)背景 在 市場(chǎng) 競(jìng)爭(zhēng) 激烈 、 以客戶為導(dǎo)向的今天，業(yè)務(wù)的發(fā)展、市場(chǎng)的開(kāi)拓和客戶滿意度的提升等方面對(duì)業(yè)務(wù)支撐系統(tǒng)提出了更高的要求。對(duì)中國(guó)移動(dòng)廣西公司來(lái)說(shuō)，提升系統(tǒng)的 可靠 性和可用性，構(gòu)建電信級(jí)的業(yè)務(wù)支撐網(wǎng)系統(tǒng)，已成為增強(qiáng)企業(yè)核心競(jìng)爭(zhēng)力、提升客戶滿意度的重要手段。 BOSS 系統(tǒng)做為業(yè)務(wù)支撐網(wǎng)的核心系統(tǒng)， 系統(tǒng)龐大、架構(gòu)復(fù)雜， 自 BOSS1.5 上線以來(lái)，系統(tǒng)就一直受到穩(wěn)定性差， 故障頻發(fā)且 故障引發(fā)業(yè)務(wù)中斷時(shí)間長(zhǎng)的困擾。 下圖為 2007 年上半年故障和投訴情 況統(tǒng)計(jì)： 2007 年 1 - 6 月 B O S S 系統(tǒng)故障統(tǒng)計(jì)12754525345106579563217024681 2 3 4 5 6月份次數(shù)0200400600800分鐘故障次數(shù) 故障時(shí)長(zhǎng)月度批量投訴情況7512 231015861547170141669313330510152 0 0 7 年1 月 2 0 0 7 年2 月 2 0 0 7 年3 月 2 0 0 7 年4 月 2 0 0 7 年5 月 2 0 0 7 年6 月 2 0 0 7 年7 月0500100015002000批量投訴次數(shù) 批量投訴用戶數(shù) 可以看到： BOSS 系統(tǒng)穩(wěn)定性差、故障頻發(fā)且影響業(yè)務(wù)時(shí)間長(zhǎng)。 上半年 BOSS 系統(tǒng)的故障主要集中在營(yíng)業(yè)系統(tǒng)、二卡合一、 CBOSS 等關(guān)鍵系統(tǒng)上。 上半年， BOSS 系統(tǒng)出現(xiàn)不穩(wěn)定以及不同程度的退服情況，造成批量投訴情況發(fā)生的次數(shù)以及人數(shù)均有較大幅度的上升 。 本項(xiàng)目將 以科學(xué)的方法和手段 深入分析目前系統(tǒng)癥狀， 找出對(duì)策， 以 7X24 小時(shí)不間斷可用服務(wù)電信級(jí) BOSS 系統(tǒng)為目標(biāo)，通過(guò)對(duì)系統(tǒng)逐步實(shí)施改造、優(yōu)化，逐漸 提高 BOSS 系統(tǒng)的 可靠性和可用性， 探討 如何持續(xù)漸進(jìn)的 建設(shè)電信級(jí)的業(yè)務(wù)支撐系統(tǒng)的 思路。 2、詳細(xì) 技術(shù) 內(nèi)容 項(xiàng)目目標(biāo)： 提升 BOSS 系統(tǒng)的高可靠性和高可用性；探索如何持續(xù)漸進(jìn)地向電信級(jí)水平的BOSS 系統(tǒng)演進(jìn) 。 項(xiàng)目實(shí)施思路： 1、按業(yè)務(wù)關(guān)鍵程度進(jìn)行梳理，從系統(tǒng)平臺(tái)、應(yīng)用系統(tǒng)、開(kāi)發(fā)測(cè)試、日常維護(hù)管理等多個(gè)維度對(duì)目前的 BOSS 系統(tǒng)進(jìn)行普查、分析，找出關(guān)鍵問(wèn)題所在。 2、根據(jù)分析出的問(wèn)題、缺陷，結(jié)合現(xiàn)實(shí)條件，對(duì)已具備條件的，立即著手制定方案實(shí)施優(yōu)化改造；對(duì)還未具體條件的，制定策略方案后續(xù)實(shí)施。 3、第一階段主要針對(duì)系統(tǒng)平臺(tái)層面進(jìn)行優(yōu)化改造，重點(diǎn)解決解 決性能瓶頸、單點(diǎn)故障問(wèn)題；制定應(yīng)急措施，完善應(yīng)急預(yù)案。 一、理論研究 提出了電信級(jí)水平的 BOSS系統(tǒng)的概念和定義及 對(duì)電信級(jí) BOSS系統(tǒng)高可用性的評(píng)估方法和模型。 （一）電信級(jí) BOSS 系統(tǒng) 參照對(duì)電信級(jí)網(wǎng)絡(luò)的定義， 電信級(jí) BOSS 系統(tǒng)可認(rèn)為與電信級(jí)網(wǎng)絡(luò)相對(duì)應(yīng)，是以可運(yùn)營(yíng)為核心，提供 7X24 小時(shí)不間斷可用服務(wù)的業(yè)務(wù)支撐系統(tǒng)。應(yīng)具備以下特性： 高可用性（ Availability）： 可以提供長(zhǎng)時(shí)間不中斷的、可用的服務(wù)； 高可管理性（ Serviceability）： 基于標(biāo)準(zhǔn)技術(shù)，可進(jìn)行遠(yuǎn)程的故障管理、性能管理、配置管理 、安全管理； 高可擴(kuò)展性（ Scalability）： 支持平滑單點(diǎn)容量上的擴(kuò)展性和多點(diǎn)地域上的擴(kuò)展性； 高安全性（ Security）： 具有較高的安全特性。 1、 可用性 可用性是一個(gè)統(tǒng)計(jì)概念，具體計(jì)算方法是： 系統(tǒng)可用性（ Availability） = MTBF/(MTBF+MTTR) 其中： MTBF 指平均無(wú)故障時(shí)間， MTTR 指平均故障修復(fù)時(shí)間。 高可用性對(duì)于業(yè)務(wù)支撐系統(tǒng)非常重要。具體體現(xiàn)為可長(zhǎng)時(shí)間不間斷的提供服務(wù)。 設(shè)備的高可用性是設(shè)備軟硬件架構(gòu)和功能模塊可用性的綜合，主要影響對(duì)象包括：（ 1）硬件（ 2）操作系統(tǒng) （ 3）中間件（ 4）數(shù)據(jù)庫(kù)（ 5）應(yīng)用軟件。 系統(tǒng)的高可用性是通過(guò)高可用性組網(wǎng)技術(shù)實(shí)現(xiàn)。 2、 可管理性 可管理性對(duì)于運(yùn)營(yíng)商網(wǎng)絡(luò)至關(guān)重要。電信級(jí)網(wǎng)絡(luò)應(yīng)當(dāng)提供符合中國(guó)移動(dòng)標(biāo)準(zhǔn)接口和標(biāo)準(zhǔn)協(xié)議的遠(yuǎn)程故障管理、性能管理、配置管理、安全管理等功能。電信級(jí)網(wǎng)絡(luò)中的網(wǎng)元設(shè)備應(yīng)支持開(kāi)放標(biāo)準(zhǔn)管理接口連接集中網(wǎng)絡(luò)管理系統(tǒng)。 3、 可擴(kuò)展性 設(shè)備應(yīng)支持設(shè)計(jì)規(guī)格范圍內(nèi)的線性擴(kuò)展能力。在規(guī)格擴(kuò)展范圍內(nèi)，系統(tǒng)性能不足時(shí)，可在縱向通過(guò)增加硬件模塊、軟件模塊擴(kuò)展系統(tǒng)的處理能力，也可在橫向通過(guò)集群、 4 7 層交換等方式增加系統(tǒng)的可擴(kuò)展性。 4、 安全性 系統(tǒng)安全性包括網(wǎng)絡(luò)安全、主機(jī)安全、操作系統(tǒng)安全、數(shù)據(jù)庫(kù)安全、應(yīng)用安全等等，電信級(jí) BOSS 系統(tǒng)應(yīng)從組網(wǎng)和設(shè)備兩個(gè)層次對(duì)安全性進(jìn)行要求，以保證電信級(jí)電信級(jí) BOSS系統(tǒng)和設(shè)備在管理面、控制面和數(shù)據(jù)面的安全，并符合薩班斯法案的要求。 （二）、電信級(jí) BOSS 系統(tǒng)可用性評(píng)估 評(píng)估方法重點(diǎn)用于對(duì)業(yè)務(wù)支撐系統(tǒng) 進(jìn)行電信級(jí)評(píng)估，作為優(yōu)化系統(tǒng)結(jié)構(gòu)、提高系統(tǒng)可用性的基礎(chǔ)。 采用分層的方法對(duì)系統(tǒng)進(jìn)行解析 、評(píng)估 ，針對(duì)每一層次分別進(jìn)行分析和要求，再將低層次拼裝為高層次系統(tǒng)。支撐業(yè)務(wù) 系統(tǒng) 可按業(yè)務(wù)提供粒度劃分為 3 個(gè)層次 ,如圖 2-1 所示： 業(yè)務(wù)整體方案層 ：指整個(gè) BOSS 系統(tǒng)在全區(qū)范圍內(nèi)的部署方案，包括各子系統(tǒng)節(jié)點(diǎn)間的邏輯路由策略、異地容災(zāi)保護(hù)等。 業(yè)務(wù)系統(tǒng)層 ：指能夠獨(dú)立完成某項(xiàng)業(yè)務(wù)的本地站點(diǎn) ,以及業(yè)務(wù)系統(tǒng)內(nèi)部完成某類(lèi)業(yè)務(wù)流程中一個(gè)獨(dú)立功能環(huán)節(jié)的軟硬件綜合體，如：營(yíng)業(yè)系統(tǒng)、客服系統(tǒng)等。 物理設(shè)備層 ：業(yè)務(wù)系統(tǒng)內(nèi)部每一個(gè)有獨(dú)立物理封裝的設(shè)備、設(shè)備群及在設(shè)備上安裝的系統(tǒng)平臺(tái)軟件，如：主機(jī)、防火墻、雙機(jī)集群、 ORACLE RAC 等。 營(yíng) 業(yè) 系 統(tǒng) 計(jì) 費(fèi) 系 統(tǒng) 帳 務(wù) 系 統(tǒng) 客 服 系 統(tǒng)C B O S S業(yè) 務(wù) 系 統(tǒng) 層主 機(jī) 主 機(jī)交 換 機(jī) 交 換 機(jī)S A N 交 換 機(jī)S A N 交 換 機(jī)磁 盤(pán) 陣 列磁 盤(pán) 陣 列物 理 設(shè) 備 層防 火 墻 防 火 墻B O S S 系 統(tǒng)業(yè) 務(wù) 整 體 方 案 層圖 2-1 系統(tǒng)層次結(jié)構(gòu)圖 在電信級(jí) BOSS 系統(tǒng)特征中， 最重要 的特征是可用性 。系統(tǒng)的整體可用性體現(xiàn)在系統(tǒng)從微觀到宏觀的多個(gè)層面，保證電信級(jí) BOSS 系統(tǒng)需要對(duì)系統(tǒng)中各個(gè)層面進(jìn)行全面評(píng)估。 采用自底向上的研究方法，分物理設(shè)備層、業(yè)務(wù)系統(tǒng)層和業(yè)務(wù)整體解決方案層三個(gè)層面，在各層定義不同粒度的可用性指標(biāo)，分別進(jìn)行建模，進(jìn)而在此基礎(chǔ)上進(jìn)行可用性綜合評(píng)估。 物理設(shè)備層： 從物理設(shè)備故障概率的角度分析可用性。 業(yè)務(wù)系統(tǒng)層：用隨機(jī) Petri 網(wǎng)重點(diǎn)分析典型的邏輯系統(tǒng)：集群系統(tǒng)、雙機(jī)備份等，分別進(jìn)行建模并進(jìn)行定量分析。對(duì)于給定拓?fù)涞臉I(yè)務(wù)系統(tǒng)，可通過(guò)業(yè)務(wù)流程和物理設(shè)備層、業(yè)務(wù)邏輯設(shè)備層的模型求 解，定量的對(duì)業(yè)務(wù)系統(tǒng)進(jìn)行可用性分析，得到整個(gè)系統(tǒng)的平均無(wú)故障時(shí)間，評(píng)估響應(yīng)時(shí)延等指標(biāo)。 業(yè)務(wù)整體 方案層 ： 主要涉及業(yè)務(wù)在各子系統(tǒng)節(jié)點(diǎn)間的邏輯路由策略、異地容災(zāi)保護(hù)等。 1、 可用性評(píng)估方法 （ 1）業(yè)務(wù)整體方案層可用性 系統(tǒng)的可靠性計(jì)算很大程度上取決于系統(tǒng)故障定義。系統(tǒng)故障定義不同，算法也不同。比如，系統(tǒng)中某些單元故障將導(dǎo)致整個(gè)系統(tǒng)癱瘓，而某些單元故障只會(huì)導(dǎo)致系統(tǒng)部分功能喪失。 根據(jù) Bellcore SR-TSY-001171 以及 TL9000 中的相關(guān)定義，系 統(tǒng)級(jí)故障基本可以分為兩大類(lèi)： TSD(Total System Downtime)和 PSD(Partial System Downtime)。 計(jì)算系統(tǒng)的可靠性 /可用性指標(biāo)主要是計(jì)算各個(gè) Di（第 i 個(gè)單元的年中斷時(shí)間Downtime） 。 首先需要進(jìn)行一個(gè)簡(jiǎn)單的故障模式影響分析，以確定系統(tǒng)各組成單元中，哪些會(huì)引起系統(tǒng) TSD，哪些會(huì)引起 PSD。然后主要的任務(wù)就是計(jì)算這些單元的 Di。 根據(jù)上面提供的故障定義，明確對(duì) BOSS 系統(tǒng)可用性指標(biāo)的定義。將整個(gè)系統(tǒng)的各種故障分別列出，然后根據(jù)故障的影響分別計(jì)算出單個(gè)故障的 Di。 參照通信設(shè)備業(yè)界網(wǎng)上運(yùn)行數(shù)據(jù)統(tǒng)計(jì)方法標(biāo)準(zhǔn) TL9000，對(duì) 于 BOSS 系統(tǒng) 的可靠性指標(biāo)，采用如下的統(tǒng)計(jì)方法： SDTDTniii1)P( 其中： DT 整個(gè) 系統(tǒng) 的年中斷時(shí)間； iDT 第 i 個(gè) 節(jié)點(diǎn) 的年中斷時(shí)間； iP 第 i 個(gè) 節(jié)點(diǎn) 故障所影響容量； S 整個(gè) 系統(tǒng) 的總?cè)萘浚?n系統(tǒng) 中設(shè)備的臺(tái)數(shù)。 （ 2）業(yè)務(wù)系統(tǒng)層可用性 由業(yè)務(wù)邏輯設(shè)備組成高可用性的業(yè)務(wù)系統(tǒng)，主要是減少業(yè)務(wù)邏輯間的耦合性， 增加冗余業(yè)務(wù)流程來(lái)實(shí)現(xiàn)，使得某個(gè)業(yè)務(wù)邏輯設(shè)備的單點(diǎn)故障不影響其它業(yè)務(wù)邏輯的功能，業(yè)務(wù)網(wǎng)邏輯設(shè)備的切換不影響其它業(yè)務(wù)邏輯。 在業(yè)務(wù)系統(tǒng)的設(shè)計(jì)中，應(yīng)充分考慮增加串行業(yè)務(wù)流程的冗余度的同時(shí)，降低業(yè)務(wù)邏輯間的耦合性，以保證整個(gè)業(yè)務(wù)系統(tǒng)的高可用性。 圖 2-2 見(jiàn)圖 2-2 所示，在業(yè)務(wù)流程中，至少存在一條冗余業(yè)務(wù)鏈路，當(dāng)主業(yè)務(wù)流程出現(xiàn)故障時(shí)（如 A1B1C1） ,業(yè)務(wù)能自動(dòng)切換到備用業(yè)務(wù)流程： A2B2C2，并且要求此切換對(duì)客戶是透明的。 存在雙機(jī)切換的設(shè)備應(yīng)該 避免直接串聯(lián)，而通過(guò)中間的非雙機(jī)切換設(shè)備來(lái)進(jìn)行故障隔離或交叉連接來(lái)實(shí)現(xiàn)故障隔離，減少業(yè)務(wù)網(wǎng)邏輯設(shè)備間的耦合，任何業(yè)務(wù)部件的故障切換，都不會(huì)引起其它業(yè)務(wù)邏輯的切換。而主業(yè)務(wù)流程中任何一個(gè)業(yè)務(wù)邏輯的故障，使其它業(yè)務(wù)流程也進(jìn)行切換，從而整個(gè)業(yè)務(wù)流程從主業(yè)務(wù)流程切換到備業(yè)務(wù)流程，若每業(yè)務(wù)流程主備切換成功率為 90，則整個(gè)業(yè)務(wù)流程切換成功率為： 0.9*0.9*0.9=0.729，業(yè)務(wù)可靠性大大降低。 （ 3）物理設(shè)備層可用性 各層面可用性最終體現(xiàn)到物理設(shè)備可用性指標(biāo)的獲取，物理設(shè)備可用性評(píng)估是電信級(jí)BOSS 系統(tǒng)可用性研 究的基礎(chǔ)。 設(shè)備層分為硬件和軟件兩部分，軟硬件可用性在特性上具有很大差別： 物理退化。軟件不存在物理退化現(xiàn)象，硬件失效則主要由于物理退化所致。這就決定了軟件正確性與軟件可靠性密切相關(guān)，一個(gè)正確的軟件任何時(shí)刻均可靠。然而一個(gè)正確的硬件元器件或系統(tǒng)則可能在某個(gè)時(shí)刻失效； 復(fù)雜性。軟件內(nèi)部邏輯高度復(fù)雜，而硬件設(shè)備間的內(nèi)部邏輯較為簡(jiǎn)單，這就在很大程度上決定了設(shè)計(jì)錯(cuò)誤是導(dǎo)致軟件失效的主要原因，而導(dǎo)致硬件失效的可能性則相對(duì)很小。 唯一性。軟件是唯一的，軟件拷貝不改變軟件本身，而任何兩個(gè)硬件不可能絕對(duì)相同，概率方法更適合 應(yīng)用于硬件可靠性預(yù)測(cè)。 由于上述種種原因，軟件可靠性比硬件可靠性更難保證。 綜合考慮軟件失效和硬件失效，則系統(tǒng)可用度計(jì)算公式為： ni 1 AAA 軟件硬件系統(tǒng) 串聯(lián)部分可用性 設(shè)備的可用性度量包括可用性評(píng)估和可用性預(yù)測(cè)。 可用性評(píng)估指收集整理系統(tǒng)測(cè)試和系統(tǒng)運(yùn)行期間得到的失效數(shù)據(jù)，并進(jìn)行統(tǒng)計(jì)推理，斷定系統(tǒng)當(dāng)前的可用性。它是對(duì)從過(guò)去到當(dāng)前點(diǎn)所得到的可用性的度量。其主要目的是評(píng)價(jià)當(dāng)前可用性，并確定一個(gè)可用性模型是否為回溯的正確依據(jù)。 可用性預(yù)測(cè)指利用可知的任何軟件度量與規(guī)程確定未來(lái)軟件的可用性。 單一廠家提供的 設(shè)備通常提供整個(gè)設(shè)備的可用度，可以以該數(shù)據(jù)作為可用性預(yù)測(cè)的依據(jù)，并在系統(tǒng)上線運(yùn)行后對(duì)其故障情況進(jìn)行統(tǒng)計(jì)，并根據(jù)統(tǒng)計(jì)數(shù)據(jù)進(jìn)行可用性評(píng)估；對(duì)于軟硬件由不同廠家提供的設(shè)備，則需要分別對(duì)其可用性進(jìn)行預(yù)測(cè)和統(tǒng)計(jì)。 硬件可用性 硬件的故障往往由于物理 (包括化學(xué) ) 的機(jī)制所致 , 因而描述硬件可靠性的模型比較單一 , 硬件失效率符合浴盆曲線。 硬件可用性可通過(guò)可用度或年 停機(jī)時(shí)間 表示： 可 用度M T T RM T BFM T BFA 年 停機(jī)時(shí)間 Downtime 8760 60 (1-A) mins/yr。 MTBF 預(yù) 測(cè)方法 目前業(yè)界對(duì)于硬件 MTBF 的預(yù)測(cè)可以通過(guò)分析器件可用性、單元（如板卡）可用性以及系統(tǒng)可用性（如冗余設(shè)計(jì)中的備份關(guān)系）得到整個(gè)硬件設(shè)備的可用性指標(biāo)。 MTBF 為失效率的倒數(shù)： MTBF=1/失效率； 其中： 失效率 是單位時(shí)間內(nèi)設(shè)備的失效數(shù)占該時(shí)間段開(kāi)始時(shí)正常工作設(shè)備總數(shù)的比值。它反映的是設(shè)備發(fā)生失效的相對(duì)速率即故障瞬時(shí)強(qiáng)度 串聯(lián)結(jié)構(gòu)的失效率是各單元失效率的累加； 并聯(lián)（冗余系統(tǒng)）的失效率采用可修產(chǎn)品的馬爾可夫模型計(jì)算。 一般電子設(shè)備的失效率 都遵循浴盆曲線規(guī)律，如圖 2-3 所示 ： 圖 2-3 浴盆曲線 MTTR預(yù)測(cè)方法 因設(shè)備的應(yīng)用場(chǎng)景不同，維護(hù)方式不同，預(yù)計(jì)值或者經(jīng)驗(yàn)值都僅是一個(gè)參考，如可以參考 BELLCORE GR 512，根據(jù)業(yè)界情況設(shè)定 MTTR。 表 2-1 GR 512 推薦的 MTTR Site Classification On-site repair time (hours) Dispatch time (hour) Total Service Restoral time (hours) Attended site 1 2 3 Unattended site 1 3 4 在系統(tǒng)招標(biāo)時(shí)，廠 家應(yīng)承諾 MTTR 時(shí)間，在可用性評(píng)估時(shí)，以此事件為準(zhǔn)。 軟件可用性 目前業(yè)界軟件可靠性預(yù)計(jì)方法還不成熟，軟件可用性的高低很大程度上取決于軟件生產(chǎn)過(guò)程中開(kāi)發(fā)流程和質(zhì)量管理體系，可以通過(guò)對(duì)廠家軟件開(kāi)發(fā)流程和質(zhì)量管理體系的檢查、評(píng)估對(duì)其軟件產(chǎn)品的可用性進(jìn)行判斷，以作為系統(tǒng)割接入網(wǎng)的依據(jù)。 軟件可用性預(yù)計(jì)和 評(píng)估 軟件可用性度量包括可靠性評(píng)估和可靠性預(yù)測(cè)。 可靠性評(píng)估指收集整理系統(tǒng)測(cè)試和系統(tǒng)運(yùn)行期間得到的失效數(shù)據(jù)，并進(jìn)行統(tǒng)計(jì)推理，斷定系統(tǒng)當(dāng)前的軟件可靠性。它是對(duì)從過(guò)去到當(dāng)前點(diǎn)所得到的可靠性的度量。其主要目的是評(píng)價(jià)當(dāng)前可靠性，并確定一個(gè)可靠性模型是否為回溯的正確依據(jù)。 可靠性預(yù)測(cè)指利用可知的任何軟件度量與規(guī)程確定未來(lái)軟件的可靠性。可靠性領(lǐng)域中習(xí)慣將可靠性預(yù)測(cè)稱為可靠性預(yù)計(jì)。 軟件可靠性術(shù)語(yǔ) 軟件可靠性領(lǐng)域的術(shù)語(yǔ)定義，主要有： 軟件錯(cuò)誤（ Software Error）：指在軟件生存期間內(nèi)的不希望或不可接受的人為的錯(cuò)誤，其結(jié)果導(dǎo)致軟件缺陷的產(chǎn)生，是一種人為的過(guò)程，相對(duì)于軟件本身來(lái)說(shuō)是一種外部行為。比如，將求平均值當(dāng)作求最大值，和將輸出電壓值當(dāng)作輸出電流值等都是軟件錯(cuò)誤。 軟件缺陷（ Software Defect）： 是存在于軟件之中的那些不希望或不可接受的偏差，其結(jié)果是軟件運(yùn)行于某一特定的條件時(shí)出現(xiàn)軟件故障，這時(shí)稱軟件缺陷被激活。以靜態(tài)形式存在于軟件內(nèi)部。比如，少一個(gè)逗號(hào)、多一條語(yǔ)句等都是軟件缺陷。當(dāng)軟件意指程序時(shí)，軟件缺陷與軟件 bug 同義。 軟件故障（ Software Fault）：是指軟件運(yùn)行過(guò)程中出現(xiàn)的一種不希望或不可接受的內(nèi)部狀態(tài)，可能引起一個(gè)功能部件不能完成所要求的功能的一種意外情況，若故障不加處理，便可能產(chǎn)生失效，是一個(gè)動(dòng)態(tài)行為。比如，軟件處于執(zhí)行一個(gè)多余循環(huán)過(guò)程時(shí)就是一個(gè)軟件故障。 軟件失效（ Software Failure）：軟件運(yùn)行時(shí)產(chǎn)生的一種不希望或不可接受的外部行為結(jié)果，也就是表現(xiàn)出的功能與用戶需求不一致，功能部件執(zhí)行其規(guī)定功能的能力終止，用戶無(wú)法完成所需要的應(yīng)用。 它們的關(guān)系如下：軟件錯(cuò)誤 軟件缺陷 軟件故障 軟件失效。軟件失效是最終表現(xiàn)在用戶面前的結(jié)果。 軟件開(kāi)發(fā)流程保證 軟件可靠性數(shù)據(jù)是可靠性評(píng)估的基礎(chǔ)。 要進(jìn)行有效的軟件可靠性評(píng)估，首先必須 建立軟件錯(cuò)誤報(bào)告、分析與糾正措施系統(tǒng)。按照相關(guān)標(biāo)準(zhǔn)的要求，制定和實(shí)施軟件錯(cuò)誤報(bào)告和可靠性數(shù)據(jù)收集、保存、分析和處理的規(guī)程，完整、準(zhǔn)確地記錄軟 件測(cè)試階段的軟件錯(cuò)誤報(bào)告和收集可靠性數(shù)據(jù)。 如何提高軟件可靠性 軟件與硬件不同 , 不會(huì)因多次使用而發(fā)生失效 ， 軟件的故障不是由于物理機(jī)制所造成的 , 軟件不存在故障率呈增長(zhǎng)趨勢(shì)的耗損故障期 , 軟件的缺陷 解決 一個(gè)就減少一個(gè)。 軟件開(kāi)發(fā)周期錯(cuò)誤和軟件故障分類(lèi)的百分?jǐn)?shù)分別如表 2-2 和表 2-2 所示。 表 2-1 軟件開(kāi)發(fā)周期各階段錯(cuò)誤的百分比 軟件開(kāi)發(fā)周期各階段 需求分析 設(shè)計(jì) 編碼與單元測(cè)試 綜合測(cè)試 運(yùn)行與維護(hù) 錯(cuò)誤百分比（ %） 55 17 13 10 5 表 2-2 軟件故障分類(lèi)的百分比 故障分類(lèi) 需求變化 邏輯設(shè)計(jì) 數(shù)據(jù) 相互 環(huán)境 人的因素 計(jì)算 文件提供 其他 故障分類(lèi)百分比（ %） 36 28 6 6 5 5 5 2 7 由表 2-1、表 2-2 的統(tǒng)計(jì)數(shù)據(jù)表明，在軟件生命周期的各個(gè)階段都會(huì)可能發(fā)生軟件錯(cuò)誤或故障， 為了保證軟件的可靠性，應(yīng)在軟件生命周期的各個(gè)階段千方百計(jì)地減少缺陷。同時(shí)，統(tǒng)計(jì)數(shù)據(jù)也表明，軟件錯(cuò)誤的修改費(fèi)用也是越晚越高的。 一個(gè)好的軟件開(kāi)發(fā)流程可以提高軟件開(kāi)發(fā)團(tuán)隊(duì)的工作效率，控制開(kāi)發(fā)過(guò)程中的風(fēng)險(xiǎn)，保證軟件開(kāi)發(fā)進(jìn)度并且提高軟件產(chǎn)品質(zhì)量 。 為保證軟件的可靠性，應(yīng)該在軟件生命周期的各個(gè)階段開(kāi)展各項(xiàng)基本 的質(zhì)量保證活動(dòng)，以減少缺陷。 （三）建設(shè)高可用性 BOSS 系統(tǒng)的思路 BOSS 系統(tǒng)龐大而復(fù)雜，子 系統(tǒng) 繁多 。 根據(jù)以上的幾個(gè)層面的分析，我們要建設(shè)高可用的電信級(jí) BOSS 系統(tǒng)， 須要從物理設(shè)備層、業(yè)務(wù)邏輯層、系統(tǒng)整體 3 個(gè)方向進(jìn)行設(shè)計(jì)考慮。 1、 物理設(shè)備層面的設(shè)計(jì) 物理設(shè)備層是系統(tǒng)可用性的最基本保障，因此，在考慮建設(shè) 高可用的電信級(jí)的 BOSS 系統(tǒng)時(shí)，必須首先在物理層面保障系統(tǒng)的高可用性，消除單點(diǎn)故障，這里主要包括硬件和軟件兩個(gè)方面。 （ 1） 硬件方面： 主要從以下幾個(gè)方面考慮： 對(duì)于關(guān)鍵的業(yè)務(wù)系統(tǒng)，服務(wù)器主機(jī)方面必須考慮雙 機(jī)集群，以滿足系統(tǒng)基本的高可用性條件。目前主流的小型機(jī)設(shè)備供應(yīng)商 IBM、 HP、 SUN 等都有相應(yīng)的高可用性 HA（ High Availability）解決方案，其根本原則就是提供硬件設(shè)備的高可用性，即：在其中一臺(tái)設(shè)備失效的情況下，另一臺(tái)設(shè)備能自動(dòng)接管原有的業(yè)務(wù)，以保持業(yè)務(wù)的連續(xù)性。 對(duì)于物理網(wǎng)絡(luò)結(jié)構(gòu)，必須提供備用的網(wǎng)絡(luò)路由鏈路， 包括備用的網(wǎng)絡(luò)設(shè)備（路由器、交換機(jī)、防火墻等）和傳輸電路等。 對(duì)于底層的數(shù)據(jù)庫(kù)，也要考慮冗余備份。數(shù)據(jù)庫(kù)存放的是業(yè)務(wù)系統(tǒng)的數(shù)據(jù)，是所有系統(tǒng)正常運(yùn)行的基礎(chǔ)，因此必須考慮實(shí)現(xiàn) 2 個(gè)或以上的數(shù)據(jù) 庫(kù)實(shí)例以提供數(shù)據(jù)庫(kù)的高可用性。目前主流的數(shù)據(jù)庫(kù)產(chǎn)品提供商都有相應(yīng)的 HA 解決方案，如： ORACLE 的RAC 等。 在設(shè)備選型時(shí)， 需要大到 電信級(jí)網(wǎng)絡(luò)設(shè)備指標(biāo)標(biāo)準(zhǔn) (設(shè)備要求分 冊(cè) )要求，同時(shí)由于 UNIX 系統(tǒng)在可靠性、穩(wěn)定性、抗病毒攻擊等方面都比 WINDOWS 具有先天性的優(yōu)勢(shì)，而目前低端 UNIX 服務(wù)器價(jià)格已接近相同性能的 PC SERVER，因此在 BOSS 這樣的關(guān)鍵業(yè)務(wù)支撐系統(tǒng)里，應(yīng)盡量考慮使用 UNIX SERVER 而不是 PC SERVER。 （ 2） 軟件方面： 對(duì)于一個(gè)高可用性的 BOSS 系統(tǒng)，有了冗余的硬件設(shè)計(jì) 只是最基本的設(shè)計(jì)要求，軟件方面（系統(tǒng)軟件和應(yīng)用軟件）則更為重要。沒(méi)有軟件的冗余設(shè)計(jì)，那么從業(yè)務(wù)系統(tǒng)來(lái)說(shuō)是不具備高可用性條件的。 對(duì)于系統(tǒng)軟件，在 BOSS 系統(tǒng)里最重要的是中間件。出于 BOSS 業(yè)務(wù)的關(guān)鍵性，在選擇中間件軟件時(shí)必須考慮產(chǎn)品的成熟性，以直接提升 BOSS 系統(tǒng)的高可靠性。 對(duì)于應(yīng)用軟件，與硬件不同 , 不會(huì)因多次使用而發(fā)生失效，軟件的故障不是由于物理機(jī)制所造成的 , 軟件不存在故障率呈增長(zhǎng)趨勢(shì)的耗損故障期 , 軟件的缺陷解決一個(gè)就減少一個(gè)。因此， 為保證軟件的可靠性，應(yīng)該在軟件生命周期的各個(gè)階段開(kāi)展各項(xiàng)基本的質(zhì) 量保證活動(dòng)，以減少缺陷。 2、 業(yè)務(wù)系統(tǒng)層的設(shè)計(jì) 物理設(shè)備層滿足高可用性的條件后，只是在底層平臺(tái)給予了系統(tǒng)高可靠性的條件，而業(yè)務(wù)系統(tǒng)層實(shí)現(xiàn)高可用性是系統(tǒng)具有高可用性的重要保障。為保證系統(tǒng)的高可用性，在業(yè)務(wù)系統(tǒng)的設(shè)計(jì)中，應(yīng)從以下幾個(gè)方面考慮： 充分考慮增加串行業(yè)務(wù)流程的冗余度的同時(shí)，降低業(yè)務(wù)邏輯間的耦合性，減少各子系統(tǒng)互相影響的深度，以保證整個(gè)業(yè)務(wù)系統(tǒng)的高可用性。 必須考慮各應(yīng)用子系統(tǒng)的自動(dòng)切換機(jī)制的實(shí)現(xiàn)。在中間件、應(yīng)用系統(tǒng)等方面，應(yīng)該在系統(tǒng)設(shè)計(jì)階段和底層系統(tǒng)物理設(shè)備平臺(tái)結(jié)合起來(lái)一起考慮各子系統(tǒng)的自動(dòng)切換和回切 機(jī)制。在這個(gè)層面，可通過(guò)自行開(kāi)發(fā)或借助第三方的軟件或硬件來(lái)實(shí)現(xiàn)，如：四 /七 層交換機(jī)等。 3、 業(yè)務(wù)整體解決方案層的設(shè)計(jì) 建設(shè)電信級(jí)的 BOSS 系統(tǒng)，還需在業(yè)務(wù)的整體解決方案層進(jìn)行相應(yīng)的設(shè)計(jì)考慮，主要包括： 系統(tǒng)設(shè)計(jì)時(shí)需考慮各子系統(tǒng)的路由策略，通過(guò)冗余設(shè)計(jì)避免出現(xiàn)一個(gè)子系統(tǒng)失效而整個(gè)系統(tǒng)失效的情況發(fā)生； 考慮建設(shè)系統(tǒng)的異地容災(zāi)系統(tǒng)，分析業(yè)務(wù)的關(guān)鍵程度，并根據(jù)各子系統(tǒng)不同的等級(jí)來(lái)實(shí)現(xiàn)系統(tǒng)的數(shù)據(jù)級(jí)容災(zāi)和應(yīng)用級(jí)容災(zāi)。 建立各子系統(tǒng)的應(yīng)急方案。容災(zāi)系統(tǒng)是在“災(zāi)難時(shí)刻”才啟用的，而應(yīng)急方案是解決臨時(shí)問(wèn)題而啟用的，其目的是更 快速的保障業(yè)務(wù)應(yīng)用的連續(xù)性。 建立完善的網(wǎng)管系統(tǒng)，對(duì)各個(gè)網(wǎng)元進(jìn)行實(shí)時(shí)監(jiān)控，并對(duì)異常情況及時(shí)通過(guò)短信、郵件、聲音等方式報(bào)警。 明確維護(hù)指標(biāo)，完善系統(tǒng)維護(hù)流程，按 ITIL 的方法論，嚴(yán)格執(zhí)行事件管理、問(wèn)題管理、變更管理、配置管理等流程。 二、項(xiàng)目具體實(shí)施 （一） 實(shí)施思路 通過(guò) BOSS 系統(tǒng)現(xiàn)狀普查分析、改造優(yōu)化、評(píng)估完善等階段逐步向電信級(jí)水平的 BOSS系統(tǒng)演進(jìn)，進(jìn)而提高 BOSS 系統(tǒng)的高可用性。 1、 普查分析階段 對(duì)現(xiàn)有 BOSS 系統(tǒng)軟、硬件可用性情況逐一進(jìn)行普查、分析，確定制約系統(tǒng)可靠性的短板、缺陷、單點(diǎn)故障隱患， 制定下一階段性目標(biāo)等。 2、 改造優(yōu)化階段 根據(jù)不同系統(tǒng)的發(fā)展范圍、用戶總數(shù)、經(jīng)濟(jì)受益和社會(huì)影響力等因素，將系統(tǒng)分為關(guān)鍵系統(tǒng)、一般系統(tǒng)兩類(lèi)，據(jù)此確定各系統(tǒng)整改的優(yōu)先級(jí)別， 結(jié)合具體改造代價(jià)： 對(duì)于有現(xiàn)實(shí)條件的，開(kāi)始實(shí)施改造； 對(duì)于目前受條件限制的，提出改造方案，并在后續(xù)落實(shí)。 3、 評(píng)估完善階段 根據(jù)上面的 可用性評(píng)估方法或軟件后評(píng)估體系進(jìn)行階段性的評(píng)估、總結(jié)，提出完善方案，持續(xù)進(jìn)行整改。 （二） BOSS 系統(tǒng)現(xiàn)狀分析 從系統(tǒng)平臺(tái)、應(yīng)用系統(tǒng)、開(kāi)發(fā)測(cè)試環(huán)境、日常維護(hù)管理等多個(gè)維度對(duì)目前的 BOSS 系統(tǒng)進(jìn)行普查、分析，針對(duì) 業(yè)務(wù)關(guān)鍵程度進(jìn)行梳理。 1、 總體框架 下面是 2004 2007 年廣西移動(dòng) BOSS 系統(tǒng)的發(fā)展過(guò)程： 時(shí)間 2004 2005 2006 2007 BOSS 系統(tǒng) 1.0 1.5 2.0 用戶規(guī)模（萬(wàn)） 800 1000 1300 目前 BOSS 系統(tǒng)存在以下兩個(gè)主要特點(diǎn)： （ 1）技術(shù)：網(wǎng)元較多、標(biāo)準(zhǔn)復(fù)雜、發(fā)展較快 包括主機(jī) /操作系統(tǒng)、存儲(chǔ)、網(wǎng)絡(luò) /安全、數(shù)據(jù)庫(kù)、中間件、應(yīng)用軟件。 （ 2）架構(gòu)：架構(gòu)復(fù)雜、功能繁多、數(shù)據(jù)海量 業(yè)務(wù)支撐系統(tǒng)主要包括：營(yíng)業(yè)系統(tǒng)、計(jì)費(fèi)系統(tǒng)、帳務(wù)系統(tǒng)、客服系統(tǒng)、結(jié)算系統(tǒng)、 CBOSS等等 。 2、 系統(tǒng)平臺(tái) （ 1） 主機(jī) 通過(guò)普查分析，發(fā)現(xiàn)目前系統(tǒng)主要存在性能不足、單點(diǎn)故障等隱患，或者 硬件已具備冗余條件，但應(yīng)用系統(tǒng)不具備自動(dòng)切換的條件，雖然在某些環(huán)節(jié)上實(shí)現(xiàn)了高可用性，但系統(tǒng)整體上實(shí)際還達(dá)不到高可用性的要求 。 系統(tǒng) 網(wǎng)元 配置 說(shuō)明 營(yíng)業(yè) 營(yíng) 業(yè) 數(shù)據(jù) 庫(kù)節(jié)點(diǎn) 1 IBM P690(32CPU,128G 內(nèi)存 ) cpu/內(nèi)存利用率高，單臺(tái)主機(jī)不能支撐全部數(shù)據(jù)庫(kù)功能，實(shí)際上單點(diǎn)故障仍然存在 營(yíng) 業(yè) 數(shù)據(jù) 庫(kù)節(jié)點(diǎn) 2 IBM P690(32CPU,128G 內(nèi)存 ) 營(yíng)業(yè)中間件 1 IBM P690 分區(qū) (12CPU,48G內(nèi)存 ) 中間件與多個(gè)后臺(tái)應(yīng)用（如工單調(diào)度）部署在一起，性能不足，特別是內(nèi)存 /交換區(qū)經(jīng)常告警。 應(yīng)用不具備自動(dòng)切換能力，實(shí)際上單點(diǎn)故障仍然存在。 營(yíng)業(yè)中間件 2 IBM P690 分區(qū) (12CPU,44G內(nèi)存 ) 營(yíng)業(yè)中間件 3 IBM P690 分區(qū) (8CPU,64G內(nèi)存 ) 應(yīng)急數(shù)據(jù)庫(kù) IBM P690 分區(qū) (12CPU,40G內(nèi)存 ) 同時(shí)在運(yùn)行客服應(yīng)急庫(kù)，性能不足影響數(shù)據(jù)庫(kù)復(fù)制 客服 客服數(shù)據(jù)庫(kù) IBM P690 分區(qū) (12CPU,34G內(nèi)存 ) 1、單點(diǎn)故障隱患 2、網(wǎng)卡沒(méi)有配 成 Etherchannel 無(wú)線營(yíng)業(yè)廳 IBM P650(8CPU,32G 內(nèi)存 ) 1、單點(diǎn)故障隱患 2、應(yīng)用不具備自動(dòng)切換能力。 綜 合 客服 后臺(tái) IBM P650(8CPU,64G 內(nèi)存 ) 計(jì)費(fèi) 計(jì)費(fèi)應(yīng)用 1 IBM P690 分區(qū) (12CPU,35G內(nèi)存 ) 1、單臺(tái)主機(jī)不能支撐全部計(jì)費(fèi)應(yīng)用功能 2、應(yīng)用不具備自動(dòng)切換能力。 計(jì) 費(fèi) 應(yīng)用 2（ MDB） IBM P690 分區(qū) (12CPU,47G內(nèi)存 ) 計(jì)費(fèi)數(shù)據(jù)庫(kù) 1 IBM P690 分區(qū) (8CPU,22G內(nèi)存 ) 1、單臺(tái)主機(jī)不能支撐全部數(shù)據(jù)庫(kù) 功能 2、網(wǎng)卡沒(méi)有配成 Etherchannel 計(jì)費(fèi)數(shù)據(jù)庫(kù) 2 IBM P690 分區(qū) (8CPU,28G內(nèi)存 ) 帳務(wù) 帳務(wù)數(shù)據(jù)庫(kù) IBM P690 分區(qū) (8CPU,20G內(nèi)存 ) 單點(diǎn)故障隱患 帳 務(wù) 應(yīng)用 1（ MDB) IBM P690 分區(qū) (12CPU,55G內(nèi)存 ) 1、單臺(tái)主機(jī)不能支撐全部帳務(wù)應(yīng)用功能 2、應(yīng)用不具備自動(dòng)切換能力。 帳務(wù)應(yīng)用 2 IBM P690 分區(qū) (12CPU,35G內(nèi)存 ) CBOSS cboss 應(yīng)用 IBM P650(8CPU,48G 內(nèi)存 ) 1、單臺(tái)主機(jī)不能支撐全部帳務(wù) 應(yīng)用功能 2、應(yīng)用不具備自動(dòng)切換能力。 3、網(wǎng)卡沒(méi)有配成 Etherchannel cboss數(shù)據(jù)庫(kù) IBM P650(6CPU,12G 內(nèi)存 ) PRM CHANNEL PRM/CHANNEL IBM P650(8CPU,32G 內(nèi)存 ) 與無(wú)線營(yíng)業(yè)廳共用一臺(tái)主機(jī)，單點(diǎn)故障隱患 結(jié)算 結(jié)算應(yīng)用 IBM P670(8CPU,48G 內(nèi)存 ) 性能不足，單點(diǎn)故障隱患 結(jié)算數(shù)據(jù)庫(kù) IBM M85(6CPU,6G 內(nèi)存 ) 性能不足，單點(diǎn)故障隱患 （ 2） 數(shù)據(jù)庫(kù) 以營(yíng)業(yè)數(shù)據(jù)庫(kù)為例， 營(yíng)業(yè)數(shù)據(jù)庫(kù)做為整個(gè) BOSS 系統(tǒng)的核心數(shù)據(jù)庫(kù)，現(xiàn)狀如下： 數(shù)據(jù)庫(kù)運(yùn)行情況 數(shù)據(jù)規(guī)模：規(guī)模從 2005 年底 1.8T 發(fā)展至 2007 年上半年 6.8T 系統(tǒng)備份：全庫(kù)備份從 2005 年底 3.5 小時(shí)發(fā)展至 2007 年底 8小時(shí) 存在問(wèn)題及風(fēng)險(xiǎn) 數(shù)據(jù)庫(kù)表空間不能循環(huán)使用，歷史工單數(shù)據(jù)保留時(shí)間過(guò)長(zhǎng)導(dǎo)致數(shù)據(jù)庫(kù)增長(zhǎng)過(guò)大。 數(shù)據(jù)庫(kù)數(shù)據(jù)規(guī)模增大，導(dǎo)致系統(tǒng)備份及后臺(tái)事務(wù)時(shí)間窗增長(zhǎng)； 數(shù)據(jù)庫(kù)內(nèi)單表記錄數(shù)增大， 表和索引存在大量的碎片沒(méi)有及時(shí)分析整理 ,數(shù)據(jù)處理效率降低，造成查詢統(tǒng)計(jì)速度變慢，數(shù)據(jù)修改操作爭(zhēng)用情況加劇； 業(yè)務(wù)高峰期，業(yè)務(wù)請(qǐng)求對(duì)資源的爭(zhēng)用導(dǎo)致系統(tǒng)抗風(fēng)險(xiǎn) 能力降低，表現(xiàn)為系統(tǒng)速度變慢，故障增多，對(duì)表的維護(hù)操作時(shí)間增長(zhǎng)。 數(shù)據(jù)表、索引數(shù)量不斷增加，增加維護(hù)管理難度及應(yīng)用復(fù)雜度。 單個(gè)節(jié)點(diǎn)主機(jī)宕機(jī)時(shí)另外一個(gè)節(jié)點(diǎn)不能正常接管數(shù)據(jù)庫(kù)。 3、 網(wǎng)絡(luò) 客服座席到客服系統(tǒng)、 BOSS 系統(tǒng)的網(wǎng)絡(luò)鏈路，是 2 條 10*2M，總帶寬是 20M（ 2 條鏈路是主、備關(guān)系）。自 07 年 2 月客服擴(kuò)容改造之后，客服座席的網(wǎng)絡(luò)流量增大，平時(shí)的鏈路帶寬均值在 15Mbps 左右，高峰時(shí)達(dá)到鏈路速率的限制，出現(xiàn)了客服座席業(yè)務(wù)響應(yīng)遲緩、數(shù)據(jù)丟失等故障現(xiàn)象。 圖 3-1 客服座席網(wǎng)絡(luò)拓?fù)?4、應(yīng)用系統(tǒng) （ 1）即開(kāi) 即通 接口主機(jī)存在單點(diǎn)故障；沒(méi)有備份路由； 出現(xiàn)網(wǎng)絡(luò)故障時(shí) 人工干預(yù)太多，發(fā)生故障時(shí)自動(dòng)化程度太低，存在無(wú)法快速處理的風(fēng)險(xiǎn) 。 （ 2）一級(jí) BOSS（ CBOSS） 缺乏監(jiān)控手段； 接口表記錄太多導(dǎo)致一級(jí) BOSS 接口處理不及時(shí) ； 一級(jí) BOSS 接口上發(fā)緩慢 ；用戶狀態(tài)、定購(gòu)關(guān)系 目前只能通過(guò)第二天凌晨集團(tuán)下發(fā)的錯(cuò)單文件進(jìn)行檢查。要實(shí)現(xiàn)實(shí)時(shí)監(jiān)控，只能在組包上傳的時(shí)候判斷每個(gè)號(hào)碼是否智能網(wǎng)號(hào)碼，對(duì)系統(tǒng)資源消耗較大 。 （ 3）二卡合一 由于 BOSS 側(cè)作為服務(wù)端，一旦要進(jìn)行切換，必須要智能網(wǎng)一側(cè)修改指向 IP 地址 。 5、開(kāi)發(fā)、測(cè)試環(huán)境 設(shè) 備 數(shù)量 配置 使用說(shuō)明 IBM P650 1 IBM P650， 8CPU(1.45G)， 32GRAM，2GE， 2FE， 2FC， 2*73GHdisk 測(cè)試數(shù)據(jù)庫(kù) IBM P570 1 IBM P570， 4CPU(1.45G)， 32GRAM，2GE， 2FE， 2FC， 2*73GHdisk 應(yīng)用測(cè)試 設(shè) 備 數(shù)量 配置 使用說(shuō)明 IBM S7A 1 IBM S7A， 12CPU(226MHz)，12GRAM， 1GE， 2FE， 2*9.1GHdisk 開(kāi)發(fā)、源碼編譯 IBM S7A 1 IBM S7A， 12CPU(226MHz)，12GRAM， 1GE， 2FE， 2*9.1GHdisk，1*18.2GHdisk 開(kāi)發(fā)、源碼編譯 BOSS 系統(tǒng)目前 開(kāi)發(fā)環(huán)境 所用的兩 臺(tái) IBM S7A主機(jī) 為 2002 年 BOSS 集中化工程建設(shè)的時(shí)候所購(gòu) ， 年代久遠(yuǎn)，設(shè)備陳舊， CPU 時(shí)鐘頻率太低，且生產(chǎn)廠家已不對(duì)其提供技術(shù)升級(jí)和板卡替換，造成性能無(wú)法提升，已不能 可以滿足源碼的開(kāi)發(fā)和編譯。 BOSS 系統(tǒng) 測(cè)試環(huán)境 所用的 機(jī)器 設(shè)備 配置（ CPU/內(nèi)存） 較 低，部分測(cè)試不能做全區(qū)數(shù)據(jù)的測(cè)試，如帳務(wù) MDB、計(jì)費(fèi) MDB 等需要大內(nèi)存的環(huán)境 ，常常要借助部分生產(chǎn)環(huán)境來(lái)兼做測(cè)試，影響了生產(chǎn)環(huán)境的使用 。 同 時(shí)環(huán)境過(guò)于集中，不利于開(kāi)展測(cè)試、管理、配置、變更和維護(hù)， 嚴(yán)重影響應(yīng)用開(kāi)發(fā)測(cè)試的進(jìn)度和測(cè)試質(zhì)量 ，進(jìn)而影響到 BOSS 系統(tǒng)應(yīng)用割接上線的質(zhì)量和系統(tǒng)穩(wěn)定性 。 應(yīng)用程序在上線前缺乏嚴(yán)謹(jǐn)?shù)臏y(cè)試計(jì)劃，除了 功能測(cè)試外，缺乏各種異常測(cè)試、壓力測(cè)試。 6、 維護(hù)管理 在維護(hù)管理方面主要存在下列問(wèn)題： （ 1）維護(hù)指標(biāo)不明確。 如對(duì)每個(gè)子系統(tǒng)的維護(hù)指標(biāo)是什么？可用性要求是什么？ （ 2） 維護(hù)流程、應(yīng)用上線控制不夠規(guī)范，未能很好執(zhí)行事件管理、問(wèn)題管理、變更管理、配置管理等流程。 未能充分充分利用 BOSS 網(wǎng)管的監(jiān)控、告警功能。 （ 3）沒(méi)有 定期維護(hù)窗口，沒(méi)有建立定期維護(hù)系統(tǒng)的機(jī)制。 （ 4）應(yīng)急措施不力：應(yīng)急方案沒(méi)有經(jīng)過(guò)演練來(lái)驗(yàn)證；系統(tǒng)平臺(tái)或應(yīng)用更改后沒(méi)有及時(shí)對(duì)應(yīng)急方案進(jìn)行變更；做為核心系統(tǒng)的營(yíng)業(yè)系統(tǒng)的在實(shí)施應(yīng)急措施進(jìn)行應(yīng)用切換時(shí)，時(shí)間長(zhǎng)（ 2 3 小時(shí)）。 （ 5）關(guān)鍵系統(tǒng)主機(jī)維護(hù)控制臺(tái)放在機(jī)房，未能延伸至亞航辦公室，導(dǎo)致主機(jī)宕機(jī)重啟處理時(shí)間過(guò)長(zhǎng)。 （三）具體措施 現(xiàn)階段主要針對(duì)系統(tǒng)平臺(tái)層面進(jìn)行優(yōu)化改造， 通過(guò) 2007 年 BOSS2.0 擴(kuò)容改造工程、客服系統(tǒng)網(wǎng)絡(luò)擴(kuò)容改造工程 、建立應(yīng)急系統(tǒng)等措施來(lái) 重點(diǎn)完善原系統(tǒng)的設(shè)計(jì)缺陷，解決性能瓶頸、單點(diǎn)故障問(wèn)題。 重 點(diǎn)解決解決性能瓶頸、單點(diǎn)故障問(wèn)題；制定應(yīng)急措施，完善應(yīng)急預(yù)案，減短故障處理時(shí)長(zhǎng)、提高系統(tǒng)穩(wěn)定性。 1、措施一：系統(tǒng)平臺(tái)改造 （ 1）即開(kāi)即通系統(tǒng) 增加一臺(tái)主機(jī)，負(fù)載均衡互為備份； 網(wǎng)絡(luò)改造增加備用路由。 通過(guò)腳本實(shí)現(xiàn)切換備用路由，并移交監(jiān)控室進(jìn)行實(shí)時(shí)監(jiān)控和切換，保障在第一時(shí)間及時(shí)發(fā)現(xiàn)路由問(wèn)題并加快備用路由切換速度 ,從而提高開(kāi)機(jī)及時(shí)率。 （ 2）一級(jí) BOSS（ CBOSS） 地 市 公 司B O S S網(wǎng) 絡(luò)營(yíng) 業(yè) 數(shù) 據(jù) 庫(kù)1 0 . 1 8 2 . 1 1 . 1 3 5（ 營(yíng) 業(yè) 中 間 件3）1 0 . 1 8 2 . 1 1 . 1 3 3（ 營(yíng) 業(yè) 中 間 件2）1 0 . 1 8 2 . 1 1 . 1 3 1（ 營(yíng) 業(yè) 中 間 件1）1 0 . 1 8 2 . 1 4 . 8 3(路 由 器)1 0 . 1 8 2 . 2 5 1 . 2 5 4（ 二 樞 紐 ）1 0 . 1 8 2 . 1 1 1 . 1 9 7（ 白 沙 ）網(wǎng)運(yùn)傳輸線路N N H L R 1 N N H L R 2 B H H L R 2 監(jiān) 控 發(fā) 現(xiàn) 網(wǎng) 元 斷 連切 換 備 用 路 由1 0 . 1 8 2 . 1 1 . 1 4 71 0 . 1 8 2 . 1 4 . 3外 省 一 級(jí) B O S S 系 統(tǒng)1 0 . 1 8 2 . 1 1 . 1 4 3( 一 級(jí) B O S S 數(shù) 據(jù) 庫(kù) )1 0 . 1 8 2 . 1 1 . 1 4 1( 一 級(jí) B O S S 應(yīng) 用 )營(yíng) 業(yè) 庫(kù)計(jì) 費(fèi) 庫(kù)S N 路 由 器 1S N 路 由 器 2集 團(tuán) 公 司 交 換 中 心1 0 . 1 8 2 . 1 1 . 2 9( 一 級(jí) B O S S 應(yīng) 急 數(shù) 據(jù) 庫(kù) ) 加強(qiáng)監(jiān)控手段； 建立基于 BES 服務(wù)的 PARTITION 集群。 建立 CBOSS 應(yīng)急系統(tǒng)。 更換 CBOSS 應(yīng)用為多后臺(tái)進(jìn)程版本，實(shí)現(xiàn)一定程度的負(fù)載均衡 （ 3）客服系統(tǒng) 更換核心網(wǎng)絡(luò)設(shè)備 ,擴(kuò)容網(wǎng)絡(luò)帶寬、新增熱備鏈路路由； 客服數(shù)據(jù)庫(kù)新增一臺(tái)主機(jī)配置成雙節(jié)點(diǎn) RAC。 （ 4）二卡合一 增加一臺(tái)接口主機(jī)，負(fù)載均衡互為備份 （ 5）其他關(guān)鍵系統(tǒng) 營(yíng)業(yè)系統(tǒng)：更換營(yíng)業(yè)數(shù)據(jù)庫(kù)主機(jī)；中間件主機(jī)擴(kuò) CPU/內(nèi)存；解決營(yíng)業(yè)數(shù)據(jù)庫(kù) RAC在節(jié)點(diǎn)主機(jī)宕機(jī)時(shí)不能正常互為接管問(wèn)題。 帳務(wù)系統(tǒng)：帳務(wù)應(yīng)用擴(kuò)容 CPU/內(nèi) 存；帳務(wù)數(shù)據(jù)庫(kù)新增一臺(tái)主機(jī)配置成雙節(jié)點(diǎn) RAC 。 計(jì)費(fèi)系統(tǒng)：計(jì)費(fèi)應(yīng)用、計(jì)費(fèi)數(shù)據(jù)庫(kù)主機(jī)擴(kuò)容 CPU、內(nèi)存。 PRM/CHANNEL 系統(tǒng)：從營(yíng)業(yè)中間件分離出來(lái)，配置 HA 雙機(jī)互備，負(fù)載均衡。 結(jié)算系統(tǒng)：更換結(jié)算數(shù)據(jù)庫(kù)和結(jié)算應(yīng)用主機(jī)，配置 HA 雙機(jī)互備。 2、措施二：應(yīng)用系統(tǒng)改造優(yōu)化 系統(tǒng)監(jiān)控：梳理分析各個(gè)子系統(tǒng)的關(guān)鍵監(jiān)控點(diǎn)，通過(guò) BOSS 網(wǎng)管、腳本、存儲(chǔ)過(guò)程等手段利用短信直接把告警發(fā)給維護(hù)人員，加快反應(yīng)速度把故障消滅在萌芽狀態(tài)。 CBOSS：針對(duì)影響集團(tuán)公司五項(xiàng)考核指標(biāo)的薄弱環(huán)節(jié)進(jìn)行加強(qiáng)應(yīng)急措施：如建立基于 BES 服務(wù) 的 PARTITION。 集群、建立應(yīng)急系統(tǒng)、更換多后臺(tái)進(jìn)程版本等。 BOSS 全編上線：把控改造進(jìn)度、嚴(yán)謹(jǐn)測(cè)試，精心組織、周密部署確保了全編版本割接成功。 3、 措施三：開(kāi)發(fā)測(cè)試環(huán)境優(yōu)化改造 改 造 后改 造 前測(cè) 試 環(huán) 境測(cè) 試 環(huán) 境開(kāi) 發(fā) 環(huán) 境I B M S 7 A1 2 C P U , 2 4 G R A MI B M S 7 A1 2 C P U , 2 4 G R A MI B M P 6 7 0 L P A R4 C P U , 8 G R A M營(yíng) 業(yè) 應(yīng) 用 測(cè) 試C B O O S 測(cè) 試接 口 測(cè) 試客 服 測(cè) 試I B M P 6 7 0 L P A R4 C P U , 8 G R A M營(yíng) 業(yè) 測(cè) 試 庫(kù)P R M / C H A N N E LI B M P 5 7 08 c p u , 1 6 G R A M帳 務(wù) 測(cè) 試計(jì) 費(fèi) 測(cè) 試經(jīng) 分 1 . 5 測(cè) 試開(kāi) 發(fā) 環(huán) 境I B M P 6 9 0 L P A R8 C P U ， 2 4 G R A MI B M P 6 9 0 L P A R8 C P U ， 2 4 G R A MI B M P 5 9 5 L P A R2 0 C P U ， 9 6 G R A M營(yíng) 業(yè) 測(cè) 試 庫(kù)營(yíng) 業(yè) 發(fā) 布 庫(kù)營(yíng) 業(yè) 回 退 應(yīng) 用I B M P 5 9 5 L P A R2 0 C P U ， 9 6 G R A M營(yíng) 業(yè) 發(fā) 布 應(yīng) 用營(yíng) 業(yè) 培 訓(xùn)I B M P 5 9 5 L P A R2 0 C P U ， 9 6 G R A MP R M / C H A N N E L帳 務(wù) M D B接 口I B M P 5 9 5 L P A R2 0 C P U ， 9 6 G R A M自 動(dòng) 測(cè) 試 庫(kù)客 服 測(cè) 試帳 務(wù) 應(yīng) 用I B M P 5 9 5 L P A R2 0 C P U ， 9 6 G R A M營(yíng) 業(yè) 測(cè) 試 應(yīng) 用營(yíng) 業(yè) 回 退 庫(kù)I B M P 5 9 5 L P A R2 0 C P U ， 9 6 G R A M計(jì) 費(fèi) 應(yīng) 用計(jì) 費(fèi) M D BI B M P 6 5 08 C P U ， 2 4 G R A MP R M / C H A N N E L 前 臺(tái)無(wú) 線 營(yíng) 業(yè) 廳 前 臺(tái)網(wǎng) 上 自 助 前 臺(tái)I B M P 6 5 06 C P U ， 2 8 G R A MC B O S SI B M P 6 5 06 C P U ， 2 8 G R A M自 動(dòng) 測(cè) 試 應(yīng) 用1 、 配 置 低 處 理 性 能 不 足2 、 測(cè) 試 環(huán) 境 不 全3 、 B O S S 和 經(jīng) 分 測(cè) 試 環(huán) 境 混 在一 起1 、 遷 移 到 2 臺(tái) I B M P 5 9 5 、 3臺(tái) P 6 5 0 ， 提 升 主 機(jī) 處 理 能力2 、 利 用 主 機(jī) 分 區(qū) 功 能 ， 實(shí)現(xiàn) 物 理 集 中 、 應(yīng) 用 邏 輯 分開(kāi) 通過(guò) BOSS 測(cè)試系統(tǒng)擴(kuò)容改造工程新增主機(jī)、資源整合，把舊的開(kāi)發(fā)測(cè)試環(huán)境遷移到新的系統(tǒng)平臺(tái)上 ，建立了開(kāi)發(fā)、測(cè)試、發(fā)布、回退、培訓(xùn)等多個(gè)環(huán)境，為應(yīng)用軟件的在軟件生命周期的各個(gè)階段順利開(kāi)展提供保障。 嚴(yán)把應(yīng)用開(kāi)發(fā)測(cè)試進(jìn)度控制，除了進(jìn)行功能測(cè)試、集成測(cè)試外，加強(qiáng)進(jìn)行各種壓力測(cè)試、異常測(cè)試 。 4、 措施 四：優(yōu)化 BOSS 運(yùn)維流程 發(fā)揮 BOSS 網(wǎng)管系統(tǒng)作用：完善 BOSS 各子系統(tǒng)設(shè)備在 BOSS 網(wǎng)管系統(tǒng)上的配置，充分利用 BOSS 網(wǎng)管加強(qiáng)系統(tǒng)監(jiān)控、告警，把故障消滅在萌芽狀態(tài)。 建立周、月分析制度：通過(guò)各種性能收集、分析工具定時(shí)收集數(shù)據(jù)進(jìn)行分析，找出應(yīng)用瓶頸所在，提交應(yīng)用集成商共同解決。 完善應(yīng)急方案：通過(guò)演練來(lái)不斷完善系