1、.詳解地鐵清分系統(tǒng)廣州地鐵自動(dòng)售檢票系統(tǒng)及其清分系統(tǒng)在實(shí)際運(yùn)行中情況良好，系統(tǒng)達(dá)到了不間斷工作的目標(biāo)，為廣州地鐵的整個(gè)AFC系統(tǒng)提供持續(xù)穩(wěn)定的服務(wù)。 隨著信息化技術(shù)應(yīng)用的不斷深入，人們對計(jì)算機(jī)系統(tǒng)高可用性（High Availability）的要求不斷提高，特別是企業(yè)基于數(shù)據(jù)庫的關(guān)鍵業(yè)務(wù)系統(tǒng)，不僅希望保障關(guān)鍵業(yè)務(wù)數(shù)據(jù)信息的完整，而且希望聯(lián)機(jī)應(yīng)用能夠不間斷或者在最短的時(shí)間內(nèi)自動(dòng)恢復(fù)。 AFC系統(tǒng)及其清分系統(tǒng)簡介 廣州地鐵自動(dòng)售檢票系統(tǒng)（Automatic Fare Collection ，以下簡稱AFC）是基于計(jì)算機(jī)、通信、網(wǎng)絡(luò)、自動(dòng)控制等技術(shù)，實(shí)現(xiàn)城市軌道交通售票、檢票、計(jì)費(fèi)、收費(fèi)、清分、管理

2、等全過程的自動(dòng)化系統(tǒng)。 目前，廣州地鐵自動(dòng)售檢票系統(tǒng)共分為車票、車站終端設(shè)備、車站計(jì)算機(jī)系統(tǒng)、線路中央計(jì)算機(jī)系統(tǒng)、清分系統(tǒng)五個(gè)層次（如下表所示）。 同時(shí)負(fù)責(zé)連接廣州地鐵AFC系統(tǒng)與城市一卡通清分系統(tǒng)，規(guī)定了對車票管理、票務(wù)管理、運(yùn)營管理和系統(tǒng)維護(hù)管理的技術(shù)要求。主要用于廣州市軌道交通各條線路之間，與公交系統(tǒng)、銀行系統(tǒng)及其他相關(guān)系統(tǒng)之間的清算分賬、車票交易數(shù)據(jù)的處理及統(tǒng)計(jì)分析。 同時(shí)還具備對線路自動(dòng)售檢票（AFC）系統(tǒng)設(shè)備運(yùn)營管理的功能。遠(yuǎn)期定位于整個(gè)廣州市及珠江三角洲城際軌道交通系統(tǒng)的清分中心和AFC運(yùn)營管理中心。 方案選擇和系統(tǒng)現(xiàn)狀 高可用性可選用的方案較多，如依賴于硬件的容錯(cuò)機(jī)方式、群集方

3、式（雙機(jī)或多機(jī)群集系統(tǒng)）、數(shù)據(jù)復(fù)制方式等。 廣泛采用的群集方式（Cluster系統(tǒng)），其基本原理可以概括為：同一群集內(nèi)的節(jié)點(diǎn)機(jī)所有關(guān)鍵業(yè)務(wù)數(shù)據(jù)存儲于共享磁盤組，通常是磁盤陣列；故障節(jié)點(diǎn)被其它節(jié)點(diǎn)替換時(shí)，故障節(jié)點(diǎn)管轄的數(shù)據(jù)所在的數(shù)據(jù)設(shè)備（共享磁盤組的一部分）被接管；節(jié)點(diǎn)替換/接管的時(shí)機(jī)決定于集群內(nèi)運(yùn)行的監(jiān)視軟件；節(jié)點(diǎn)機(jī)上運(yùn)行數(shù)據(jù)庫管理系統(tǒng)，管理該節(jié)點(diǎn)機(jī)控制的設(shè)備上的數(shù)據(jù)；客戶應(yīng)用可以使用機(jī)群中的一個(gè)或多個(gè)數(shù)據(jù)庫服務(wù)器。 節(jié)點(diǎn)機(jī)的替換意味著節(jié)點(diǎn)上運(yùn)行的數(shù)據(jù)庫管理系統(tǒng)進(jìn)程的切換，這些過程是在服務(wù)器后臺完成的，對于前端應(yīng)用是透明的。 它主要可分為對稱式(Active/Active)和非對稱式(Acti

4、ve/Standby) 兩種。 清分系統(tǒng)使用的是非對稱式模式。典型的非對稱式的高可用性系統(tǒng)包括兩臺服務(wù)器, 一臺是主服務(wù)器, 客戶機(jī)從它存取數(shù)據(jù)和獲得服務(wù),另一臺是備份服務(wù)器。兩臺服務(wù)器通過心跳（Heartbeat）方式檢測彼此的狀態(tài), 實(shí)現(xiàn)熱備份。當(dāng)其中主服務(wù)器出現(xiàn)問題時(shí), 后備服務(wù)器能夠自動(dòng)立即接替工作, 不會中斷正常工作。 目前，清分系統(tǒng)配置2臺Sun Fire 6800清分?jǐn)?shù)據(jù)服務(wù)器，作為兩個(gè)節(jié)點(diǎn)，以群集方式運(yùn)行。操作系統(tǒng)為Solaris 9,使用Sun Cluster 3.1群集管理軟件。 在其中一臺服務(wù)器故障時(shí)，另一臺服務(wù)器能自動(dòng)接管及運(yùn)行所有的任務(wù)。服務(wù)器配置外部磁盤陣列，磁盤陣

5、列容量可擴(kuò)展。每臺服務(wù)器均通過冗余的1000Mbps以太網(wǎng)口與中央以太網(wǎng)交換機(jī)連接。數(shù)據(jù)庫方面，清分系統(tǒng)使用的SybaseASE 12.5建立于Sun主機(jī)集群技術(shù)之上、面向分布式工作。 網(wǎng)絡(luò)高可用性 為保證網(wǎng)絡(luò)連接的高可用性，清分系統(tǒng)的每臺服務(wù)器均使用了兩個(gè)千兆以太網(wǎng)卡用作對外連接。 在硬件安裝好后，主要使用IPMP（IP Multipathing）來保證網(wǎng)絡(luò)連接的高可用性。 它提供了一個(gè)基本機(jī)制，用于監(jiān)視公共網(wǎng)絡(luò)適配器，以及監(jiān)視檢測到故障時(shí)一個(gè)適配器到另一個(gè)適配器的失效轉(zhuǎn)移IP地址。在Solaris操作系統(tǒng)中,由in.mpathd后臺進(jìn)程負(fù)責(zé)故障檢測，并根據(jù)不同的策略實(shí)現(xiàn)了故障轉(zhuǎn)移和故障恢復(fù)

6、。 檢測物理接口的失敗，in.mpathd所管理的主機(jī)系統(tǒng)的全部和部分網(wǎng)絡(luò)接口組織成一個(gè)多路徑接口組， 其中的每一個(gè)網(wǎng)絡(luò)接口分別賦予了測試地址。 在正常情況下，后臺進(jìn)程 in.mpathd不斷地通過組中每個(gè)網(wǎng)絡(luò)接口的測試地址向目標(biāo)主機(jī)發(fā)送ICMP的ECHO包來檢測相關(guān)網(wǎng)絡(luò)接口的連通性。其中，目標(biāo)主機(jī)一般選為本網(wǎng)絡(luò)的網(wǎng)關(guān)，如果網(wǎng)關(guān)不存在，那么，將選擇網(wǎng)絡(luò)中的主機(jī)作為仲裁主機(jī)。 在選擇仲裁主機(jī)時(shí)，in.mpathd向網(wǎng)絡(luò)上的所有主機(jī)發(fā)送multicast數(shù)據(jù)包，第一臺返回響應(yīng)數(shù)據(jù)包的主機(jī)將被認(rèn)為是仲裁主機(jī)，此仲裁主機(jī)就是用來測試多路徑接口組中網(wǎng)絡(luò)連通性的目標(biāo)主機(jī)。 在in.mpathd測試主機(jī)網(wǎng)絡(luò)

7、連通性的過程中，如果目標(biāo)主機(jī)連續(xù)5次沒有響應(yīng)，in.mpathd認(rèn)定相關(guān)連接已經(jīng)失敗，每次錯(cuò)誤檢測的缺省時(shí)間是10秒。如果在多路徑接口組中配置了備用網(wǎng)口，那么所有的網(wǎng)絡(luò)訪問將自動(dòng)切向備用網(wǎng)絡(luò)接口。 為了檢測失敗的網(wǎng)絡(luò)接口是否已經(jīng)被修復(fù)，in.mpathd不斷嘗試通過該網(wǎng)口的測試地址向目標(biāo)主機(jī) 發(fā)送檢測包，如果能夠連續(xù)10次收到響應(yīng)數(shù)據(jù)包，那么in.mpathd后臺進(jìn)程認(rèn)定該網(wǎng)口已經(jīng)被修復(fù)，隨后，所有被轉(zhuǎn)移到備用網(wǎng)口的服務(wù)將自動(dòng)恢復(fù)回原網(wǎng)口。 數(shù)據(jù)庫的高可用性 清分系統(tǒng)是724不間斷運(yùn)行的，所需的數(shù)據(jù)庫服務(wù)是一種核心服務(wù)，它使用了Sybase ASE 12.5的高可用性產(chǎn)品，在系統(tǒng)故障發(fā)生時(shí)保證

8、系統(tǒng)仍能正常運(yùn)行，并將對最終用戶的影響減少到最小。 Sybase故障切換產(chǎn)品使它能在具有雙機(jī)配置的高可用性群集系統(tǒng)中工作，兩個(gè)節(jié)點(diǎn)組合成協(xié)同服務(wù)器，每個(gè)節(jié)點(diǎn)或者是主協(xié)同服務(wù)器或者是輔助協(xié)同服務(wù)器。 主協(xié)同服務(wù)器故障或關(guān)閉期間，協(xié)同服務(wù)器便接管其工作。此時(shí)進(jìn)行故障切換，即把故障的或關(guān)閉的主協(xié)同服務(wù)器的數(shù)據(jù)庫，元數(shù)據(jù)和用戶連接移到輔助協(xié)同服務(wù)器以便用戶仍然可以訪問數(shù)據(jù)。當(dāng)主協(xié)同服務(wù)器可以重新運(yùn)行時(shí)，用戶可以執(zhí)行故障恢復(fù)，將工作量移回原節(jié)點(diǎn)。 目前，Sybase ASE支持兩種高可用性模式。 模式1Hot Standby模式。在輔助協(xié)同服務(wù)器上的ASE處于閑置狀態(tài)，等待接管主協(xié)同服務(wù)器出現(xiàn)故障后的A

9、SE。它的優(yōu)點(diǎn)是：易于管理，便于維護(hù)。缺點(diǎn)就是只有一個(gè)服務(wù)器提供服務(wù)。也把這種模式稱為“主動(dòng)被動(dòng)”架構(gòu)。清分系統(tǒng)為了方便管理，采用了這種模式。 模式2分布式的工作負(fù)載。它的特點(diǎn)是：集群中的節(jié)點(diǎn)可以同時(shí)訪問磁盤，集群中兩臺ASE服務(wù)器可用于不同的應(yīng)用系統(tǒng)。優(yōu)點(diǎn)是在同一時(shí)間，兩臺節(jié)點(diǎn)上的ASE都可以提供服務(wù)，其中一臺都可以被配置成為另外一個(gè)服務(wù)器的接管服務(wù)器。缺點(diǎn)：當(dāng)故障發(fā)生時(shí)，性能將受到一定的影響。這種模式也稱為主動(dòng)-主動(dòng)模式。 無論在何種模式下，協(xié)同服務(wù)器對于客戶端而言具有一定的透明性，客戶端感覺只是一個(gè)統(tǒng)一的系統(tǒng)。實(shí)現(xiàn)了自動(dòng)的故障接管，但客戶端必須重新提交在故障發(fā)生時(shí)刻尚未完成的事務(wù)。 在故

10、障發(fā)生期間，一些ASE資源會發(fā)生轉(zhuǎn)移：用戶連接、數(shù)據(jù)庫、數(shù)據(jù)庫設(shè)備。 在故障發(fā)生期間，不會被轉(zhuǎn)移的ASE資源包括：主協(xié)同服務(wù)器的高速緩存和其他內(nèi)存中的資源、數(shù)據(jù)庫配置參數(shù)、臨時(shí)數(shù)據(jù)庫 Tempdb。 因此，清分系統(tǒng)開發(fā)人員在設(shè)計(jì)和開發(fā)數(shù)據(jù)庫相關(guān)應(yīng)用時(shí)，需要考慮到上述因素。對于數(shù)據(jù)庫管理員，則需要為部分資源的切換進(jìn)行相應(yīng)的計(jì)劃和配置。包括：制定安全策略，定義沒有交集的設(shè)備名稱和數(shù)據(jù)庫名稱，選擇需要發(fā)生故障切換的客戶端。 故障切換期間，為保證具有故障切換屬性的客戶端自動(dòng)重新連接，必須在interfaces文件中增加標(biāo)有“Hafailover”的行，以便為客戶端連接到輔助協(xié)同服務(wù)器提供必要的連接信息

11、。我們可以使用文本編輯器或Sybase自帶的Dsedit實(shí)用程序添加。 Sun Cluster系統(tǒng)的高可用性 Sun Cluster管理軟件是系統(tǒng)高可用性的核心, 它監(jiān)視整個(gè)系統(tǒng)的硬件和軟件的工作狀況, 并在主系統(tǒng)失效時(shí), 將事務(wù)切換到備份系統(tǒng)，對各種失效進(jìn)行探測和有效的恢復(fù)。軟件實(shí)現(xiàn)要求保證系統(tǒng)正常工作, 避免本身可能存在的失效。 每個(gè)Sun Cluster系統(tǒng)是一組緊密連結(jié)的節(jié)點(diǎn)，提供網(wǎng)絡(luò)服務(wù)和應(yīng)用程序的單一管理視圖。Sun Cluster系統(tǒng)通過采用以下硬件和軟件的組合實(shí)現(xiàn)高可用性： 冗余磁盤系統(tǒng)提供存儲。群集中的所有節(jié)點(diǎn)還連接到公共網(wǎng)絡(luò)，以使多個(gè)網(wǎng)絡(luò)上的客戶機(jī)可以訪問該群集。 冗余熱插

12、拔組件使系統(tǒng)在硬件出現(xiàn)故障后繼續(xù)運(yùn)行，從而提高了可用性。無需關(guān)閉運(yùn)行系統(tǒng)，熱插拔組件能夠在運(yùn)行系統(tǒng)中添加和刪除硬件組件。 Sun Cluster軟件可檢測節(jié)點(diǎn)故障，并將應(yīng)用程序或服務(wù)移植到另一個(gè)節(jié)點(diǎn)。 Sun Cluster支持兩種服務(wù)模式，第一種是失效轉(zhuǎn)移數(shù)據(jù)服務(wù)：當(dāng)故障發(fā)生時(shí)，系統(tǒng)自動(dòng)將應(yīng)用程序等資源從一個(gè)故障主節(jié)點(diǎn)上重新定位到指定的輔助節(jié)點(diǎn)，客戶端可能會看到一個(gè)短暫的服務(wù)中斷（一般為10秒）,并可能需要在失敗切換結(jié)束后重新連接，但客戶端并不知道哪一個(gè)物理服務(wù)器向他們提供應(yīng)用程序和數(shù)據(jù)。做到了應(yīng)用程序的冗余。 第二種是可伸縮數(shù)據(jù)服務(wù)：利用集群中的多個(gè)節(jié)點(diǎn)來同時(shí)運(yùn)行一個(gè)應(yīng)用程序，每個(gè)節(jié)點(diǎn)都可

13、以提供數(shù)據(jù)和處理客戶請求，這樣既提供了高可用性，還提供了更高的性能。 目前，和數(shù)據(jù)庫相配合，清分系統(tǒng)所使用的Sun Cluster配置為失效轉(zhuǎn)移數(shù)據(jù)服務(wù)。 高可用性的日常管理 日常運(yùn)行中，如何知道系統(tǒng)高可用性正常運(yùn)作呢？實(shí)際工作中可以定期利用系統(tǒng)空閑，用以下步驟進(jìn)行： 1登錄到控制Sybase ASE資源組的節(jié)點(diǎn)。 2設(shè)置Sybase ASE 環(huán)境變量，這些環(huán)境變量是用戶使用Environment_file擴(kuò)展特性指定的變量。 3檢驗(yàn)Sun Cluster HA for Sybase ASE資源是否處于聯(lián)機(jī)狀態(tài)。 4檢查Sybase ASE日志以確定已發(fā)生的所有錯(cuò)誤的原因。 5確認(rèn)用戶可以連接

14、到數(shù)據(jù)服務(wù)器并可以執(zhí)行測試命令。 6終止Sybase ASE數(shù)據(jù)服務(wù)器的進(jìn)程。 7將包含Sybase ASE資源的資源組切換到另一個(gè)群集成員，這一步能否切換成功是檢驗(yàn)高可用性的重要標(biāo)志之一。 8登錄到此時(shí)包含資源組的節(jié)點(diǎn)。 9重復(fù)步驟3和步驟5。 要注意， Sybase ASE客戶機(jī)連接在Sun Cluster HA for Sybase ASE切換后將斷開。如果發(fā)生了切換，則客戶機(jī)與Sybase ASE 的現(xiàn)有連接將終止，并且客戶機(jī)必須重新建立其連接。切換后，重放Sybase ASE事務(wù)日志所需的時(shí)間決定了Sybase ASE的恢復(fù)時(shí)間。 在清分系統(tǒng)的實(shí)際運(yùn)行中，高可用性故障問題的定位思路通常為先應(yīng)用程序，再數(shù)據(jù)庫，最后是操作系統(tǒng)，特別要注意查系統(tǒng)最近變更的記錄。高可用性故障主要表現(xiàn)為兩類： 一是Sun群集系統(tǒng)切換不成功問題。這種情況一般是群集系統(tǒng)異常、群集切換腳本錯(cuò)誤等原因?qū)е隆?問題的定位手段有：檢查群集狀態(tài)是否正常、群集之間網(wǎng)絡(luò)是否正常，系統(tǒng)負(fù)荷是否過高；檢查系統(tǒng)的進(jìn)程是否正常，是否有很多僵死進(jìn)程；檢查群集軟件的配置文件、群集腳本是否配置正確檢查群集和程序文件屬主、權(quán)限是否正確；檢查群集數(shù)據(jù)庫庫配置文件是否一致。 二是Sun群集數(shù)據(jù)庫異常切換問題。這種情況一般是操作系統(tǒng)群集程序與數(shù)據(jù)庫系統(tǒng)配置沖突的導(dǎo)致的。問題的定