1、RedHat5.4下配置Sybase雙機(jī)熱備文檔控制l 文檔變更記錄日期版本號作者備注2009-12-30v1.0陳浩創(chuàng)建2009-12-31v1.1陳浩補(bǔ)充“2.10集群相關(guān)命令”；完善文檔格式2010-01-26v1.2陳浩補(bǔ)充“2.6 修改系統(tǒng)配置”，替換ASEHAagent.sh中變量1 相關(guān)概念集群中（HA or LB）最重要的是保證數(shù)據(jù)的完整性，通過仲裁盤及隔離設(shè)備來實(shí)現(xiàn)。1.1 集群分類l 存儲集群（Storage）存儲集群是一個共享的文件系統(tǒng)，提供并發(fā)訪問功能。RHCS通過GFS提供存儲集群。l 高可用性集群（High availability，HA）高可用性集群消除單點(diǎn)故障，

2、提供故障轉(zhuǎn)移，例如：雙機(jī)熱備。l 負(fù)載均衡集群（Load balancing，LB）負(fù)載均衡集群把請求調(diào)度到集群中的多個節(jié)點(diǎn)上，例如：Oracle RAC。l 高性能集群（High performance，HP）高性能機(jī)群提供并行計(jì)算能力，一個計(jì)算任務(wù)分散到多個節(jié)點(diǎn)執(zhí)行，例如：科學(xué)計(jì)算以上是4種最基本的集群類型，實(shí)際應(yīng)用中可能是這4種類型的組合，如Oracle RAC是HA+LB。1.2 特殊問題l 并發(fā)有些應(yīng)用需要并發(fā)訪問相同數(shù)據(jù)，如Oracle RAC，這需要由DLM（分布式鎖管理）來進(jìn)行管理，保證數(shù)據(jù)完整性。l 健忘多個節(jié)點(diǎn)配置文件分開存放，修改了其中一個節(jié)點(diǎn)配置文件后，因某些原因沒有同

3、步到其他節(jié)點(diǎn)，造成配置文件不一致。l 腦裂（Split-Brain）腦裂在HA中表現(xiàn)為相互重啟、同時寫文件，LB中表現(xiàn)為同時擁有控制權(quán)，都會破壞數(shù)據(jù)完整性。1) 集群中有兩個以上節(jié)點(diǎn)的情況：假設(shè)有三個節(jié)點(diǎn)，節(jié)點(diǎn)A出現(xiàn)問題無法和其他節(jié)點(diǎn)通信，這時集群分裂成兩個部分。第一個部分是節(jié)點(diǎn)A，第二個部分是節(jié)點(diǎn)B和節(jié)點(diǎn)C。兩個部分因無法互相通信，都認(rèn)為對方已經(jīng)出現(xiàn)故障，自己獲得集群的控制權(quán)，導(dǎo)致出現(xiàn)災(zāi)難性的數(shù)據(jù)完整性問題。這時需要一個投票算法根據(jù)票數(shù)決定哪個部分擁有控制權(quán)，失去控制權(quán)的節(jié)點(diǎn)將被隔離。在這里，節(jié)點(diǎn)B和節(jié)點(diǎn)C有兩票，節(jié)點(diǎn)A有一票，所以由節(jié)點(diǎn)B和節(jié)點(diǎn)C組成的第二部分獲得集群控制權(quán)，節(jié)點(diǎn)A被隔離。

4、2) 集群中有兩個節(jié)點(diǎn)的情況：假設(shè)集群中有兩個節(jié)點(diǎn)，這時投票算法便失去作用，需要引入第三個設(shè)備 - 仲裁設(shè)備（Quorum Device）。仲裁設(shè)備通常采用仲裁盤（Quorum Disk），仲裁盤代表一票，先到達(dá)仲裁盤的節(jié)點(diǎn)贏得仲裁盤的一票，獲得集群的控制權(quán)。1.3 IO隔離（IO Fencing）IO隔離保證被隔離的節(jié)點(diǎn)不再訪問共享數(shù)據(jù)。隔離設(shè)備（Fence Device）用來隔離故障節(jié)點(diǎn)的IO，包括光纖交換機(jī)隔離、電源控制器隔離、GNBD隔離或其他專用隔離設(shè)備。當(dāng)一個節(jié)點(diǎn)出現(xiàn)問題時隔離該節(jié)點(diǎn)到共享存儲的IO，避免破壞數(shù)據(jù)文件甚至或破壞整個文件系統(tǒng)。1.4 Red Hat Cluster S

5、uite（RHCS）簡介RHCS是Red Hat提供的集群的一套軟件的集合，可滿足不同的集群需求。包含以下部分：l 集群基礎(chǔ)架構(gòu)l 高可用性服務(wù)管理l 集群管理軟件l Linux虛擬服務(wù)器可選組件（非RHCS一部分）：l GFS2，并發(fā)文件系統(tǒng)l CLVM (Cluster Logical Volume Manager)，集群邏輯卷管理器l iSCSI，基于IP的SAN（存儲區(qū)域網(wǎng)絡(luò)）技術(shù)三個可選組件關(guān)系為：1) 通過iSCSI使存儲設(shè)備可以被其他主機(jī)訪問2) 在iSCSI基礎(chǔ)上使用CLVM實(shí)現(xiàn)共享磁盤的動態(tài)管理3) 在CLVM基礎(chǔ)上使用GFS2實(shí)現(xiàn)并發(fā)文件系統(tǒng)舉例：1) A機(jī)通過iSCSI共

6、享/dev/sdb1和/dev/sdb2給B機(jī)和C機(jī)。2) B機(jī)通過iSCSI訪問到A機(jī)的共享存儲后，通過CLVM使A機(jī)的動態(tài)調(diào)整由A機(jī)的sdb1和sdb2組成的/dev/lv01的容量，C機(jī)通過CLVM在集群中的同步獲得最新的LVM信息。3) 如果B和C需要同時讀寫/dev/lv01（如Oracle RAC），通過GFS2來實(shí)現(xiàn)文件系統(tǒng)的并發(fā)訪問，保證數(shù)據(jù)完整性。2 RHEL 5.4中Sybase HA配置步驟2.1 目標(biāo)成功實(shí)施RHCS下Sybase雙機(jī)熱備。通過iSCSI組建存儲網(wǎng)絡(luò)，實(shí)現(xiàn)浮動IP自動切換、存儲設(shè)備自動掛載、Sybase自動啟動。2.2 配置信息存儲服務(wù)器信息IP192.

7、168.16.205主機(jī)名DISK共享設(shè)備/dev/sdb1共享設(shè)備大小8G雙機(jī)服務(wù)器信息IP192.168.16.206192.168.16.207主機(jī)名node1node2共享存儲設(shè)備掛載路徑/disk2Sybase相關(guān)信息Sybase安裝目錄（共享設(shè)備）/disk2/sybase浮動IP192.168.16.210Sybase腳本位置/usr/shared/cluster/ASEHAagent.sh所有服務(wù)器關(guān)閉iptables和SELinux。2.3 配置iSCSI2.3.1 iSCSI服務(wù)器端（16.205）配置#安裝scsi-target-utils，依賴perl-Config-G

8、eneralyum install scsi-target-utils*#格式化/dev/sdbfdisk /dev/sdb#開啟iSCSI服務(wù)service tgtd start#設(shè)置iSCSI#新增target device：tgtadm -lld iscsi -op new -mode target -tid 1 -targetname disk1#把新建的target device加入分區(qū)：tgtadm -lld iscsi -op new -mode logicalunit -tid 1 -lun 1 -b /dev/sdb1#查看target device的內(nèi)容：tgtadm -l

9、ld iscsi -op show -mode target#允許客戶端訪問三個目標(biāo)邏輯卷：tgtadm -lld iscsi -op bind -mode target -tid 1 -I ALL把上述命令加入到/etc/rc.local中，避免重啟后丟失iSCSI設(shè)置#設(shè)置tgtd服務(wù)開機(jī)啟動chkconfig -level 35 tgtd on2.3.2 iSCSI客戶端（16.206，16.207）配置#安裝iscsi客戶端：yum install iscsi-initiator-utils*#啟動iscsi服務(wù)service iscsi start#設(shè)置服務(wù)開機(jī)自動啟動chkconf

10、ig -level 35 iscsi on#搜索目標(biāo)對象上的共享存儲：iscsiadm -m discovery -t sendtargets -p 192.168.16.205#登錄目標(biāo)對象使用共享存儲:iscsiadm -m node -T disk1 -p 192.168.16.205 -l以上操作在雙機(jī)（16.206，16.207）上都執(zhí)行。以下操作僅在一臺主機(jī)操作即可。#查看本機(jī)設(shè)備，可以看到多出的/dev/sdbfdisk -l#格式化/dev/sdbmkfs.ext3 /dev/sdb#創(chuàng)建/disk2目錄mkdir /disk2#把格式化后的/dev/sdb掛載到/disk2目

11、錄mount /dev/sdb /disk22.4 安裝、配置Sybase#安裝sybase到/disk2/sybase目錄下，過程略#修改/disk2/sybase/interfaces，指向浮動IP 192.168.16.210vim /disk2/sybase/interfacesmaster tcp ether 192.168.16.210 5000query tcp ether 192.168.16.210 50002.5 安裝集群軟件#進(jìn)入RHEL 5.4的Cluster目錄，安裝所有軟件yum install *可使用光盤作為yum源，具體略2.6 修改系統(tǒng)配置#修改16.206

12、及16.207的/etc/hosts文件vi /etc/hosts#注釋掉其他行，添加下列兩行192.168.16.206node1192.168.16.207node2#在/disk2/sybase/中添加login_file文件vi /disk2/sybase/login_file#內(nèi)容如下#加密方式 用戶名/密碼normal sa/#修改16.206及16.207的/usr/share/cluster/ASEHAagent.shvi /usr/share/cluster/ASEHAagent.sh#在“declare CONSOLE_LOG”下、“meta_data()”上的62行加入下

13、面變量定義sybase_home=/disk2/sybasesybase_ase=ASE-15_0sybase_ocs=OCS-15_0server_name=sybaselogin_file=/disk2/sybase/login_fileinterfaces_file=/disk2/sybase/interfacessybase_user=sybaseshutdown_timeout=30start_timeout=30deep_probe_timeout=30RUNSERVER_SCRIPT=$sybase_home/$sybase_ase/install/RUN_$server_nam

14、eCONSOLE_LOG=$sybase_home/$sybase_ase/install/$server_name.log#把ASEHAagent.sh中OCF開頭、后面是上面變量名的變量都替換為上述變量名如：把$OCF_sybase_home替換為$sybase_home，$OCF_sybase_ase替換為$sybase_ase，上面其他變量類似注：可用dos2unix轉(zhuǎn)換回車字符2.7 配置集群#使用system-config-cluster圖形界面配置集群system-config-cluster2.7.1 添加新集群2.7.2 添加集群節(jié)點(diǎn)節(jié)點(diǎn)名需與/etc/hosts一致，每一個

15、主機(jī)就是一個節(jié)點(diǎn)，Quorum Votes不用填2.7.3 添加故障轉(zhuǎn)移域某個節(jié)點(diǎn)失效后會在此故障轉(zhuǎn)移域內(nèi)轉(zhuǎn)移服務(wù)#把指定的節(jié)點(diǎn)1和節(jié)點(diǎn)2添加到故障轉(zhuǎn)移郁中，選上右邊兩個選項(xiàng)，點(diǎn)擊節(jié)點(diǎn)2，設(shè)置優(yōu)先級為2，優(yōu)先在節(jié)點(diǎn)1中啟動。2.7.4 添加資源包括IP、文件系統(tǒng)和sybase腳本2.7.4.1 IP資源2.7.4.2 文件系統(tǒng)資源2.7.4.3 Sybase腳本資源指向上面修改過的shell script文件2.7.5 添加服務(wù)服務(wù)包含若干定義的資源2.7.5.1 添加IP資源選擇Add a Shared Resource to this service2.7.5.2 添加文件系統(tǒng)資源選中IP

16、后選擇“Attach a Shared Resource to this selection”，把文件系統(tǒng)作為IP的子資源2.7.5.3 添加sybase腳本作為文件系統(tǒng)資源的子資源2.7.5.4 設(shè)置服務(wù)的故障轉(zhuǎn)移域及恢復(fù)策略故障轉(zhuǎn)移域?yàn)閯偛旁O(shè)置的FD_sybase，恢復(fù)策略為Relocate，既出現(xiàn)故障后轉(zhuǎn)移到另一個節(jié)點(diǎn)2.7.6 cluster.conf文件內(nèi)容設(shè)置好后保存（Ctrl + S），默認(rèn)保存在/etc/cluster/cluster.confcluster.conf內(nèi)容如下：把設(shè)置好的cluster.conf復(fù)制到另一臺機(jī)器相同位置。2.8 啟動集群在16.206和16.20

17、7上開啟集群，開啟集群前卸載/dev/sdb，保證雙機(jī)都沒有掛載共享存儲開啟順序：service cman startservice rgmanager start關(guān)閉順序：service rgmanager stopservice cman stop啟動時各節(jié)點(diǎn)要相互通信，所以要在各節(jié)點(diǎn)同時開啟cman服務(wù)cman日志在/var/log/messages，出現(xiàn)錯誤時檢查該文件2.9 故障轉(zhuǎn)移測試啟動rgmanger后執(zhí)行system-config-cluster可以在Cluster Management頁查看集群狀態(tài)。在下面的服務(wù)列表中可以看到服務(wù)的狀態(tài)、當(dāng)前所在節(jié)點(diǎn)、前一個節(jié)點(diǎn)、重啟次數(shù)等

18、信息。2.9.1 關(guān)閉sybase服務(wù)當(dāng)前服務(wù)運(yùn)行在node2上，停掉sybase服務(wù)后，集群服務(wù)自動在node1重啟服務(wù)在node1成功啟動2.9.2 關(guān)閉服務(wù)器服務(wù)運(yùn)行在node1節(jié)點(diǎn)，關(guān)閉node1服務(wù)器，集群服務(wù)會自動切換到node2上，node1顯示為不是集群成員2.10 集群相關(guān)命令除了通過system-config-cluster圖形界面查看、操作集群外，還可以通過命令行方式直接進(jìn)行。#查看集群狀態(tài)clustat#手動切換服務(wù)clusvcadm -r 服務(wù)名 -m 節(jié)點(diǎn)名#把服務(wù)SV_sybase從節(jié)點(diǎn)1切換到節(jié)點(diǎn)2上clusvcadm -r SV_sybase -m node23 注意要點(diǎn)3.1 仲裁盤(Quorum Device)及隔離設(shè)備(Fence Device)HA中存儲設(shè)備分共享存儲和獨(dú)立存儲，大數(shù)據(jù)量的數(shù)據(jù)庫服務(wù)使用共享存儲，小數(shù)據(jù)量的WEB服務(wù)使用獨(dú)立存儲。對于共享存儲來說，保持?jǐn)?shù)據(jù)一致性是最關(guān)鍵的，仲裁盤(Quorum Device)及隔離設(shè)備(Fence Device)是必不可少的。仲裁盤負(fù)責(zé)決定哪個（哪些）節(jié)點(diǎn)被踢出集群，隔離設(shè)備負(fù)責(zé)隔離那些被踢出集群的機(jī)器到共享存儲的IO連接。兩者配合保證共享硬盤不會被不正確的同時讀寫，避免破壞數(shù)據(jù)完整性甚至整個文件系統(tǒng)。隔離設(shè)備可以用軟件實(shí)現(xiàn)，但生產(chǎn)環(huán)境最好用專用的硬件實(shí)現(xiàn)。