1、 CISCO UCS ORACLE HA部署參考手冊RHEL5 CLUSTER目錄 TOC o 1-3 h z u HYPERLINK l _Toc490141776 1參考拓?fù)?PAGEREF _Toc490141776 h 3 HYPERLINK l _Toc490141777 2說明及注意事項(xiàng) PAGEREF _Toc490141777 h 3 HYPERLINK l _Toc490141778 3前期準(zhǔn)備 PAGEREF _Toc490141778 h 3 HYPERLINK l _Toc490141779 4CLUSTER安裝配置步驟 PAGEREF _Toc490141779 h

2、4 HYPERLINK l _Toc490141780 4.2CLUSTER套件安裝升級 PAGEREF _Toc490141780 h 5 HYPERLINK l _Toc490141781 4.2.1CLUSTER套件安裝 PAGEREF _Toc490141781 h 5 HYPERLINK l _Toc490141782 4.3CLUSTER配置調(diào)測 PAGEREF _Toc490141782 h 6 HYPERLINK l _Toc490141783 4.3.1CLUSTER基本配置 PAGEREF _Toc490141783 h 6 HYPERLINK l _Toc49014178

3、4 4.3.2添加SUBORG屬性 PAGEREF _Toc490141784 h 10 HYPERLINK l _Toc490141785 4.3.3ORACLE控制腳本 PAGEREF _Toc490141785 h 11 HYPERLINK l _Toc490141786 4.3.4CLUSTER測試 PAGEREF _Toc490141786 h 14 HYPERLINK l _Toc490141787 4.3.5上層交換機(jī)組播配置 PAGEREF _Toc490141787 h 16 HYPERLINK l _Toc490141788 Appendix A FENCING命令測試 P

4、AGEREF _Toc490141788 h 17 HYPERLINK l _Toc490141789 Appendix B UCSM管理項(xiàng)變更 PAGEREF _Toc490141789 h 18參考拓?fù)湔f明及注意事項(xiàng)REDHAT5.8以下操作系統(tǒng)不支持UCS FENCING，需要升級CLUSTER到5.8版本套件FI6120上聯(lián)交換機(jī)CISCO4948需要開啟組播支持，否則CLUSTER心跳無法工作Selinux需要disableItables需要disable本文僅介紹CLUSTER在UCS上的安裝配置過程，ORACLE和操作系統(tǒng)安裝部分不做介紹，以下以REDHAT5.6配置過程為例.前

5、期準(zhǔn)備完成UCSM基本配置完成基本操作系統(tǒng)安裝配置，以下是配置數(shù)據(jù)HOSTNAMEIP ADDRESSOS VERSIONUCS:Service ProfileUCS:Sub organizationEth0: 07REDHAT5.6Gzgd-db1Gzgd-dhcpEth1: Eth0: 08REDHAT5.6Gzdb-db2Gzgd-dhcpEth1: 完成數(shù)據(jù)庫安裝，并保證兩臺主機(jī)已同步CLUSTER安裝配置步驟CLUSTER套件安裝升級安裝操作系統(tǒng)的時(shí)候，如果有可用KEY，輸入KEY后，CLUSTER套件可以做為1個(gè)組件被選擇安裝，如果沒有KEY，則必須事后安裝CLUSTER套件。CL

6、USTER套件安裝建立本地YUM倉庫（2臺主機(jī)操作）建立本地YUM倉庫的目的是為了避免單個(gè)RPM安裝，因?yàn)閱为?dú)安裝RPM的過程中會遇到RPM包的依賴關(guān)系，通過YUM工具可以輕松的避免這個(gè)問題，它會自動檢索并安裝依賴RPM. 第一步：加載REDHAT5.8 DVD光盤 # mount /dev/cdrom /media 或mount iso文件 # mount -o loop -t iso9660 yourisofile.iso /media 第二步：配置YUM本地倉庫 Servername=REHEL SERVER1baseurl=file:/media/Server/ #rpm所在路徑ena

7、bled=1gpgcheck=0 Clustername=REHEL SERVER2baseurl=file:/media/Cluster/ #rpm所在路徑enabled=1gpgcheck=0ClusterStoragename=REHEL SERVER3baseurl=file:/media/ClusterStorage/ #rpm所在路徑enabled=1gpgcheck=0YUM安裝CLUSTER（2臺主機(jī)操作） 第一步：安裝CLUSTER套件# yum install cman# yum install Clustering# yum install Cluster Storage

8、或升級套件# yum update cman# yum groupupdate Clustering# yum groupupdate Cluster Storage 第二步：配置CLUSTER自啟動# chkconfig cman on# chkconfig rgmanager onCLUSTER配置調(diào)測CLUSTER基本配置安裝LUCI和RICCI服務(wù)(2臺主機(jī)操作)# yum install luci# yum install ricci# luci_admin init 初始化luci密碼和數(shù)據(jù)庫# passwd ricci 初始化ricci密碼# service luci start

9、# service ricci startWEB配置CLUSTER（1臺主機(jī)操作）第一步：登陸LUCI ，配置一個(gè)新的CLUSTER（不要使用system-config-cluster） HYPERLINK https:/luci-ip:8084/ https:/luci-ip:8084/ 使用luci初始化用戶名密碼登陸，選擇cluster，創(chuàng)建1個(gè)新的cluster，如下圖：第二步：在CLUSTER上配置FAILOVER域 第三步：配置FENC設(shè)備，選擇Cisco UCS類型 具體配置信息如下： 說明：IP Address 是ucsm web管理IP Login和password 是ucs

10、m web 登陸用戶名密碼 Port 對應(yīng)service profile,參照前面profile配置截圖 注意：這里面缺失suborg資源名稱，事后需要手工編輯cluster.xml第四步 添加資源增加IP和ORACLE啟動腳本資源（腳本控制LVM及數(shù)據(jù)庫） 說明：CLUSTER本身包含LVM和FS資源，所以也可以添加LVM和FS資源，完全由CLUSTER控制，簡化ORACLE啟動腳本.第五步 添加服務(wù) 將服務(wù)和資源關(guān)聯(lián)，完成CLUSTER ORACLE資源組配置，如下圖，選擇配置好的IP和SCRIPTS資源添加進(jìn)ORA服務(wù).第六步：保存CLUSTER配置 添加SUBORG屬性 對于REDHA

11、T5.8以下版本，LUCI配置頁面沒有SUBORG配置選項(xiàng)，所以，WEB配置完成后需要手工編輯cluster.conf文件，添加紅色部分，對應(yīng)UCSM中的“sub organization”的組織名gzgd-dhcp，前面一定要添加”org-“：ORACLE控制腳本#!/bin/sh. /etc/rc.d/init.d/functionsORACLE_BASE=/home/oracle2/oracleORACLE_SID=LCDMP2ORACLE_HOME=$ORACLE_BASE/product/10.2.0/db_1LSNR_PORT=1521ORACLE_USER=oracle2star

12、t() /sbin/vgchange ay Mount /dev/mapper/VolGroup02-LCDMPBACKUP-lv01 /lcdmp2_backupMount /dev/mapper/VolGroup02-LCDMPDATA-lv00 /lcdmp2_dbdataSleep 5 su - $ORACLE_USER -c $ORACLE_HOME/bin/lsnrctl start su - $ORACLE_USER -c $ORACLE_HOME/bin/sqlplus /nolog EOF connect / as sysdba startup quit EOF su - $

13、ORACLE_USER -c $ORACLE_HOME/bin/lsnrctl start exit 0stop() su - $ORACLE_USER -c $ORACLE_HOME/bin/sqlplus /nolog /dev/null | grep tnslsnr | grep $LSNR_PORT | wc -l if $chk_lsnr -eq 0 ;then echo Oracle listener is NOT running! else echo Oracle listener is running OK! fi chk_sid=ps axw | grep -E ora_pm

14、on|ora_lgwr|ora_dbw0-9*|ora_ckpt|ora_smon | wc -l echo AAA : $chk_sid /test.amp if $chk_sid -gt 4 ;then echo Oracle SID : $ORACLE_SID is running OK! else echo Oracle SID : $ORACLE_SID is checked by ERROR! exit 1 ficase $1 in start) start ; stop) stop ; restart) stop start ; status) status oracle ; *

15、) echo $Usage: $0 start|stop|restart|status exit 1esacCLUSTER測試啟動CLUSTER同步cluster.conf文件到對端主機(jī)/etc/cluster目錄下,在兩臺主機(jī)啟動cluster# service cman start# service rgmanager start檢查CLUSTER運(yùn)行狀態(tài)檢查心跳組播是否正常，獲取組播地址：cman_tool status在DB1檢查組播消息，以下是DB1發(fā)送的組播消息在DB2檢查組播消息，以下是DB2接收到DB1發(fā)送的組播消息，如果組播不通執(zhí)行4.3.5.檢查CLUSTER狀態(tài)是否正常，

16、clustat檢查cluster運(yùn)行狀態(tài)，兩邊看到的狀態(tài)應(yīng)該一致.CLUSTER切換測試 故障類型模擬方式切換狀態(tài)手工切換clusvcadm r ora- m 數(shù)據(jù)庫切換業(yè)務(wù)主機(jī)故障Reboot 業(yè)務(wù)主機(jī)數(shù)據(jù)庫切換業(yè)務(wù)主機(jī)心跳中斷Ifconfig down網(wǎng)口數(shù)據(jù)庫切換，被對端主機(jī)fencing上層交換機(jī)組播配置 Cisco交換機(jī)默認(rèn)狀態(tài)下，組播數(shù)據(jù)是不允許通過的，所以，需要在交換機(jī)上開啟組播功能，具體配置辦法如下：cman_tool status檢查cluster協(xié)商的組播地址，如上圖所示：45在心跳VLAN上配置組播組，如下紅色字體部分：interface Vlan100 description To AAA-Server Switch ip address 53 ip igmp join-group ip igmp join-group 45 vrrp 10 ip 54 vrrp 10 track 1 vrrp 10 track 2Appendix A FENCING命令測試rootdb1 cluster# fence_cisco_ucs -v -z -shell-timeout 10 -a 54 -n gzgd-db1 -l admin -p cisco123 -o status -v -suborg=/org-gzgd-dh