1、華為機密，未經(jīng)許可不得擴散華為機密，未經(jīng)許可不得擴散資料編碼產(chǎn)品名稱DeviceMapperMultipath使用對象華為工程師、合作方工程師產(chǎn)品版本編寫部門多路徑Linux組資料版本V1.0DeviceMapperMultipath配置指導書擬制：成林/90006999日期：2013-2-4審核：日期：批準：日期：HUAWGI華為技術有限公司版權所有侵權必究修訂記錄日期修訂版本描述作者2013-2-4V1.0整理、初稿成林HuAWflDeviceMapperMultipath酉己置指導書文檔密級：DeviceMapperMultipath酉己置指導書文檔密級:12019-7-1華為機密，未經(jīng)

2、許可不得擴散第 頁,共16頁2019-7-1華為機密，未經(jīng)許可不得擴散第 頁,共16頁目錄目錄TOC o 1-5 h z HYPERLINK l bookmark24 o Current Document 1檢查系統(tǒng)DM-Multipath4 HYPERLINK l bookmark26 o Current Document 檢查DM-Multipath是否正確安裝4查看DM-Multipath版本5 HYPERLINK l bookmark38 o Current Document 檢查DM-Multipath配置文件5檢查DM-Multipath服務multipathd是否開機啟動52修改

3、DM-Multipath配置6 HYPERLINK l bookmark40 o Current Document 2.1修改multipath.conf文件6CentOS6.3對接陣列S5800T配置7NeoKylinAdvanceLinuxServerV5.6對接陣列18500配置82.2FAQ9如何獲取陣列vendor及product9 HYPERLINK l bookmark66 o Current Document DM-Multipath可用的磁盤在哪里93注意事項113.1集群應用113.2DM-Multipath與UltraPath共存113.3設備屏蔽113.4驅(qū)動超時參數(shù)1

4、1FC驅(qū)動11ISCSI驅(qū)動12 HYPERLINK l bookmark76 o Current Document 附錄ADM-Multipath盤符綁定13 HYPERLINK l bookmark84 o Current Document 附錄BDM-Multipath磁盤屏蔽14 HYPERLINK l bookmark94 o Current Document 附錄C常用命令16關鍵詞：DeviceMapperMultipath、配置摘要：本指導書是針對Linux系統(tǒng)自帶多路徑DeviceMapperMultipath對接我司陣列，配置操作過程中需要的步驟、注意事項等提供的指導，本指

5、導書描述了Multipath配置過程及注意事項?？s略語清單：DM-Multipath(DeviceMapperMultipath)：Linux系統(tǒng)自帶多路徑LUN(LogicalUnitNumber):邏輯單元號ALUA(AsymmetrieLogicalUnitAccess):非對稱邏輯單元IALUA(ImplicitAsymmetrieLogicalUnitAccess):隱式ALUAEALUA(ExplicitAsymmetrieLogicalUnitAccess):顯式ALUA參考資料清單:無。DeviceMapperMultipath酉己置指導書文檔密級:2019-7-1華為機密，未

6、經(jīng)許可不得擴散第 頁,共16頁前言對于以下系統(tǒng)，可參照RedHat系統(tǒng)進行處理。OracleLinuxOracleVMServerAsianuxRocky4Rocky4.2.40系統(tǒng)自帶DM-Multipath配置說明見3.6小節(jié)。Kylin(NeoKylin)XenServerCentOSFedoraScientificLinux對于以下系統(tǒng)，可參照Debian系統(tǒng)進行處理。UbuntuRocky6對于以下系統(tǒng)，可參考SUSE系統(tǒng)進行處理。UVP檢查系統(tǒng)DM-Multipath檢查DM-Multipath是否正確安裝執(zhí)行rpm-qaIgrepdevice-mapper命令。查看系統(tǒng)是否安裝或

7、者裝全DM-Multipath，特別關注multipath相關項。注：對于debian系統(tǒng)，使用deb安裝包。執(zhí)行dpkg-lIgrepmultipath命令查詢DM-Multipath是否正確安裝。例如，ubuntu的DM-Multipath包為multipath-tools。若系統(tǒng)為SAN引導方式，要需要multipath-tools-boot包。如圖1-1所示，系統(tǒng)(RedHat6.3)正確安裝DeviceMapper時，會有多個rpm包被安裝到系統(tǒng)中，其中與Multipath相關的有兩個(如圖中紅框內(nèi)容)。如果沒有安裝，或者安裝不全,須先從系統(tǒng)安裝源獲取rpm安裝包，進行DM-Mult

8、ipath的安裝。圖1-1RedHat6.3DM-Multipath注1：不同版本會有差異，以系統(tǒng)發(fā)布版本的實際情況為準。例如，RedHat5.7系統(tǒng)DM-Multipath的rpm包，如圖1-2所示。rootlocalhost心#rpin-qa|grepdevice-inapperdevice-mapper-inultipath-0.4.7-46.elSdevice-niapper-1.02.63-4.elSdevice-niapper-1.02.63-4.elSdevice-mapper-event-1.02.63-4.elSrootlocalhost“#圖1-2RedHat5.7DM-M

9、ultipath注2：SuSE系統(tǒng)multipath相關rpm包是multipath-tools-*.rpm。例如，SuSEllSPl系統(tǒng)DM-Multipath的rpm包，如圖1-3所示。linux:-#rpm-qa|grepdevice-mapperdevice-tnapper-1.02.27-8.17.20device-inapper-32bit.-l.02.27-8.17.20linux:-#rpm-qa|grepinultipathmult.ipat.h-tools-0.4.8-40.21.1圖1-3SuSE11SP1DM-MultipathDeviceMapperMultipath

10、酉己置指導書文檔密級:20l9-7-l華為機密，未經(jīng)許可不得擴散第5頁，共16頁查看DM-Multipath版本如1-1小節(jié)示例，圖1-1中RedHat6.3系統(tǒng)中DM-Multipath版本是0.4.9；圖1-2中RedHat5.7系統(tǒng)中DM-Multipath版本是0.4.7；圖1-3中SuSEllSPl系統(tǒng)中DM-Multipath版本是0.4.8。檢查DM-Multipath配置文件查看系統(tǒng)中/etc/multipath.conf文件是否存在。如果不存在，將(RedHat6.3)RedHat5.7)(SuSEllSPl)(ubuntull.04)/usr/share/doc/devic

11、e-mapper-multipath-*/multipath.conf或/usr/share/doc/device-mapper-multipath-*/multipath.conf.synthetic或/usr/share/doc/packages/multipath-tools/multipath.conf.synthetic或/usr/share/doc/multipath-tools/examples/multipath.conf.synthetic文件拷貝一份，文件命名為multipath.conf放置于/etc/目錄下。注：上述加粗部分“*”表示相應DM-Multipath版本。有

12、些版本提供mpathconf命令，可以使用mpathconf-enable命令來創(chuàng)建配置文件。檢查DM-Multipath服務multipathd是否開機啟動執(zhí)行chkconfigstmultipathd命令，查看multipathd服務是否開機啟動。RedHat6.3系統(tǒng)查詢結果如圖1-4所示。rootlocalhost心#chkconfig-listmultipathdmultipathd:off1:off2:off3:on4:off5:on6:off圖l-4RedHat6.3查詢結果若multipathd在需要的啟動級別未配置開機啟動，執(zhí)行chkconfig-level35multipa

13、thdon命令，設置multipathd服務開機啟動。注：上述加粗的“35”表示系統(tǒng)啟動級別3和5。DeviceMapperMultipath酉己置指導書文檔密級:2019-7-1華為機密，未經(jīng)許可不得擴散第 頁,共16頁修改DM-Multipath配置修改multipath.conf文件1）執(zhí)行vi/etc/multipath.conf打開配置文件，在文件的devices配置項中添加陣列相應配置。具體配置內(nèi)容見本小節(jié)后續(xù)內(nèi)容。RedHat6.3系統(tǒng)對接S5500T陣列的示例配置，如圖2-1所示。devices#HUATiTEI：SS5UUT拄ttdevicevendorPPHUAWEI,Pp

14、roductMS.5.5UUT,P匚iathgroupingpulicygroupIjypringetuidcalloutrr/1ilj/udev/scsiid-whit.elisted-rlevicp=/rlev/nrrpathcheckert-1.117priualuapathselectorrrruunci-rukiin0fallbackirfitnediat.e圖2-1RedHat6.3對接S5500T陣列DM-Multipath配置基本配置項說明:vendor與productpath_grouping_policygetuid_calloutpath_checkerprio(或pri

15、o_callout)path_selectorfailbackdev_loss_tmo陣列信息，是路徑分組策略配置獲取lunwwn方法，路徑檢查方法，獲取路徑優(yōu)先級方法選路方法，failback配置，fc超時配置，陣列相關；策略相關；系統(tǒng)相關；策略相關；版本、策略相關策略相關；策略相關；策略相關（dm-multipath低版本不支持）；注意:具體配置的說明,可參考隨機文檔multipath.conf.annotated確保multipath.conf配置文件中，blacklist配置項沒有設置對陣列的屏蔽。例如，在RedHat5.7系統(tǒng)中，multipath.conf配置文件中，默認進行了如圖

16、2-2所示配置,屏蔽了所有的devnode。需要將屏蔽設置注釋掉，或者在blacklist_exceptions配置項中設置屏蔽例外。blacklistdevnode古圖2-2RedHat5.7DM-Multipath默認配置2）配置修改完畢后，依次執(zhí)行multipathFservicemultipathdreloadmultipath-v2命令，使配置生效。注1：/etc/multipath.conf文件修改后，需要執(zhí)行servicemultipathdreload命令重新加載配置，否則更改不生效。注2：debian系統(tǒng)重新加載multipathd參數(shù)的命令為servicemultipath

17、-toolsreload。注3：若serviemultipathdrload命令執(zhí)行失敗，請根據(jù)回顯提示操作。或使用multipathdreconfigure命令更新配置。3）執(zhí)行multipath-ll命令，查看修改效果。RedHat6.3系統(tǒng)對接S5500T陣列示例中，如圖2-1的配置，查詢結果如圖2-3所示?？梢杂^察，陣列映射給主機有3個LUN,每個LUN有2條路徑，每條路徑通過alua獲取到了不同的優(yōu)先級。例如：虛擬LUNmpatha，兩條路徑的物理LUN是sdb、sdd，路徑優(yōu)先級分別是50、10。rootlocalhost心#multipath-11nipathe(360022al

18、l000afe910001dbcS00000004)dm-4HUAWEI,S5500Tsize=l.OGfeatures=11hwhandler=11wp=rw|-+-policy=1round-robin1prio=503tatus=active|-4:3sde8:64activereadyrunning-+-policy=1round-robin1prio=103tatus=enatiled-3:3sdg8:96activereadyrunningmpathki(360022all000afe910001db9100000003)dm-3HUAWEI,S5500Tsize=l.OGfeat

19、ures=11hwhandler=11wp=rw|-+-policy=1round-robin1prio=50status=active|一3:2sdf8:80activereadyrunning-+-policy=1round-robin1prio=10status=enatiled一4:2sdc8:32activereadyrunningmpatha(360022all000afe910001db6100000002)dm-2HUAWEI,S5500Tsize=l.0Gfeatures=11hwhandler=11wp=rw|-+-policy=1round-robin1prio=50st

20、.at.us=act.ive|一4:0:0:1sdb8:16activereadyrunning-+-policy=1round-robin1prio=10st.at.us=enatoled一3:0:0:1sdd8:4Sactivereadyrunningrootlocalhost#圖2-3RedHat6.3對接S5500T陣列DM-Multipath查詢路徑信息2.1.1CentOS6.3對接陣列S5800T配置隱式ALUA配置：DeviceMapperMultipath酉己置指導書文檔密級:艸|軌31DeviceMapperMultipath酉己置指導書文檔密級:2019-7-1華為機密，

21、未經(jīng)許可不得擴散第 頁,共16頁2019-7-1華為機密，未經(jīng)許可不得擴散第 頁,共16頁#HUAWEI：S5800TIALUA#devicevendorHUAWEIproductS5800Tpath_grouping_policygroup_by_priogetuid_callout/lib/udev/scsi_id-whitelisted-device=/dev/%npath_checkerturprioaluapath_selectorround-robin0failbackimmediate注：1.本配置僅用于CentOS6.3系統(tǒng)對接S5800T陣列2.由于陣列與DM-Multipa

22、th對接，使用了IALUA配置，故須手動在陣列側開啟ALUA配置（非默認配置）。操作方法：在ISM界面上，對相應啟動器配置ALUA。詳細說明，參見陣列ISM使用手冊。2.1.2NeoKylinAdvanceLinuxServerV5.6對接陣列18500配置devicevendorHUAWEIproductHVS85Tpath_grouping_policymultibusgetuid_callout/sbin/scsi_id-g-u-s/block/%npath_selectorround-robin0path_checkerturfailbackimmediate2.2FAQ2.2.1如何

23、獲取陣列vendor及productvendor和product信息，依賴陣列的廠商和型號及固件版本。方式一：直接填寫2.1小節(jié)中相應配置（經(jīng)過測試無誤的）。方式二：在DM-Multipath多路徑可用，但尚未添加陣列專屬配置前（確保配置文件blacklist列表未把陣列設置屏蔽），在陣列映射LUN給主機，在主機側掃LUN成功后，會根據(jù)默認配置接管陣列映射的LUN。執(zhí)行multipath-II可觀察vendor及product信息。此時，可與2.1小節(jié)中給出的vendor和product信息進行印證。例如，在RedHat6.3系統(tǒng)上，未添加如圖2-1的配置前（示例系統(tǒng)默認配置），multipa

24、th-查看到的信息如圖2-4所示。rootlocalhost#multipath-11nipathe(360022all000afe910001dtocS00000004)cim-4HUAWEI,S5500Tsize=l.OGfeatures=11hwhandler=11wp=rw|-+-policy=1round-robin1prio=lstatus=active|-4:3sde8:64activereadyrunning-+-policy=1round-robin1prio=lstatus=enabled-3:3sdg8:96activereadyrunningmpathto(360022

25、all000afe910001dto9100000003)cim-3HUAWEI,S5500Tsize=l.OGfeatures=11hwhandler=11wp=rw|-+-policy=1round-robin1prio=lstatus=active|-4:2sdc8:32activereadyrunning-+-policy=1round-robin1prio=lstatus=enabled-3:2sdf8:80activereadyrunningnipatha(360022all000afe910001dto6100000002)cim-2HUAWEI,S5500Tsize=l.0Gf

26、eatures=11hwhandler=11wp=rw|-+-policy=1round-robin1prio=lstatus=active|-4:1sdb8:16activereadyrunning-+-policy=1round-robin1prio=lstatus=enabled-3:1sdd8:4Sactivereadyrunningrootlocalhost#圖2-4查看陣列vendor及product方式三：對于特定設備的vendor和product，可在文件/sys/blockdevice_name/device/vendor和/sys/block/device_name/dev

27、ice/model文件中找到。其中，device_name是指磁盤設備，例如：“sdb”、“sdc”。執(zhí)行如下命令可查看sdb設備的vendor和product信息。cat/sys/block/sdb/device/vendorcat/sys/block/sdb/device/model2.2.2DM-Multipath可用的磁盤在哪里安裝DM-Multipath的系統(tǒng)，允許使用的DM-Multipath虛擬盤盤符位于/dev/mapper/目錄下。例如，在RedHat6.3系統(tǒng)上，使用如圖2-1的配置，映射3個LUN時，DM-Multipath生成的虛擬盤符mpatha、mpathb、mpa

28、thc，如圖2-5所示。controlrnpathampatlibrnpathcVolGroup-lv_rootVolGroup-lv_swaprootlocalhost#丄s-1/dev/mapper/|grepnipathlrwxrTirxrwx.1rootroot7Feb621:24nipatha-./din-2lrwxrTirxrwx.1rootroot7Feb621:24mpathki-./din-3lrwxrTirxrwx.1rootroot7Feb621:24nipathe-./din-4rootlocalhost#rootlocalhost#丄s/dev/mapper/圖2-5

29、RedHat6.3系統(tǒng)上DM-Multipath虛擬盤符參考圖2-3，DM-Multipath虛擬盤mpatha對應有兩條路徑4：0：0：1、3：0：0：1兩條路徑上的物理盤符分別是sdb、sdd。不同系統(tǒng)會有差異，以實際情況為準。例如，在RedHat5.7系統(tǒng)上，如圖2-6所示。rootlocalhost心#丄3/dev/mapper/JSt*#Is-1/dev/itiapper/|grepinpathrootdisk2532Feb64:55inpathOrootdisk253*3Feb604:55mpathlrootdisk2534Feb604:55mpath2111controlmpat

30、hOmpathlmpath2VolGroupOO-LogVolOOVolGroupOO-LogVolOlrootlocabrw-rwbrw-rwbrw-rw匸cicitlcicdhcist#圖2-6RedHat5.7系統(tǒng)上DM-Multipath虛擬盤符注意事項3.1集群應用若做集群應用，在無法確定應用是否可以自動處理盤符漂移時，DM-Multipath配置需要做盤符綁定處理，不同主機對應相同的LUN需要綁定相同的盤符。盤符綁定的具體操作方法見附錄A。DM-Multipath與UltraPath共存若DM-Multipath與自研多路徑UltraPath同時存在于系統(tǒng)中時，修改配置文件/etc

31、/multipath.conf屏蔽DM-Multipath對UltraPath虛擬盤的接管，應用直接使用UltraPath虛擬盤。屏蔽盤符的具體操作方法見附錄B。3.3設備屏蔽若需要，請在/etc/multipath.conf文件的blacklist中,將所需要屏蔽的設備進行屏蔽（例如：本地盤）。3.4驅(qū)動超時參數(shù)3.4.1FC驅(qū)動若因FC驅(qū)動超時時間原因，導致IOfailover時間過長，而不可接受,可通過調(diào)整fcremoteport的dev_loss_tmo參數(shù)進行改善。方法一：直接修改fcremoteport的dev_loss_tmo參數(shù)。例如：echo10/sys/class/fc_r

32、emote_ports/rport-*/dev_loss_tmo方法二：對于高版本（0.4.8及以上）的DM-multipath，可在配置文件的device中,通過dev_loss_tmo參數(shù)對該屬性進行配置，重新建立fcremoteport時，會使用新配置參數(shù)。系統(tǒng)重啟后，配置仍舊有效。例如：devicevendor“HUAWEI”product“S5500T”dev_loss_tmo10注：修改DM-Multipath的dev_loss_tmo參數(shù)，并重新加載配置后，參數(shù)即生效。但不會影響已經(jīng)建立的fcremoteport，若想對fc驅(qū)動即時生效，需要重新建立所有fcremoteport或

33、修改fcremoteport的超時參數(shù)。3.4.2ISCSI驅(qū)動若因ISCSI驅(qū)動超時時間原因，導致IOfailover時間過長，而不可接受，可通過調(diào)整ISCSI的node.session.timeo.replacement_timeout參數(shù)。例如：把ISCSI配置文件/etc/iscsi/iscsid.conf中的node.session.timeo.replacement_timeout參數(shù)，修改為5。d已.s已ssicin.tiin已.亡已pJ.BC已甜已n匸tiin已du匸=5修改后需要刪除已經(jīng)建立的node，并重新discovery.附錄ADM-Multipath盤符綁定在配置了u

34、ser_friendly_names參數(shù)為yes時，綁定物理LUN對應DM-Multipath盤符的方法有兩種。方法一：在/etc/multipath.conf文件中的multipath配置項中添加綁定信息。執(zhí)行servicemultipathdreload命令，使配置生效。如圖2-2所示，若要把陣列LUN與DM-Multipath盤符mpath*的對應關系固定下來，需要在multipath.conf文件中添加的配置信息，如圖A-1所示。multipathsmultipathwwid360022all000afe910001dh6100000002nipathaaliasl.1rnu11ipa

35、thTiTT.Tirl360022all000afE910001dti9100000003aliasiinpathbjmultipathwwid360022all000afe910001dhc800000004aliasnipathc圖A-1DM-Multipath盤符綁定注：陣列LUN對應wwid的獲取：執(zhí)行multipath-會看到陣列所有映射LUN的信息中有wwid，如圖2-3所示。方法二：在/var/lib/multipath/bindings文件中，保存有wwid和alias的對應關系。保持所有機器該文件內(nèi)容一致。注：bindings文件需要在系統(tǒng)啟動就加載的目錄下，可通過bindi

36、ng_file參數(shù)設置。附錄BDM-Multipath磁盤屏蔽在/etc/multipath.conf文件，blacklist配置項中添加磁盤屏蔽信息;blacklist_exceptions配置項中設置屏蔽例外。執(zhí)行servicemultipathdre命令d，使配置生效。1）屏蔽所有UltraPath生成的虛擬盤例如，在以上示例的RedHat6.3系統(tǒng)中，同時安裝了DM-Multipath和UltraPath。DM-Multipath會接管UltraPath生產(chǎn)的虛擬盤。UltraPath（以R5C01版本為例）虛擬盤信息，如圖B-1、B-2所示，UltraPath生產(chǎn)虛擬盤sdb、sdc

37、、sdd。DM-Multipath接管UltraPath虛擬盤，如圖B-3所示。匸匚11-loca1list-#u匚iaciiriinahowv1unVIUliIDNizilnFLunTiTTiJIJStatusCapacityCtrl(Own/Work)ArrayIJam已0LUIJLIO1_OO260022all000afe91000ldb6100000002Nominal1GEB/EXVEStorage1LUi-irioijjijj60022all000a壬已91000IlUj9100000003Normal1GE；A/AXVESt.orag已2LUIJLIO1_OO460022all0

38、00afe91000ldbc800000004Nominal1GEB/EXVEStorageroct.01oca111ost.#圖B-1UltraPathVLUN信息rootlocalhost心#丄sscsi1:cd/dvdNECVMWarVMwareIDECDR101./dev/srO2：:diskVHwareVirtualdisk1./dev/sda3：:diskHUAWEIS5500T22013：:1diskHUAWEIS5500T2201/dev/up-03：:2diskHUAWEIS5500T2201/dev/up-13：:3diskHUAWEIS5500T2201/dev/up-2

39、理:diskHUAWEIS5500T2201理:1diskHUAWEIS5500T2201/dev/up-3理:2diskHUAWEIS5500T2201/dev/up-4理:3diskHUAWEIS5500T2201/dev/up-55:1diskupupdisk2201/dev/sdb5:2diskupupdisk2201/dev/sdc5:3diskupupdisk2201/dev/sddrrootlocalhost“1#圖B-2SCSI信息rootlocalhost.#inultipath-11rapathc(360022all000afe910001dbc800000004)din-

40、4up,updisksize=l.OGfeatures=11hwhandler=11wp=rw-policy=1round-robin01prio=lstatus=active-5:0:0:3sdd8:48activereadyrunningrapatlib(36002SallOOOafe91000ldto9100000003)dm-3up,updisksize=l.OGfeatures=11hwhandler=11wp=rw-policy=1round-robin01prio=lstatus=active-5:0:0:2sdc8:32activereadyrunningrapatha(36O

41、O22allOOOafe91OOOldb61OOOOOOO2)din-2up,updisksize=l.OGfeatures=11hwhandler=11wp=rw-policy=1round-robin01prio=lstatus=active-5:0:0:1sdb8:16activereadyrunning圖B-3DM-Multipath查詢信息在配置文件multipath.conf中，添加配置信息，屏蔽所有UltraPath產(chǎn)生的虛擬盤。配置信息，如下：blacklistdevicevendor“up”product“updisk”在配置文件的屏蔽列表中添加UltraPath虛擬盤的vendorID和prod