1、多路徑網絡存儲配置指南目錄多路徑網絡存儲配置指南11 準備工作22 安裝配置target服務22.1 安裝target軟件22.2 配置target22.3 網卡設置22.4 啟動target月服務32.5 查看target33 客戶端軟件安裝配置43.1 安裝iSCSIInitiator客戶端43.1.1 安裝43.1.2 設置運行級別：53.1.3 修改配置53.1.4 網絡存儲網卡配置53.1.5 創(chuàng)建接口文件63.2 安裝配置multipath63.2.1 安裝63.2.2 修改配置83.2.3 重啟multipath94 硬盤使用94.1 偵測target94.2 設置啟動自動連接9

2、4.3 重啟iscsi查看磁盤104.4 固定multipath設備的命名104.5 分區(qū)并格式化114.6 掛載121準備工作多路徑的支持準備工作：網卡：磁盤服務器配置兩塊以上網卡，提供多條鏈路來鏈接，這里配置了ethO:05,eth1:04防火墻：target用到的端口326O端口，需要打開326O端口。2安裝配置target服務2.1 安裝target軟件查看磁盤服務器是否安裝target軟件# rpm-qscsi-target-utils如果沒有安裝，執(zhí)行命令安裝：# yum-yinstallscsi-target-utils2.2 配置ta

3、rget安裝完成后配置target服務配置文件target的主配置文件為/etc/tgt/targets.conf# vi/etc/tgt/targets.conf在該文件最后添加如下配置<targetiqn.2O17-O6.dev.ruijie-xcache:iscsi1>backing-store/dev/sdd</target>說明：iqn.2017-06.dev.ruijie_xcache:iscsi1iqn.年份-月份.ruijie-xcache.設備識別backing-store/dev/sdd1添加的設備/dev/sdd，如果有多快設備則配置多條backi

4、ng-store。每個在同一個target上的backing-store稱為邏輯單元號(LogicalUnitNumberLUN)。2.3網卡設置設置網卡的MTU值：#vi/etc/sysconfig/network-scripts/ifcfg-eth1添加如下值：MTU=90002.4啟動target服務啟動服務:# /etc/init.d/tgtdstart服務添加到開機啟動：# chkconfigtgtdon查看啟動# netstat-nltp|greptgtL：S?EXLISTTV1151t£dllzl.'tgidrDntftRG-PnwsrCacke_Xh匚m匚he

5、Titsta_-r_greptter000.0.C.0：32fi0；*tcp00:13260：*rootflRG-Powiertaicachels2.5查看target#tgt-admin-sHrkULULLDLL±lUUiiLilU1UNinformation；LUN：0Type：controllerSCSIID:IEI00010000SCSISN：besflOSize：0MB,Blocksize：1Online：YesRemovablemedia：NoPreven"remova_：NoReadonly：NoBackingstoretype：nullBack

6、ingstorepath：NoneBackingstorefla&3：LUN：1Type：diskSCSIID：IE!00010001SCSISN：befllSize：21468IB,Blocksize：E12Online:YesRemovablemedia：NoPreventremoval：NoReadonly：NoBackingstoretype:rdwrBackingstoreoath：dev/sddlBackingstoreflas：Accountinformation：ACLInformation：1HLUN0是控制器，可以看到各個LUN的大小和磁盤路徑?？吹饺鐖D：LUN：1

7、,LUN：2等，說明配置成功注：如果重新配置了target配置，需要重啟服務器3客戶端軟件安裝配置3.1安裝iSCSIinitiator客戶端3.1.1安裝查看服務器是否安裝iscsi-initiator軟件#rpm-qinstalliscsi-initiator-utils如果沒有安裝，執(zhí)行命令安裝：#yum-yinstalliscsi-initiator-utils3.1.2設置運行級別：把iscsid和iscsi設置為開機啟動：# chkconfig-level35iscsidon# chkconfig-level35iscsion3.1.3修改配置修改/etc/iscsi/initia

8、torname.iscsi文件，設置主機名InitiatorName=iqn.2017-06.ruijie.xcache:iscsi3.1.4網絡存儲網卡配置這里要確保設置網絡存儲的網卡可以ping通rDotEloGalhoat-#ping10.D0-L0一二4-IethlPING10.0Oil(10OrO.lOJfrLO.Or0.勺7ethl:56(841bvtesofdata.bytesEron10cOrlO：_seq=lDll=255匸iIfre=0«137ms£4byteafrcnio.a0.101iomp_seq-Sttl-255tize-0.139ms4byte

9、sfronioPo0P10：icw_sea=cttl=255tiire=0T125ms54bytes£ron10.cOrlO：lonp_se<i=4：Dll=255匸11££=0150ms-ICLOr0.10piner3T.ati5tic54packetsLraxLSinLLLedP4rec£ivelr0%pacletloss)LlrreSOOOinsrtt-min/avg/naj£./ndev-0P1260-138/0.150/0-038msrootlocalhost-4pinj10,0,0.10-c4-Ieth2pn-rsicBo.o

10、.to(ic.obqmiojroir.LOoO.o.95cLhi:5fenbymsdidatalOT0r0.10pingstatistics4packs匸3匸rirismlLLedf0rec£ivelr100packetloss,tlirelSOOdirsfrootlocalhost-=d=宕掉ethl后eth2立馬就可以通，此時再啟動ethl后ethl就不通了，ethl、eth2反過來測試結果每次只有一個IP會通，Linux默認啟用了反向路由檢查，我們只需要關閉反向路由檢查即可。修改內核文件/etc/sysctl.conf# vi/etc/sysctl.conf# Controls

11、sourcerouteverificationnet.ipv4.conf.default.rp_filter=0net.ipv4.conf.all.rp_filter=0net.ipv4.conf.ethl.rp_filter=0net.ipv4.conf.eth2.rp_filter=0# sysctl-p3.1.5創(chuàng)建接口文件為MPIO創(chuàng)建接口文件剛剛在target服務器有兩塊網卡：ethO和ethl#iscsiadm-miface-Iieth0-onew#iscsiadm-miface-Iiethl-onew更新接口名稱#iscsiadm-miface-Iieth0-op=update-

12、_ifacename-veth0#iscsiadm-miface-Iieth1-op=update-_ifacename-veth1可使得“iscsiadm-miface”命令查看狀態(tài)。rootRG-PowerCa匚hm-Xiscsiadn一mifacedefaulttc©,<empty>,<empty>,<einpty>,<empty>iseriser,<empty>,<empty<empty>,<enrpty>ethOtcp,emptyx-,empty)-,ethO,empty)-iwlan

13、Otcp?Cempty,Empty，Cempty)-,empty)ethltop,<einpty>,(empty)-,eth1.<eHDtjr>3.2安裝配置multipath3.2.1安裝執(zhí)行命令安裝：#yum-yinstalldevice-mapperdevice-mapper-multipathdevice-mapper-libs-1.02.117-12.el6.x86_64device-mapper-event-1.02.117-12.el6.x86_64device-mapper-multipath-libs-0.4.9-100.el6.x86_64devic

14、e-mapper-persistent-data-0.6.2-0.1.rc7.el6.x86_64device-mapper-multipath-0.4.9-100.el6.x86_64device-mapper-1.02.117-12.el6.x86_64device-mapper-event-libs-1.02.117-12.el6.x86_645/centos6.3_64/Packages/device-mapper-multipath-0.4.9-56.el6.x86_64.rpm/centos/6/os/

15、x86_64/Packages/device-mapper-1.02.117-12.el6.x86_64.rpm/centos/6/os/x86_64/Packages/device-mapper-event-1.02.117-12.el6.x86_64.rpm/centos/6/os/x86_64/Packages/device-mapper-event-libs-1.02.117-12.el6.x86_64.rpm/centos/6/os/x86_64/

16、Packages/device-mapper-libs-1.02.117-12.el6.x86_64.rpm/centos/6/os/x86_64/Packages/device-mapper-persistent-data-0.6.2-0.1.rc7.el6.x86_64.rpm/centos/6/os/x86_64/Packages/device-mapper-multipath-0.4.9-100.el6.x86_64.rpm/centos/6/os/

17、x86_64/Packages/device-mapper-multipath-libs-0.4.9-100.el6.x86_64.rpm/centos/6/os/x86_64/Packages/kpartx-0.4.9-100.el6.x86_64.rpm/centos/6/os/x86_64/Packages/lvm2-2.02.143-12.el6.x86_64.rpm/centos/6/os/x86_64/Packages/lvm2-libs-2.0

18、2.143-12.el6.x86_64.rpmPackageArchVersionInstalldevicETiappennultipath?c86_640-.9-100.el6Updaiingihiifl-libsi86_642.02.143-12.el6InstallingFarle=!device-nager-uultigaih-libsi66_64Q.4.9-1.00-e16kpartxs86_640.4.9-100.e16UOidaiiEEfordependencies!devicETiappers86_64L02.117-12el6device-Bapper-eventxS664l

19、.QZ117-12.el6device-nap?er-event-1ibs謐_&4L02.117-12.elfidevic.e_naper11bzxS6_641.02.117-12.elBdevice-nagsr-persistenjt-dataxB6.64G.6.2-4).LrcLel£lvnfin8664202.U3-12elfi初始化DM#modprobedm-multipath#modprobedm-round-robin#servicemultipathdstart#multipath-v2/掃描磁盤設置為開機啟動chkconfigmultipathdon3.2.2

20、修改配置配置文件樣例在目錄：/usr/share/doc/devicemapper-multipath-0.4.9/下執(zhí)行命令生成配置文件：cp/usr/share/doc/device-mapper-multipath-0.4.9/multipath.conf.defaults/etc/multipath.conf修改配置文件：vi/etc/multipath.conf添加如下配置：defaultsudev_dirpath_grouping_policyfailbackno_path_retryuser_friendly_names設置黑名單/devmultibusimmediatefail

21、yes需要注意的問題，multipath也會為本地的磁盤生成相應的dm設備，所以需要在multipath.conf中將本地磁盤加入到黑名單，配置的方法可以參考下面的示例blacklistdevnode"Asda*"devnode"A(ram|raw|loop|fd|md|dm-|sr|scd|st)0-9*"wwid3600508e000000000dc7200032e08af0b可以根據devnode和wwid來配置wwid獲取命令：scsi_id-g-u/dev/sde3.2.3重啟multipath4硬盤使用4.1 偵測target這里通過兩個接口

22、文件去偵測target，形成四條鏈路# iscsiadm-mdiscovery-tsendtargets-p192.1682205-Ieth2-Iethl# iscsiadm-mdiscovery-tsendtagets-p04-Ieth2-Ieth1說明：-mdiscovery/偵測target-tsendtargets/通過iscsi協(xié)議-pIP:port指定target的IP和port，不寫port的話，默認為32604.2 設置啟動自動連接查看目前系統(tǒng)上面所有的targetroot&RG-PowerCache-X#iscsiadm-mnode#iscsia

23、dm-mnode05192.168-2.2050404192.168-2.205050404廠e3260,1 iqn.2017-06.ruijie.冥cache:iEcsi13260,1 1qn.2017-06.ruijie.xcache:iscsn13260,1 1qn.2017-06.ruijie.xcache:iscsi13260,1 iqn.2017-06.ruijie.x匚ach巳：1占匚si13260j11qn.2017-06.ruijie.xcach

24、e:iscsn23260,1 1qn.2017-06.runjie.xcache:iscsi23260,1 iqn.2017-06.ruijie.xcache:iscsi23260,1 1qn.2017-06.ruijie.xcache:iscsi2設置自動連接命令：iscsiadm-mnode-TPORT-NAME-pPORT-IP-opupdate-nnode.startup-vautomatic說明：PORT-NAME：偵測到的target(iqn.2017-06.ruijie.xcache:iscsi1)PORT-IP:指定target的IP和port，不寫port的話，默認為3260

25、4.3重啟iscsi查看磁盤#serviceiscsirestart/重啟#fdisk-1查看磁盤Disk/der/sdd：21.5GE,21467948544bytes255heads,63sectois-'track,2609cy_indersUnits=cylinderscf16065*512=8225280bytesSectorsize(_ogic&_/physica_):512bytes/ol2bytesI/Osize(minimLinv'optim£1):512bytes''512tiytmsDiskideatifier：0j&qu

26、ot;987a6addDeviceBootStartEndBlocksIdSystem/der/sddl126092095676183LinuucDisk/'dev/sde：21.5GE,21467948544bytes255heads,63sctois/track,2609cylindersUnits=cylinderscf160-65*612=8225280bytesSectorsize(logi匚巨l/phy占ical)：512bytes/512bytesI/Osize(minimLinv'optim£1):512bytes/512bytesDiskidenti

27、fir：OiSTaGaddDevit：EBootStartEndBlocksIdSystem/der/sdel126092095676183Linuuc4.4固定multipath設備的命名通過wwid和設備別名一一對應的方式固定multipath設備的名稱，這些和別名對應的設備會被創(chuàng)建到/dev/mapper/目錄下，使用時直接使用這個目錄的的設備。1. 通過/etc/multipath/bindings可以獲取所有磁盤的wwid，確定每個磁盤的別名之后，在/etc/multipath.conf中的multipaths段中加入相應的配置，2. 配置文件如下所示multipathsmultip

28、athwwid3600508b4000c3b910000c00000330000aliasdm0multipathwwid3600508b4000c3b910000c00000390000aliasdm13.配置完成之后，重啟multipathd服務，使用下面的命令清空已有的multipath記錄#multipath-F然后使用multipath-v2重新掃描設備，這時會在/dev/mapper/目錄下生成和別名對應的設備文件。#ls/dev/mapper/controletlOleth02這時我們執(zhí)行#multipath-l會看到相應的磁盤映射：rootRGPowerCache-Xoptmn

29、iltipath一1dnO(1IET00010001>dn-0IET,VIRIUAL-DISK3Lae=20GfeahwhandLer='O'wp=rvpoli匚"r'ciund-r口bl門01prio=0st&tus=a匚-4：Q：0：1sdd8：48failedundefunknown-3：Q：0：1sde8：64&ctiiveundeflinknownr口otRG-PowerCache-Xopt4這里我們可以看到sdd和sde兩條鏈路設備整合為dm0設備執(zhí)行fdisk-l可以看到設備dm0Diskdev/'mapperdm0

30、:21.5GE,2147948544bytes255heEds,63sectois/ti日ub2609cylinderUnits=cylindersof16065512=8225280bytesSectciirsize(Log'cal/phys'cal):512bytes/'512bytesI/Osize(miniimjnv'oiitljueI):512bytes/512bytesDiskidentifier：Ox4d39058e4.5分區(qū)并格式化1. 標記為物理卷在多路徑設備創(chuàng)建后，我們就可以像使用實際的物理設備樣使用多路徑設備了。需要通過下面的命令將其標記為物理卷。pvcre