數(shù)據(jù)中心融合存儲(chǔ)網(wǎng)絡(luò)解決方案杭州華三通信技術(shù)有限公司密級(jí)：機(jī)密日期：2013年12月23日目錄存儲(chǔ)網(wǎng)絡(luò)發(fā)展SAN存儲(chǔ)之FCSANSAN存儲(chǔ)之FCoESANSAN存儲(chǔ)之IPSANNAS存儲(chǔ)系統(tǒng)分布式存儲(chǔ)構(gòu)建融合存儲(chǔ)網(wǎng)絡(luò)FCoE實(shí)戰(zhàn)強(qiáng)化幾種存儲(chǔ)模型應(yīng)用系統(tǒng)存儲(chǔ)JBODRAID文件系統(tǒng)Direct-Attached

Storage(DAS)應(yīng)用系統(tǒng)存儲(chǔ)RAID(JBOD)文件系統(tǒng)StorageAreaNetworks(SAN)網(wǎng)絡(luò)主機(jī)獨(dú)享到靈活擴(kuò)展幾種存儲(chǔ)模型應(yīng)用系統(tǒng)存儲(chǔ)RAID(JBOD)文件系統(tǒng)StorageAreaNetworks(SAN)網(wǎng)絡(luò)IP與FC網(wǎng)絡(luò)融合FCoE&IPSAN幾種存儲(chǔ)模型應(yīng)用系統(tǒng)存儲(chǔ)RAID(JBOD)文件系統(tǒng)網(wǎng)絡(luò)Network-Attached

Storage(NAS)應(yīng)用系統(tǒng)存儲(chǔ)RAID(JBOD)文件系統(tǒng)StorageAreaNetworks(SAN)網(wǎng)絡(luò)集中共享幾種存儲(chǔ)模型應(yīng)用系統(tǒng)存儲(chǔ)JBODRAID文件系統(tǒng)Direct-Attached

Storage(DAS)應(yīng)用系統(tǒng)存儲(chǔ)JBODvSAN層文件系統(tǒng)分布式存純存儲(chǔ)JBOD網(wǎng)絡(luò)橫向擴(kuò)展應(yīng)用系統(tǒng)存儲(chǔ)RAID(JBOD)文件系統(tǒng)網(wǎng)絡(luò)Network-Attached

Storage(NAS)數(shù)據(jù)中心融合存儲(chǔ)融合存儲(chǔ)網(wǎng)絡(luò)DASSANFCSANIPSANFCoENAS分布式存儲(chǔ)目錄存儲(chǔ)網(wǎng)絡(luò)發(fā)展SAN存儲(chǔ)之FCSANSAN存儲(chǔ)之FCoESANSAN存儲(chǔ)之IPSANNAS存儲(chǔ)系統(tǒng)分布式存儲(chǔ)構(gòu)建融合存儲(chǔ)網(wǎng)絡(luò)FCoE實(shí)戰(zhàn)強(qiáng)化FCSAN的結(jié)構(gòu)和組成FC存儲(chǔ)設(shè)備文件服務(wù)器應(yīng)用服務(wù)器Windows用戶Linux/Unix用戶TCP/IP網(wǎng)絡(luò)數(shù)據(jù)庫(kù)服務(wù)器FCSAN網(wǎng)絡(luò)FC光纖交換機(jī)我司FC/FCoE光纖交換機(jī)S5820v252QF-U48個(gè)10G+4個(gè)40G，10G端口通過(guò)命令行在FCoE和FC間靈活切換S5820X+LSW1FC4P0

接口卡S5820v210500SF系列（V7主控）12500FD/FG系列12500-XEA/EB系列FCSAN在數(shù)據(jù)中心的部署IRFFabricAIRFIRFoEHBANICFabricBFC存儲(chǔ)FCSAN的兼容性問(wèn)題FCSAN相對(duì)封閉，目前主要控制在思科和博科手中我司切入FC市場(chǎng)會(huì)面對(duì)FC接口和HBA卡、FC存儲(chǔ)以及友商設(shè)備的對(duì)接HP海外實(shí)驗(yàn)室測(cè)試部分兼容性對(duì)接國(guó)內(nèi)研發(fā)內(nèi)部兼容性測(cè)試國(guó)內(nèi)市場(chǎng)項(xiàng)目，對(duì)于新的適配卡做驗(yàn)證測(cè)試，豐富兼容列表目錄存儲(chǔ)網(wǎng)絡(luò)發(fā)展SAN存儲(chǔ)之FCSANSAN存儲(chǔ)之FCoESANSAN存儲(chǔ)之IPSANNAS存儲(chǔ)系統(tǒng)分布式存儲(chǔ)構(gòu)建融合存儲(chǔ)網(wǎng)絡(luò)FCoE實(shí)戰(zhàn)強(qiáng)化什么是FCoEFCoE是在把FC幀直接封裝在以太網(wǎng)上FC是lossless傳輸，所以FCoE需要增強(qiáng)的以太網(wǎng)（DCE/CEE/DCB）FCoE保留了FC的轉(zhuǎn)發(fā)和管理模型，能夠和原有的SAN無(wú)狀態(tài)的互通，保護(hù)了用戶投資增強(qiáng)以太網(wǎng)FC流量IP流量LANSANASANBFCoESwitchServerwithCNA為什么要發(fā)展FCoEFCoE技術(shù)是實(shí)現(xiàn)數(shù)據(jù)中心網(wǎng)絡(luò)融合的重要技術(shù)之一大幅消減適配器、交換機(jī)、布線無(wú)縫的連接到現(xiàn)有的LAN和SAN有效的共享高帶寬的鏈路整合的網(wǎng)絡(luò)架構(gòu)降低TCOLANSANASANBLANSANASANBFCCEE&FCOEEthernet融合前融合后為什么要發(fā)展FCoE>10Gbps8-10GbpsExistingFibreChannelEthernet1,2,4Gb16Gb8GbNAS,iSCSIFCoCEE1GE10GE40GE以太網(wǎng)速率提升遠(yuǎn)遠(yuǎn)快于FC以太網(wǎng)端口成本遠(yuǎn)遠(yuǎn)低于FC10G以太網(wǎng)提供了LAN/SAN融合的基礎(chǔ)融合增強(qiáng)以太網(wǎng)技術(shù)（CEE），提供了不丟包的以太網(wǎng)傳輸以及二層多路徑轉(zhuǎn)發(fā)，保證FC傳輸不丟包以及FC傳輸?shù)男蔛CSIFC（二三層）FCSANSCSIFC（三層）FCoE以太網(wǎng)FCoE的部署模式FC/FCoE

交換機(jī)支持三種工作模式FCF模式：默認(rèn)模式，支持FC/FCoEtargetsandInitiaorsNPV模式：

工作在本模式的交換機(jī)稱為NPV交換機(jī)，用于擴(kuò)展SNA網(wǎng)絡(luò)或者與已有的SAN網(wǎng)絡(luò)互通FIPSnooping模式：

工作在本模式的交換機(jī)稱為T(mén)ransit交換機(jī)，用于限制以太網(wǎng)接口只能接收來(lái)自ENode或FCF交換機(jī)的通信流量Server/CNA/HBAFC/FCoEswitch單跳刀片服務(wù)器單跳多跳6125-XGFIPSnoopingFC/FCoE存儲(chǔ)FC/FCoE存儲(chǔ)FC/FCoE存儲(chǔ)FC/FCoEswitchFC/FCoEswitchFC/FCoEswitch#1#2#3刀片服務(wù)器多跳FC/FCoE存儲(chǔ)FC/FCoEswitchFC/FCoEswitch#46125-XGFIPSnooping單跳部署（適合小型存儲(chǔ)網(wǎng)絡(luò)部署）：服務(wù)器和存儲(chǔ)經(jīng)過(guò)單臺(tái)FCF交換機(jī)單跳互連多跳部署（適合大中型存儲(chǔ)網(wǎng)絡(luò)部署）：服務(wù)器和存儲(chǔ)經(jīng)過(guò)多臺(tái)FCF交換機(jī)多跳互連FCoE組網(wǎng)方案：?jiǎn)翁Ｊ絃AN組網(wǎng)說(shuō)明：適合中小型存儲(chǔ)網(wǎng)絡(luò)部署FCoE流量和Ethernet流量在接入層后由設(shè)備物理分離服務(wù)器CNA/HBA網(wǎng)卡雙上行接入FCF服務(wù)器的雙網(wǎng)卡Ethernet流量在同一個(gè)VLAN中，鏈路做聚合接入FCF支持FCoE口和FC接口存儲(chǔ)FCoEFCL2L3IRFIRFLAN/SANFCF特點(diǎn)：服務(wù)器到接入交換機(jī)的Ethernet和FCoE流量共享同一對(duì)物理鏈路，減少布線服務(wù)器和接入交換機(jī)之間的鏈路做聚合，提供Ethernet鏈路的可靠性通過(guò)iMC實(shí)現(xiàn)SAN網(wǎng)絡(luò)可視化管理接入層實(shí)現(xiàn)LAN/SAN融合，交換機(jī)支持FC口EthernetFC

FCoE服務(wù)器FIPSnoopingCNAHBANPViMCServerFCoE的組網(wǎng)方案：多跳模式組網(wǎng)說(shuō)明適合大中型存儲(chǔ)網(wǎng)絡(luò)部署FCoE流量和Ethernet流量在接入層后由鏈路物理分離FCoE流量和Ethernet流量在匯聚層后由設(shè)備物理分離服務(wù)器CNA網(wǎng)卡雙上行接入FCF接入FCF支持FCoE口和FC接口特點(diǎn)：服務(wù)器到匯聚交換機(jī)的Ethernet和FCoE流量共享交換機(jī)，減少交換機(jī)數(shù)量服務(wù)器和接入交換機(jī)之間的鏈路做聚合，提供Ethernet鏈路的可靠性通過(guò)iMC實(shí)現(xiàn)SAN網(wǎng)絡(luò)可視化管理接入層/匯聚層實(shí)現(xiàn)LAN/SAN融合，交換機(jī)支持FC口FCFLANFC存儲(chǔ)FCoEL2L3IRFIRFLAN/SANFCFFCF服務(wù)器NPVEthernetFC

FCoECNAHBAFIPSnoopingiMCServerMDC1MDC1MDC2FabricAMDC2FabricAMDC3FabricBMDC3FabricBFCoE組網(wǎng)方案：NPV模式LAN組網(wǎng)說(shuō)明適合大中型網(wǎng)絡(luò)部署，及與已有SAN互通FCoE流量和Ethernet流量在接入層后由設(shè)備物理分離服務(wù)器CNA網(wǎng)卡雙上行接入NPV服務(wù)器的雙網(wǎng)卡Ethernet流量在同一個(gè)VLAN中，鏈路做聚合接入FCF支持FCoE口和FC接口存儲(chǔ)L2L3IRFIRFFCFNPV特點(diǎn)：接入交換機(jī)使能NPV，提高接入服務(wù)器數(shù)量服務(wù)器和接入交換機(jī)之間的鏈路做聚合，提供Ethernet鏈路的可靠性可通過(guò)iMC實(shí)現(xiàn)SAN網(wǎng)絡(luò)可視化管理NPV接入實(shí)現(xiàn)LAN/SAN融合，交換機(jī)支持FC口服務(wù)器LAN/SANHBAFIPSnoopingEthernetFC

FCoECNANPVFCFCiMCServerFCoE組網(wǎng)方案：可視化網(wǎng)絡(luò)管理-VFM組網(wǎng)說(shuō)明：使用iMCVFMV7管理組件對(duì)FC/FCoE網(wǎng)絡(luò)管理特點(diǎn)：基于對(duì)象的SANFabric管理層級(jí)層次化的SANFabric業(yè)務(wù)管理邏輯SANFabric快速部署：快速配置服務(wù)器和存儲(chǔ)的相互訪問(wèn)VSAN自動(dòng)發(fā)現(xiàn)SANFabric拓?fù)洌喊‵CoE交換機(jī)、服務(wù)器、存儲(chǔ)FCoE解決方案產(chǎn)品功能列表設(shè)備分類設(shè)備名稱是否支持FCoE接口是否支持FC接口支持板卡核心/匯聚層12500-X是否EA/EB12500是否FD/FG10500是否SF接入層S5830V2-24S是否/S5820V2-52Q是否/S5820V2-52QF是否/S5820V2-52Q-U是是/管理軟件iMC-VFM///FCoE方案面對(duì)的挑戰(zhàn)兼容性問(wèn)題單跳組網(wǎng)－中小型數(shù)據(jù)中心多跳組網(wǎng)－大中型數(shù)據(jù)中心多跳FC/FCoE存儲(chǔ)FC/FCoEswitchFC/FCoEswitchServer/CNA/HBAFC/FCoEswitch單跳FC/FCoE存儲(chǔ)廠商接入類型可靠性H3C支持FC/FCoE接入支持所有Ethernet/FC/FCoE的IRFCisco支持FC/FCoE接入支持Ethernet的VPC廠商接入類型匯聚類型我司支持FC/FCoE接入支持S12500-X/58v2的FCoE匯聚Cisco支持FC/FCoE接入支持N7K的FCoE匯聚支持MDS9500的FC匯聚CiscoFCoE產(chǎn)品支持情況產(chǎn)品分類設(shè)備分類設(shè)備名稱是否支持FC是否支持FCoEN系列以太網(wǎng)交換機(jī)核心/匯聚層N7000否是N6000否是N5000否是接入層N5500是是N2000否是MDS系列光纖交換機(jī)核心/匯聚層9700是是9500是是接入層9200是否9100是否CiscoN系列交換機(jī)高、中、低三線產(chǎn)品均支持FCoE，其中N5500UP可支持FCMDS系列光纖交換機(jī)產(chǎn)品線完整，其中高端設(shè)備9500推出了支持FCoE的板卡，實(shí)際組網(wǎng)中，Cisco以太網(wǎng)產(chǎn)品可以提供FCoE/FC接口，F(xiàn)CSAN產(chǎn)品可提供FCoE/FC接口，融合程度較高，組網(wǎng)靈活

其他友商對(duì)FCoE的支持H3C型號(hào)125-X/1055820V25820XFC管理軟件

備注FCOE√√

IMCVFM管理組件5820v2支持FCoE及FCFC

√

√思科型號(hào)N7K/N2KN5KMDS9K系列缺失

思科N系列支持UnifedPort,在同一機(jī)器上支持FCoE及FCFCOE√√√

FC

√√

Juniper型號(hào)QFX3008/3600QFX3500QFX3100控制器缺失Qabric同時(shí)支持FCOE及FC，EX82/4550/4500僅支持FCOEFCOE√√

FC√

型號(hào)EX8200EX4550EX4500FCOE√√√Brocade

型號(hào)VDX6720VDX6730-76Brocade8000缺失VDX系列支持FCOE及FC端口融合，B8K系列專用FCOE交換機(jī)也支持端口融合FCOE√√√FC

√√HUAWEI型號(hào)CE12800S9700CE6800缺失僅支持FCOE，當(dāng)前不支持FC也無(wú)管理組件FCOE√

√銳捷型號(hào)S12000S8600S6220X缺失支撐FC/FCOE，但無(wú)管理組件和實(shí)際部署案例FCOE√

√FC&FCOEDELL型號(hào)8024F

PowerConnecetB-8000（SAN)

S4810

缺失支持FCOE，有刀片及SAN交換機(jī)支持FC接口FCOE√

√FC&FCOE√FCOE目錄存儲(chǔ)網(wǎng)絡(luò)發(fā)展SAN存儲(chǔ)之FCSANSAN存儲(chǔ)之FCoESANSAN存儲(chǔ)之IPSANNAS存儲(chǔ)系統(tǒng)分布式存儲(chǔ)構(gòu)建融合存儲(chǔ)網(wǎng)絡(luò)FCoE實(shí)戰(zhàn)強(qiáng)化IPSAN的結(jié)構(gòu)和組成文件服務(wù)器應(yīng)用服務(wù)器IP存儲(chǔ)設(shè)備Windows用戶Linux/Unix用戶TCP/IP網(wǎng)絡(luò)數(shù)據(jù)庫(kù)服務(wù)器iSCSI協(xié)議IPSANSCSIiSCSIiSCSITCP/IP以太網(wǎng)IPSANvsFCSAN比較IPSANFCＳＡＮ使用環(huán)境分布式部門(mén)級(jí)和工作組環(huán)境高性能的任務(wù)關(guān)鍵性數(shù)據(jù)中心環(huán)境傳輸距離可提供遠(yuǎn)距離傳輸對(duì)舉例延遲比較敏感操作系統(tǒng)使用標(biāo)準(zhǔn)TCP/IP協(xié)議，數(shù)據(jù)可在以太網(wǎng)上傳輸受到光纖傳輸距離的限制，易在異地形成存儲(chǔ)孤島安全性iSCSI提供豐富安全功能使用專門(mén)FC網(wǎng)絡(luò)，但五安全功能擁有成本（TCO）利用標(biāo)準(zhǔn)網(wǎng)絡(luò)的功能以及以太網(wǎng)的普及性，能得到更簡(jiǎn)單、成本更低的SAN復(fù)雜、成本高昂的網(wǎng)絡(luò)環(huán)境，昂貴的光纖網(wǎng)絡(luò)、主機(jī)HBA卡和光纖磁盤(pán)互補(bǔ)性業(yè)內(nèi)許多人士都人為IPSAN和FCSAN會(huì)在可預(yù)見(jiàn)的未來(lái)并存和互補(bǔ)IPSAN存儲(chǔ)可以看做數(shù)據(jù)中心的以太主機(jī)服務(wù)器，IP可達(dá)即可，但接入網(wǎng)絡(luò)要做到穩(wěn)定而且足夠大的帶寬，接入設(shè)備緩存足夠大，可保證數(shù)據(jù)傳輸過(guò)程中不丟包NAS在數(shù)據(jù)中心的部署：完全混合模式生產(chǎn)核心核心區(qū)…業(yè)務(wù)服務(wù)器區(qū)業(yè)務(wù)服務(wù)器區(qū)NAS區(qū)服務(wù)器區(qū)NAS在數(shù)據(jù)中心的部署：半混合模式生產(chǎn)核心核心區(qū)…業(yè)務(wù)服務(wù)器區(qū)業(yè)務(wù)服務(wù)器區(qū)NAS區(qū)服務(wù)器區(qū)NAS在數(shù)據(jù)中心的部署：完全獨(dú)立模式生產(chǎn)核心核心區(qū)…服務(wù)器區(qū)NAS區(qū)目錄存儲(chǔ)網(wǎng)絡(luò)發(fā)展SAN存儲(chǔ)之FCSANSAN存儲(chǔ)之FCoESANSAN存儲(chǔ)之IPSANNAS存儲(chǔ)系統(tǒng)分布式存儲(chǔ)構(gòu)建融合存儲(chǔ)網(wǎng)絡(luò)FCoE實(shí)戰(zhàn)強(qiáng)化NAS的結(jié)構(gòu)和組成文件服務(wù)器應(yīng)用服務(wù)器NAS存儲(chǔ)設(shè)備NFS協(xié)議CIFS協(xié)議Windows用戶Linux/Unix用戶TCP/IP網(wǎng)絡(luò)SCSIRAM文件/系統(tǒng)實(shí)時(shí)操作系統(tǒng)IPSAN在數(shù)據(jù)中心的部署NAS和IPSAN的相同點(diǎn)：基于TCP/IP網(wǎng)絡(luò)，IP可達(dá)即可NAS和IPSAN的不同點(diǎn)：NAS基于FileI/O請(qǐng)求存儲(chǔ)，NAS系統(tǒng)將FileI/O轉(zhuǎn)換為BlockI/O；IPSAN基于BlockI/O請(qǐng)求存儲(chǔ)目錄存儲(chǔ)網(wǎng)絡(luò)發(fā)展SAN存儲(chǔ)之FCSANSAN存儲(chǔ)之FCoESANSAN存儲(chǔ)之IPSANNAS存儲(chǔ)系統(tǒng)分布式存儲(chǔ)構(gòu)建融合存儲(chǔ)網(wǎng)絡(luò)服務(wù)器虛擬化傳統(tǒng)存儲(chǔ)架構(gòu)計(jì)算服務(wù)器SAN交換機(jī)陣列共享存儲(chǔ)虛擬機(jī)虛擬機(jī)虛擬機(jī)共享存儲(chǔ)價(jià)格高昂，管理復(fù)雜服務(wù)器磁盤(pán)驅(qū)動(dòng)器沒(méi)有得到充分應(yīng)用主要問(wèn)題分布式存儲(chǔ)的產(chǎn)生存儲(chǔ)領(lǐng)域FCSA依然獨(dú)占鰲頭，但FCSAN建設(shè)成本昂貴，管理、維護(hù)復(fù)雜?；ヂ?lián)網(wǎng)公司已經(jīng)用DAS來(lái)作為主存儲(chǔ)；存儲(chǔ)巨頭們也逐步遷移到“工業(yè)標(biāo)準(zhǔn)服務(wù)器＋軟件”來(lái)實(shí)現(xiàn)存儲(chǔ)。軟件定義存儲(chǔ)、存儲(chǔ)虛擬化已經(jīng)成為一種新的趨勢(shì)

應(yīng)對(duì)未來(lái)的存儲(chǔ)需求，存儲(chǔ)產(chǎn)品必須同時(shí)具備越來(lái)越多的能力：對(duì)硬件環(huán)境的高度兼容（異構(gòu)）數(shù)據(jù)的安全性自動(dòng)化管理大規(guī)模良好的性能優(yōu)化（容量、吞吐、IO）極好的擴(kuò)展性H3Cloud分布式存儲(chǔ)解決方案分布式塊存儲(chǔ)的實(shí)現(xiàn)解決了這些問(wèn)題分布式存儲(chǔ)：計(jì)算+存儲(chǔ)融合服務(wù)器內(nèi)部存儲(chǔ)虛擬共享存儲(chǔ)計(jì)算存儲(chǔ)一體化，節(jié)點(diǎn)化實(shí)現(xiàn)共享存儲(chǔ)功能典型的互聯(lián)網(wǎng)分布式架構(gòu)部署簡(jiǎn)單，按需平滑擴(kuò)展資源利用率高，節(jié)省成本對(duì)存儲(chǔ)的管理更簡(jiǎn)單（無(wú)需管理專用共享存儲(chǔ)設(shè)備)技術(shù)方案：方案價(jià)值：分布式存儲(chǔ)部署方案192.168.x.x物理服務(wù)器磁盤(pán)分布式存儲(chǔ)模塊虛擬化平臺(tái)OSAPPPNiICiSCSI業(yè)務(wù)流127.x.x.x虛擬機(jī)vSwitchCVK存儲(chǔ)網(wǎng)絡(luò)數(shù)據(jù)復(fù)制正常讀寫(xiě)數(shù)據(jù)復(fù)制正常讀寫(xiě)虛擬IPSAN主機(jī)集群192.168.x.x物理服務(wù)器磁盤(pán)分布式存儲(chǔ)模塊虛擬化平臺(tái)OSAPPPNiICiSCSI業(yè)務(wù)流127.x.x.x虛擬機(jī)vSwitchCVK192.168.x.x物理服務(wù)器磁盤(pán)分布式存儲(chǔ)模塊虛擬化平臺(tái)OSAPPPNiICiSCSI業(yè)務(wù)流127.x.x.x虛擬機(jī)vSwitchCVKvSwitchvSwitchvSwitch虛擬計(jì)算管理分布式存儲(chǔ)管理虛擬計(jì)算管理存儲(chǔ)管理業(yè)務(wù)網(wǎng)絡(luò)虛擬計(jì)算管理分布式存儲(chǔ)管理管理服務(wù)器分布式存儲(chǔ)業(yè)務(wù)系統(tǒng)與CVK集成分布式存儲(chǔ)管理系統(tǒng)與CVM集成內(nèi)置于CVK內(nèi)置于CVM對(duì)多個(gè)存儲(chǔ)結(jié)點(diǎn)進(jìn)行集中管理通過(guò)內(nèi)部存儲(chǔ)網(wǎng)絡(luò)實(shí)現(xiàn)并行的讀寫(xiě)操作競(jìng)爭(zhēng)分析比較方面VMwarevSANCAS零存儲(chǔ)CAS零存儲(chǔ)優(yōu)勢(shì)市場(chǎng)準(zhǔn)備度預(yù)計(jì)2014年正式發(fā)布，目前還在公測(cè)階段已經(jīng)商用成熟度更高市場(chǎng)定位SMB/SME普適性適用于更多應(yīng)用場(chǎng)景支持節(jié)點(diǎn)數(shù)3－82－256支持2節(jié)點(diǎn)，可擴(kuò)展性更強(qiáng)最多副本數(shù)量25為用戶提供更多選擇副本分布分布在不同磁盤(pán)可設(shè)置按磁盤(pán)、節(jié)點(diǎn)、按機(jī)架、按數(shù)據(jù)中心分布容錯(cuò)更靈活條帶化范圍1－12塊磁盤(pán)在集群中全部磁盤(pán)上做條帶化性能更高、更穩(wěn)定硬件配置每個(gè)參與節(jié)點(diǎn)必須配置一塊SSD盤(pán)是否配置SSD由用戶決定用戶可根據(jù)需要進(jìn)行靈活配置，目錄存儲(chǔ)網(wǎng)絡(luò)發(fā)展SAN存儲(chǔ)之FCSANSAN存儲(chǔ)之FCoESANSAN存儲(chǔ)之IPSANNAS存儲(chǔ)系統(tǒng)分布式存儲(chǔ)構(gòu)建融合存儲(chǔ)網(wǎng)絡(luò)FCoE實(shí)戰(zhàn)強(qiáng)化構(gòu)建融合存儲(chǔ)網(wǎng)絡(luò)小數(shù)據(jù)量DAS基于數(shù)據(jù)庫(kù)應(yīng)用大并發(fā)讀寫(xiě)（低延遲）FCSANFCoE基于數(shù)據(jù)庫(kù)小并發(fā)讀寫(xiě)、延遲不敏感應(yīng)用

IPSAN基于文件級(jí)共享NAS基于數(shù)據(jù)庫(kù)小并發(fā)讀寫(xiě)、延遲不敏感應(yīng)用分布式存儲(chǔ)數(shù)據(jù)中心融合存儲(chǔ)網(wǎng)絡(luò)目錄存儲(chǔ)網(wǎng)絡(luò)發(fā)展SAN存儲(chǔ)之FCSANSAN存儲(chǔ)之FCoESANSAN存儲(chǔ)之IPSANNAS存儲(chǔ)系統(tǒng)分布式存儲(chǔ)構(gòu)建融合存儲(chǔ)網(wǎng)絡(luò)FCoE實(shí)戰(zhàn)強(qiáng)化目錄FCoE技術(shù)架構(gòu)FC介紹FCoE介紹DCE及FC可視化管理FCHBAFCHBAInitiatorSANA服務(wù)器存儲(chǔ)SANBFCSwitchFCSwitchFCSwitchFCSwitchFC－FibreChannel：通過(guò)光纖通道在數(shù)據(jù)中心中實(shí)現(xiàn)無(wú)丟包傳輸。SAN（StorageAreaNetworks，存儲(chǔ)區(qū)域網(wǎng)絡(luò)）：它為服務(wù)器提供了專用的外部存儲(chǔ)環(huán)境FC交換機(jī)是SANFabric的組成部分服務(wù)器為實(shí)現(xiàn)冗余高可用，通常配有有兩塊HBA卡通常由兩個(gè)完全相同且隔離的SAN提供冗余服務(wù)器不同的HBA接入到不同的SANFabric，冗余的路徑提供了負(fù)載均衡和高可用性；服務(wù)器到到同一存儲(chǔ)存在多路徑，但服務(wù)器上的驅(qū)動(dòng)可使操作系統(tǒng)認(rèn)為只連接了一個(gè)SCSI設(shè)備；FC設(shè)備連接時(shí)需要進(jìn)行鏈路初始化、區(qū)分端口類型、分配地址、計(jì)算優(yōu)選路徑等過(guò)程；TargetFCSAN的基本結(jié)構(gòu)節(jié)點(diǎn)端口（服務(wù)器或存儲(chǔ)設(shè)備）N_Port:和Fabric直連的端口FC端口類型交換機(jī)端口F_Port：Fabric端口，和N_Port相聯(lián)E_Port:擴(kuò)展端口（交換機(jī)到交換機(jī)）N_Port服務(wù)器服務(wù)器存儲(chǔ)存儲(chǔ)N_PortN_PortN_PortF_PortF_PortF_PortF_PortFC交換機(jī)FC交換機(jī)E_PortE_PortWWN（WorldWideName，全球名字）:固定地址(64位)由廠家在出廠前分配交換機(jī)中的NameServer負(fù)責(zé)WWN和FCID的映射該地址主要用來(lái)做身份識(shí)別和安全控制DomainID8BitsAreaID8BitsPort

ID8Bits24位地址空間FCIDFC_ID是動(dòng)態(tài)分配的地址（24位）由Domain+Area+Port三部分組成FCFabric中的每個(gè)Switch需擁有一個(gè)DomainID，F(xiàn)abric中SwitchDomain個(gè)數(shù)最大為239由交換機(jī)給N_Port分配FC_ID地址出現(xiàn)在FC報(bào)文頭中，F(xiàn)CSwitch用這個(gè)地址來(lái)轉(zhuǎn)發(fā)FC報(bào)文固定與動(dòng)態(tài)地址格式WWN64位地址空間FC采用基于Buffer-to-BufferCredit的流控機(jī)制，能夠保證FC網(wǎng)絡(luò)無(wú)丟包用來(lái)控制報(bào)文發(fā)送的步調(diào)，Credit值在鏈路初始化時(shí)協(xié)商獲得；當(dāng)發(fā)送一個(gè)報(bào)文后BB_Credit減1，當(dāng)減到0時(shí)便不能再發(fā)送報(bào)文當(dāng)收到對(duì)端發(fā)來(lái)的R_RDY后BB_Credit加1端口的BB_Credit數(shù)目代表了該端口接受方向可以緩存的報(bào)文的個(gè)數(shù)FC的流控16FCHBAFCHBAR_RDYPACKETFCSwitch1616服務(wù)器15FSPF(FabricShortestPathFirst)路由

應(yīng)用場(chǎng)景FSPF是FCFabric的路由選擇協(xié)議，源于IP中的OSPF。功能支持等價(jià)路由基于DomainID，逐跳進(jìn)行路由轉(zhuǎn)發(fā)只在E模式端口運(yùn)行，提供無(wú)環(huán)路的拓?fù)??；诿總€(gè)VSAN運(yùn)行使用Dijkstra算法，實(shí)現(xiàn)拓?fù)渥兓瘯r(shí)的快速收斂VSANVSAN實(shí)現(xiàn)對(duì)一個(gè)物理Fabric的邏輯分割不同的VSAN實(shí)現(xiàn)基于硬件的流量隔離不同的VSAN內(nèi)的FC_ID可以相同VSAN的成員端口通常為靜態(tài)配置

應(yīng)用場(chǎng)景VSAN用于對(duì)物理fabric進(jìn)行邏輯分割類似于以太網(wǎng)交換機(jī)的VLAN功能。N_Port服務(wù)器A服務(wù)器B存儲(chǔ)A存儲(chǔ)BN_PortN_PortN_PortF_PortF_PortF_PortF_PortFC交換機(jī)AFC交換機(jī)BE_PortE_PortVSAN1VSAN2VSAN2VSAN1FC安全－Zone（分區(qū)）Zone用于FC中成員間的訪問(wèn)控制類似于雙向ACL同一Zone內(nèi)的成員可以互相訪問(wèn)，不同Zone的成員不能互相訪問(wèn)設(shè)備可以屬于一個(gè)或多個(gè)Zone默認(rèn)情況下，不在Zone中的設(shè)備是隔離的Zonset是zone的集合Zoneset包含一個(gè)或多個(gè)Zone一個(gè)Fabric只有一個(gè)活動(dòng)的Zoneset通過(guò)把活動(dòng)Zoneset信息擴(kuò)散到全網(wǎng)中，達(dá)到全網(wǎng)Zoneset信息一致FCFabricTargetInitiatorFCHBAFCHBA1110FCID11.00.01FCID10.00.01Pwwn50:06:01:61:3c:e0:1a:f6Pwwn10:00:00:00:c9:76:fd:31Fcid0x10.00.01[pwwn10:00:00:00:c9:76:fd:31][Initiator]Fcid0x11.00.01[pwwn50:06:01:61:3c:e0:1a:f6][Target]ZONEZone和VSAN的關(guān)系VSAN和Zone是互補(bǔ)的關(guān)系VSAN：將一個(gè)物理連通的SAN分割成多個(gè)邏輯上的虛擬SANZONE：在VSAN內(nèi)進(jìn)一步劃分區(qū)域（Zone），使不同Zone內(nèi)的N_Port成員之間相互隔離層次化不同VSAN是基于物理端口劃分的ZONE是基于節(jié)點(diǎn)的VSAN下可以劃分多個(gè)ZoneNPIV(N-PortIdentifierVirtualization)NPIV是為一個(gè)N-Port分配多個(gè)FCID的機(jī)制使多個(gè)應(yīng)用能共享同一個(gè)HBA不同的pWWN使得可以為不同的應(yīng)用實(shí)施不同的訪問(wèn)控制、Zoning以及端口安全NPV(N-PortVirtualizer)NPV交換機(jī)會(huì)代理節(jié)點(diǎn)的FLOGI，發(fā)向NPIVCoreSwitch，利用一條物理鏈路來(lái)進(jìn)行多重的FLOGI連接到NPVSwitch的物理服務(wù)器login到上游的NPIVcoreswitchNPVswitch首先向coreswitch進(jìn)行“FLOGI”NPVswitch把后續(xù)服務(wù)器發(fā)出的FLOGI轉(zhuǎn)換(proxy)為“FDISC”發(fā)向NPIVcoreswitchNPV帶來(lái)的好處NPV模式下交換機(jī)不占用DomainID，充分利用了FCID，提高網(wǎng)絡(luò)的擴(kuò)展性NPV模式下不同廠家的互通性容易實(shí)現(xiàn)（NPVswitch和Coreswitch互通）建立Fabric網(wǎng)絡(luò)主交換機(jī)選舉優(yōu)先級(jí)越小，優(yōu)先級(jí)越高WWN越小，優(yōu)先級(jí)越高DomainID分配靜態(tài)配置域ID動(dòng)態(tài)分配域ID，交換機(jī)的域ID由主交換機(jī)分配FC地址分配節(jié)點(diǎn)登錄，發(fā)起Flogin交換機(jī)根據(jù)域ID，分配FCID節(jié)點(diǎn)注冊(cè)服務(wù)器在NS注冊(cè)為Initiator存儲(chǔ)在NS注冊(cè)為T(mén)argetSwitchAPriority：1主交換機(jī)SwitchBPriority：128SwitchCPriority：128Server存儲(chǔ)DomainID:1DomainID:2DomainID:3Fabric網(wǎng)絡(luò)Flogin分配FCIDFlogin分配FCIDFabric網(wǎng)絡(luò)自動(dòng)運(yùn)行過(guò)程ELP協(xié)商鏈路UP主交換機(jī)選舉主交換機(jī)DomainID分配0x010x020x030x040x050x06FSPF路由計(jì)算目的/掩碼出接口

0x010000/8FC0/00x030000/8FC0/00x050000/8FC0/1...FC路由表Fabric網(wǎng)絡(luò)自動(dòng)運(yùn)行過(guò)程目的/掩碼出接口

0x020000/8FC0/00x010000/8FC0/1…FC路由表0x010x020x030x040x050x06目的/掩碼出接口

0x010000/8FC0/00x050000/8FC0/1FC路由表FLOGI鏈路UP獲取Target信息0x020001/24FC0/2目的/掩碼出接口

0x010000/8FC0/00x020000/8FC0/00x050000/8FC0/0FC路由表wwn10x060001TargetWWNFCIDTYPEwwn20x020001Initiator0x060001/24FC0/2FC報(bào)文0x0600010x020001

NameServer(S_ID=0x020001;D_ID=0x060001)0x060000/8FC0/10x060000/8FC0/1Target1:wwn10x060001Step1:FabricLogin(FLOGI)Nport在通信之前，需要向Fabric注冊(cè)探測(cè)Fabric是否存在交換服務(wù)參數(shù)Fabric給N_Port分配FC_ID初始化B2BCreditStep2:PortLogin(PLOGI）用于兩個(gè)N_Port通信之前建立連接Step3:SCSI協(xié)議交互Initiator和Target建立連接后，服務(wù)器會(huì)發(fā)現(xiàn)磁盤(pán)，就可以通過(guò)把SCSI指令封裝在FC報(bào)文中，對(duì)磁盤(pán)進(jìn)行操作服務(wù)器訪問(wèn)存儲(chǔ)過(guò)程FLOGI/PLOGIFCFabricTargetInitiatorFLOGIFCIDHBAHBAPLOGIF_PortN_PortSCSI123FC存儲(chǔ)Sever目錄融合數(shù)據(jù)中心需求FCoE技術(shù)架構(gòu)FC介紹FCoE介紹DCEFCoE概述FCoE是在把FC幀直接封裝在以太網(wǎng)上FC是lossless傳輸，所以FCoE需要增強(qiáng)的以太網(wǎng)（DCE/CEE/DCB）FCoE保留了FC的轉(zhuǎn)發(fā)和管理模型，能夠和原有的SAN無(wú)狀態(tài)的互通，保護(hù)了用戶投資增強(qiáng)以太網(wǎng)FC流量IP流量LANSANASANBFCoESwitchServerwithCNAFCoE術(shù)語(yǔ)ENode

(FCoENode):

能夠作為FCNode的EthernetNICFCF(FCoEForwarder):

能夠作為FC交換機(jī)的Ethernet交換機(jī)ENodeFCFLANSANASANBFCoESwitchServerwithCNAFCoE的端口類型VN_Port:VirtualN_PortVF_Port:VirtualF_PortVE_Port:VirtualE_PortF_PortF_PortE_PortN_PortEndNodeE_PortFCSwitchN_PortEndNodeVF_PortVF_PortVE_PortVN_PortEndNodeVE_PortFCoESwitchVN_PortEndNodeFCoE幀格式兩種報(bào)文類型FCoE報(bào)文：數(shù)據(jù)平面，用來(lái)封裝和傳送FC幀F(xiàn)IP報(bào)文：控制平面協(xié)議封裝FCoE后報(bào)文最大2180字節(jié)原始FC報(bào)文最大2140字節(jié)20字節(jié)16字節(jié)4字節(jié)FCoE協(xié)議組織FCoE包含了兩種協(xié)議FIP(FCoE初始化協(xié)議)是控制平面的協(xié)議用來(lái)發(fā)現(xiàn)FCF，并建立和維護(hù)虛鏈路的協(xié)議EtherType是0x8914FCoE本身是數(shù)據(jù)平面的協(xié)議用來(lái)承載FC幀和所有的SCSI流量使用Fabric分配的MAC地址(動(dòng)態(tài))EtherType是0x8906兩種協(xié)議具有兩種不同的EtherType兩種不同的幀格式均在FC-BB-5標(biāo)準(zhǔn)中定義FIP:FCoEInitializationProtocolFIP：FCoE初始化協(xié)議，是一個(gè)建立和維護(hù)虛鏈路的協(xié)議，它定義了以下四步來(lái)完成：VLAN發(fā)現(xiàn)協(xié)商Enode在哪個(gè)VLAN登錄FCF發(fā)現(xiàn)：找到可用的FCF，建立VN_Port到VF_Port的虛擬物理連接FabricLogin與FClogin過(guò)程類似Fabric給Enode分配MAC建立VN_Port到VF_Port的虛擬鏈路連接Fcoe虛鏈路維護(hù)基于定時(shí)器機(jī)制FabricFIPSnoopingFIPSnooping（FCoEInitializationProtocolSnooping，F(xiàn)CoE初始化探測(cè)協(xié)議）監(jiān)控FIP報(bào)文，建立FIPSnooping規(guī)則根據(jù)FIPSnooping規(guī)則，可以保證只有成功注冊(cè)的ENode可以和FCF交換機(jī)進(jìn)行FCoE報(bào)文的交互。提高安全性ENode服務(wù)器AENode服務(wù)器BEnode模式FCF交換機(jī)Enode模式FCF模式FCF模式FCF交換機(jī)Transit交換機(jī)FCoE報(bào)文發(fā)送

每一跳的FCF都會(huì)修改FCoE報(bào)文的目的/源MAC地址，但報(bào)文內(nèi)的FC幀不變，類似三層交換機(jī)對(duì)IP報(bào)文的三層轉(zhuǎn)發(fā)。Step1:FabricLogin(FLOGI)VN_port在通信之前，需要向Fabric注冊(cè)使用FIP協(xié)議發(fā)現(xiàn)可用VLAN使用FIP協(xié)議與VLAN中Fabric建立虛擬物理連接使用FIP協(xié)議在建立的虛擬物理連接發(fā)起FLOGI，建立虛擬鏈路連接，F(xiàn)abric給VN_Port分配FC_ID和MACStep2:PortLogin(PLOGI）用于兩個(gè)VN_Port通信之前建立連接Step3:SCSI協(xié)議交互Initiator和Target建立連接后，服務(wù)器會(huì)發(fā)現(xiàn)磁盤(pán)，就可以通過(guò)把SCSI指令封裝在FC報(bào)文中，對(duì)磁盤(pán)進(jìn)行操作服務(wù)器訪問(wèn)存儲(chǔ)過(guò)程FLOGI/PLOGIFCoEFabr