1、前 言 DOCPROPERTY Product&Project Name FusionStorage DOCPROPERTY DocumentName 基于VMware的性能最佳實(shí)踐 FusionStorage DOCPROPERTY DocumentName 基于VMware的性能最佳實(shí)踐 STYLEREF Contents 目 錄 DOCPROPERTY Product&Project Name FusionStorage DOCPROPERTY DocumentName 基于VMware的性能最佳實(shí)踐FusionStorage基于VMware的性能最佳實(shí)踐目錄目 錄 TOC h z t

2、標(biāo)題 1,1,標(biāo)題 2,2,標(biāo)題 3,3,標(biāo)題 7,1,標(biāo)題 8,2,標(biāo)題 9,3,Heading1 No Number,1 HYPERLINK l _Toc523591771 前 言 PAGEREF _Toc523591771 h iii HYPERLINK l _Toc523591772 1 概述 PAGEREF _Toc523591772 h 1 HYPERLINK l _Toc523591773 2 華為FusionStorage分布式存儲(chǔ) PAGEREF _Toc523591773 h 3 HYPERLINK l _Toc523591774 3 VMware存儲(chǔ)功能介紹 PAGERE

3、F _Toc523591774 h 5 HYPERLINK l _Toc523591775 4 FusionStorage性能最佳配置 PAGEREF _Toc523591775 h 8 HYPERLINK l _Toc523591776 5 VMware平臺(tái)性能最佳配置 PAGEREF _Toc523591776 h 12 HYPERLINK l _Toc523591777 6 存儲(chǔ)IO性能測(cè)試及分析 PAGEREF _Toc523591777 h 17 HYPERLINK l _Toc523591778 7 總結(jié) PAGEREF _Toc523591778 h 20 HYPERLINK l

4、 _Toc523591779 8 文檔引用 PAGEREF _Toc523591779 h 21前 言概述本最佳實(shí)踐主要描述了在VMware+FusionStorage場(chǎng)景下，通過(guò)介紹VMware接入FusionStorage場(chǎng)景的最佳組網(wǎng)及配置，從而充分發(fā)揮FusionStorage的性能。 符號(hào)約定符號(hào)說(shuō)明表示有高度潛在危險(xiǎn)，如果不能避免，會(huì)導(dǎo)致人員死亡或嚴(yán)重傷害。表示有中度或低度潛在危險(xiǎn)，如果不能避免，可能導(dǎo)致人員輕微或中等傷害。表示有潛在風(fēng)險(xiǎn)，如果忽視這些文本，可能導(dǎo)致設(shè)備損壞、數(shù)據(jù)丟失、設(shè)備性能降低或不可預(yù)知的結(jié)果。表示能幫助您解決某個(gè)問(wèn)題或節(jié)省您的時(shí)間。表示是正文的附加信息，是對(duì)正

5、文的強(qiáng)調(diào)和補(bǔ)充。 STYLEREF 1 n * MERGEFORMAT 1 STYLEREF 1 概述 DOCPROPERTY Product&Project Name FusionStorage DOCPROPERTY DocumentName 基于VMware的性能最佳實(shí)踐FusionStorage基于VMware的性能最佳實(shí)踐 STYLEREF 1 n * MERGEFORMAT 8 STYLEREF 1 文檔引用概述本最佳實(shí)踐描述了基于VMware平臺(tái)下FusionStorage性能調(diào)優(yōu)及測(cè)試結(jié)果。通過(guò)參考該最佳實(shí)踐，可以快速完成VMware+FusionStorage場(chǎng)景下的存儲(chǔ)性能

6、調(diào)優(yōu)。內(nèi)容簡(jiǎn)介本文詳細(xì)地描述了基于VMware虛擬化的FusionStorage性能調(diào)優(yōu)及測(cè)試結(jié)果。首先文檔對(duì)華為FusionStorage原理進(jìn)行了概述；其次對(duì)于VMware虛擬化平臺(tái)的存儲(chǔ)功能進(jìn)行描述；然后通過(guò)一個(gè)實(shí)驗(yàn)室測(cè)試數(shù)據(jù)展示VMware+FusionStorage的存儲(chǔ)性能，最后進(jìn)行總結(jié)。本文基于如下軟件組件版本進(jìn)行說(shuō)明：FusionStorage R3C02SPC300 Agent Suse11.3FusionStorage R3C02SPC300 ManagerFusionStorage R3C02SPC300 PortalFusionStorage R3C02SPC300 P

7、ortalPlugInFusionStorage R3C02SPC300 scriptsFusionStorage R3C02SPC300 suse 11.3VMware ESXi 5.5u2VMware vCenter Server 5.5u2寫(xiě)作目的本文提供了基于VMware的FusionStorage的性能調(diào)優(yōu)及結(jié)果，為其它VMware+FusionStorage的項(xiàng)目的性能調(diào)優(yōu)及測(cè)試提供借鑒。術(shù)語(yǔ)表術(shù)語(yǔ)表術(shù)語(yǔ)英文全稱描述CVMControl Virtual Machine控制虛擬機(jī) STYLEREF 7 n * MERGEFORMAT 錯(cuò)誤！文檔中沒(méi)有指定樣式的文字。 STYLEREF

8、 7 錯(cuò)誤！文檔中沒(méi)有指定樣式的文字。 DOCPROPERTY Product&Project Name FusionStorage DOCPROPERTY DocumentName 基于VMware的性能最佳實(shí)踐華為FusionStorage分布式存儲(chǔ)概述華為FusionStorage是一個(gè)分布式存儲(chǔ)軟件，在通用x86服務(wù)器上部署該軟件把所有服務(wù)器的本地硬盤(pán)組織成一個(gè)虛擬存儲(chǔ)資源池，提供塊存儲(chǔ)功能。FusionStorage分布式存儲(chǔ)軟件系統(tǒng)具有如下特點(diǎn)：領(lǐng)先的分布式架構(gòu)。FusionStorage存儲(chǔ)軟件采用全分布式的架構(gòu)：分布式管理集群，分布式哈希數(shù)據(jù)路由算法，分布式無(wú)狀態(tài)機(jī)頭、分布式智

9、能Cache等，這種架構(gòu)使得整個(gè)存儲(chǔ)系統(tǒng)沒(méi)有單點(diǎn)故障。 高性能和高可靠性。FusionStorage存儲(chǔ)軟件在所有磁盤(pán)中實(shí)現(xiàn)負(fù)載的均衡，數(shù)據(jù)打散存放，不會(huì)出現(xiàn)熱點(diǎn)，高效的路由算法和分布式Cache技術(shù)保證了高性能。FusionStorage支持多個(gè)數(shù)據(jù)副本，每個(gè)副本分配在不同服務(wù)器/不同磁盤(pán)上，單個(gè)硬件設(shè)備的故障不影響業(yè)務(wù)。同時(shí)FusionStorage的強(qiáng)一致性復(fù)制技術(shù)確保各個(gè)數(shù)據(jù)副本的一致性。并行快速故障重建。數(shù)據(jù)分片在資源池內(nèi)打散，硬盤(pán)故障后，可在全資源池范圍內(nèi)自動(dòng)并行重建，重建效率高。易擴(kuò)展和超大容量。FusionStorage的分布式無(wú)狀態(tài)機(jī)頭可橫向擴(kuò)展，存儲(chǔ)與計(jì)算同步平滑擴(kuò)容，支持

10、非煙囪式超大容量擴(kuò)展。計(jì)算存儲(chǔ)深度融合。FusionStorage存儲(chǔ)軟件部署在掛載本地硬盤(pán)的服務(wù)器上，把各服務(wù)器的本地硬盤(pán)組織成一個(gè)虛擬的資源池，替代外置的存儲(chǔ)設(shè)備，支持計(jì)算和存儲(chǔ)設(shè)備的高度融合。FusionStorage性能優(yōu)勢(shì)FusionStorage通過(guò)創(chuàng)新的架構(gòu)把分散的、低速的SATA/SAS機(jī)械硬盤(pán)組織成一個(gè)高效的類SAN存儲(chǔ)池設(shè)備，提供比SAN設(shè)備更高的IO，把性能發(fā)揮到了極致。FusionStorage支持使用SSD替代HDD作為高速存儲(chǔ)設(shè)備，支持使用Infiniband網(wǎng)絡(luò)替代GE/10GE網(wǎng)絡(luò)提供更高的帶寬，為對(duì)性能要求極高的大數(shù)據(jù)量實(shí)時(shí)處理場(chǎng)景提供完美的支持。分布式機(jī)頭F

11、usionStorage采用無(wú)狀態(tài)的分布式軟件機(jī)頭，機(jī)頭部署在各個(gè)服務(wù)器上，無(wú)集中式機(jī)頭的性能瓶頸。單個(gè)服務(wù)器上的軟件機(jī)頭只占用較少的CPU資源，提供比集中式機(jī)頭更高的IOPS。分布式緩存FusionStorage實(shí)現(xiàn)了計(jì)算和存儲(chǔ)的融合，緩存和帶寬都均勻分布到各個(gè)服務(wù)器節(jié)點(diǎn)上。FusionStorage集群內(nèi)各服務(wù)器節(jié)點(diǎn)的硬盤(pán)使用獨(dú)立的I/O帶寬，不存在獨(dú)立存儲(chǔ)系統(tǒng)中大量磁盤(pán)共享計(jì)算設(shè)備和存儲(chǔ)設(shè)備之間有限帶寬的問(wèn)題。FusionStorage支持將服務(wù)器部分內(nèi)存用作讀緩存，NVDIMM和SSD卡用作寫(xiě)緩存，數(shù)據(jù)緩存均勻分布到各個(gè)節(jié)點(diǎn)上，所有服務(wù)器的緩存總?cè)萘窟h(yuǎn)大于采用外置獨(dú)立存儲(chǔ)的方案。即使采

12、用大容量低成本的SATA硬盤(pán)，F(xiàn)usionStorage仍然可以發(fā)揮很高的IO性能，整體性能提升13倍，同時(shí)提供更大的有效容量。FusionStorage支持PCIe SSD用作數(shù)據(jù)緩存，除具備通常的寫(xiě)緩存外，增加熱點(diǎn)數(shù)據(jù)統(tǒng)計(jì)和緩存功能，加上其大容量的優(yōu)勢(shì)，進(jìn)一步提升了系統(tǒng)性能。FusionStorage 計(jì)算和存儲(chǔ)融合全局負(fù)載均衡FusionStorage的實(shí)現(xiàn)機(jī)制保證了上層應(yīng)用對(duì)數(shù)據(jù)的IO操作均勻分布在不同服務(wù)器的不同硬盤(pán)上，不會(huì)出現(xiàn)局部的熱點(diǎn)，實(shí)現(xiàn)全局負(fù)載均衡。第一，系統(tǒng)自動(dòng)將數(shù)據(jù)塊打散存儲(chǔ)在不同服務(wù)器的不同硬盤(pán)上，冷熱不均的數(shù)據(jù)會(huì)均勻分布在不同的服務(wù)器上，不會(huì)出現(xiàn)集中的熱點(diǎn)。第二，數(shù)據(jù)

13、分片分配算法保證了主用副本和備用副本在不同服務(wù)器和不同硬盤(pán)上的均勻分布，換句話說(shuō)，每塊硬盤(pán)上的主用副本和備副本數(shù)量是均勻的。第三，擴(kuò)容節(jié)點(diǎn)或者故障減容節(jié)點(diǎn)時(shí)，數(shù)據(jù)恢復(fù)重建算法保證了重建后系統(tǒng)中各節(jié)點(diǎn)負(fù)載的均衡性。VMware存儲(chǔ)功能介紹VMware VMFSVMFS（Virtual Machine File System） 是一種針對(duì)虛擬機(jī)進(jìn)行了優(yōu)化的高性能集群文件系統(tǒng)。 常規(guī)文件系統(tǒng)在給定時(shí)間只允許一臺(tái)服務(wù)器讀寫(xiě)同一文件，VMFS 利用共享存儲(chǔ)允許多個(gè) vSphere 主機(jī)并行讀寫(xiě)同一個(gè)存儲(chǔ)，是實(shí)現(xiàn)VMware集群和動(dòng)態(tài)資源管理的基礎(chǔ)。通過(guò)將整個(gè)虛擬機(jī)狀態(tài)存儲(chǔ)在一個(gè)中心位置，簡(jiǎn)化了虛擬機(jī)的調(diào)

14、配和管理。創(chuàng)建可用于測(cè)試、備份和恢復(fù)操作的虛擬機(jī)數(shù)據(jù)時(shí)間點(diǎn)副本。支持基于虛擬化的獨(dú)特功能，例如，將正在運(yùn)行的虛擬機(jī)從一臺(tái)物理服務(wù)器實(shí)時(shí)遷移到另一臺(tái)服務(wù)器、自動(dòng)在另一臺(tái)物理服務(wù)器上重啟發(fā)生故障的虛擬機(jī)以及跨不同物理服務(wù)器建立虛擬機(jī)集群。向正在運(yùn)行的虛擬機(jī)添加虛擬磁盤(pán)空間，以增加可用資源或者供備份之用。利用分布式日志在服務(wù)器發(fā)生故障時(shí)更快、更可靠地恢復(fù)虛擬機(jī)提供極高的性能和可擴(kuò)展性，使用 VMFS 以集中、共享的方式存儲(chǔ)虛擬機(jī)可提高管理虛擬化 IT 環(huán)境時(shí)的控制力、靈活性和性能。在一個(gè)中心位置存儲(chǔ)和訪問(wèn)整個(gè)虛擬機(jī)狀態(tài)。使用有利于虛擬磁盤(pán) I/O 的大數(shù)據(jù)塊容量。 對(duì)于小文件和目錄使用子數(shù)據(jù)塊分配器

15、。支持容量最高可達(dá) 64 TB 的單個(gè)卷。甚至可以在虛擬機(jī)中運(yùn)行數(shù)據(jù)最密集的生產(chǎn)應(yīng)用，如數(shù)據(jù)庫(kù)、ERP 和 CRM。VMFS 在卷、設(shè)備、對(duì)象和緩沖區(qū)緩存方面的性能增強(qiáng)可使客戶受益。VMFS的架構(gòu)，如下圖展示了VMFS架構(gòu)，存儲(chǔ)系統(tǒng)的LUN被格式化為VMFS文件系統(tǒng)， ESXi主機(jī)共享存儲(chǔ)空間，每個(gè)ESXi Server上運(yùn)行兩個(gè)VM，每個(gè)VM均有一個(gè)虛擬硬盤(pán)文件（VMDK），存放在VMFS自動(dòng)生成的某個(gè)目錄里（一般以VM名稱命名目錄）。VMFS為每一個(gè)VMDK加鎖，保證其不同時(shí)被兩個(gè)VM打開(kāi)。 FusionStorageLUNVMFSESXiVMDK1VMDK2VMDK3VMDK4VM1VM

16、2ESXiVM1VM2VMFS-3和VMFS-5對(duì)比如下：VMFS-3 VMFS-5支持最大容量磁盤(pán)卷2TB支持最大容量磁盤(pán)卷64TBMBR(master boot record)分區(qū)類型使用GPT(GUID partition table)塊大小是1,2,4，8MB塊大小統(tǒng)一為1MB，支持256GB 的超大文件最小sub-block 大小是64KBSub-block 大小位8KB，小文件占用更小的空間最大文件數(shù)量30720每個(gè)volume 支持100000 個(gè)文件最大VMDK 文件大小是2TB最大VMDK 文件大小是2TB支持最大LUN 的數(shù)量是256 個(gè)支持最大LUN 的數(shù)量是256 個(gè)使

17、用SCSI 預(yù)留機(jī)制對(duì)整個(gè)LUN 加鎖通過(guò)VAAI 的hardware-assistedlocking 降低磁盤(pán)訪問(wèn)沖突VMware RDMVMware RDM（Raw Device Mapping）為虛擬機(jī)提供的一種直接訪問(wèn)存儲(chǔ)的方式，RDM虛擬盤(pán)實(shí)際上為VMFS卷上的一個(gè)地址映射文件，可以理解為符號(hào)鏈接，VM對(duì)RDM盤(pán)的讀寫(xiě)操作均被映射到LUN上。 VMware SCSI適配器VMware 提供 BUS/LSI Parallel/LSI SAS等虛擬SCSI控制器都是為了操作系統(tǒng)的兼容性。vSphere 創(chuàng)建虛擬機(jī)時(shí)現(xiàn)在可以選擇以下 SCSI 控制器類型之一：BusLogic 并行LSI

18、Logic SASLSI 邏輯并行VMware 準(zhǔn)虛擬VMware虛擬磁盤(pán)置備策略厚置備延遲置零以默認(rèn)的厚格式創(chuàng)建虛擬磁盤(pán)。在創(chuàng)建虛擬磁盤(pán)時(shí)分配該磁盤(pán)所需的空間。創(chuàng)建過(guò)程中不會(huì)清除物理設(shè)備上保留的數(shù)據(jù)，但以后首次從虛擬機(jī)寫(xiě)入時(shí)則會(huì)按需置零。虛擬機(jī)不會(huì)從物理設(shè)備讀取失效數(shù)據(jù)。厚置備置零一種厚虛擬磁盤(pán)類型，可支持群集功能，如 Fault Tolerance。在創(chuàng)建時(shí)為虛擬磁盤(pán)分配所需的空間。與厚置備延遲置零格式相反，創(chuàng)建虛擬磁盤(pán)時(shí)，會(huì)將物理設(shè)備上保留的數(shù)據(jù)置零。創(chuàng)建這種格式的虛擬磁盤(pán)所需的時(shí)間可能會(huì)比創(chuàng)建其他類型的磁盤(pán)長(zhǎng)。精簡(jiǎn)配置使用此格式可節(jié)省存儲(chǔ)空間。對(duì)于精簡(jiǎn)磁盤(pán)，可以根據(jù)輸入的虛擬磁盤(pán)大小值

19、置備磁盤(pán)所需的數(shù)據(jù)存儲(chǔ)空間。但是，精簡(jiǎn)磁盤(pán)開(kāi)始時(shí)很小，只使用與初始操作所需的大小完全相同的存儲(chǔ)空間。如果精簡(jiǎn)磁盤(pán)以后需要更多空間，它可以增長(zhǎng)到其最大容量，并占據(jù)為其置備的整個(gè)數(shù)據(jù)存儲(chǔ)空間。精簡(jiǎn)置備是創(chuàng)建虛擬磁盤(pán)的最快方法，因?yàn)樗鼊?chuàng)建的磁盤(pán)僅具有標(biāo)題信息。它不會(huì)分配存儲(chǔ)塊或?qū)⑵渲昧?。初次訪問(wèn)存儲(chǔ)塊時(shí)，才分配存儲(chǔ)塊并將其置零。注意 如果虛擬磁盤(pán)支持群集解決方案（如 Fault Tolerance），請(qǐng)勿將磁盤(pán)設(shè)置為精簡(jiǎn)格式?？梢允謩?dòng)填充精簡(jiǎn)磁盤(pán)，以便其占據(jù)整個(gè)置備空間。如果物理存儲(chǔ)空間已用盡，且無(wú)法擴(kuò)展精簡(jiǎn)置備的磁盤(pán)，則虛擬機(jī)將不可用。FusionStorage性能最佳配置概述本節(jié)介紹主要從組網(wǎng)、

20、網(wǎng)絡(luò)及硬件配置幾個(gè)方面描述在VMware+FusionStorage場(chǎng)景時(shí)，F(xiàn)usionStorage的最佳配置。FusionStorage存儲(chǔ)的性能調(diào)優(yōu)及在各種硬件組合配置下的性能規(guī)律不在本文檔中描述。VMware接入FusionStorage存儲(chǔ)的安裝過(guò)程不在本文檔中描述。組網(wǎng)選擇FusionStorage支持分離部署方案，分離部署方案的存儲(chǔ)節(jié)點(diǎn)部署在物理服務(wù)器上，CVM部署在ESXi主機(jī)上，通過(guò)分離部署可以更好的發(fā)揮FusionStorage的性能，部署邏輯圖如下：后續(xù)所有配置及介紹都是基于分離部署方案前提下進(jìn)行介紹說(shuō)明。硬件配置Cache類型Fusionstorage支持SSD Cac

21、he+HDD的組網(wǎng)配置，建議使用SSD PCIE卡作為Cache類型，不同的SSD卡發(fā)揮的性能規(guī)格不一樣，選擇原則如下：Cache容量與主存容量的比例不低于1:10；Cache介質(zhì)的性能越高越好；容量越大越好；具體情況請(qǐng)根據(jù)性價(jià)比進(jìn)行選擇；項(xiàng)目ES3000 PCIE SSD卡規(guī)格容量400GB800GB1.2TB2.4TB總線接口PCIe 2.0 x8PCIe 2.0 x8PCIe 2.0 x8PCIe 2.0 x8最大讀帶寬1.1 GB/s2.2 GB/s3.2 GB/s3.2 GB/s讀IOPS (穩(wěn)定值，4KB，100%隨機(jī))280,000570,000760,000760,000最小讀

22、延時(shí)49 s49 s49 s49 s最大寫(xiě)帶寬650 MB/s1.2 GB/s1.8 GB/s2.8 GB/s寫(xiě)IOPS (穩(wěn)定值，4KB，100%隨機(jī))60,000120,000180,000240,000最小寫(xiě)延時(shí)8 s8 s8 s8 s混合IOPS (穩(wěn)定值，4KB，R/W:7/3)110,000 (R/W: 80,000/30,000)260,000 (R/W: 180,000/80,000)400,000 (R/W: 280,000/120,000)430,000 (R/W: 300,000/130,000)CPU選型存儲(chǔ)節(jié)點(diǎn)的CPU建議參考配置為E5-2620 V2，然后參考如下：

23、基于性價(jià)比考慮，分離部署方案的存儲(chǔ)節(jié)點(diǎn)的CPU配置1路即可滿足性能要求；POC項(xiàng)目建議配置核數(shù)及主頻更高的CPU，例如E5-2680 V2；不建議選擇E5-2609V1/V2（原則是總核數(shù)大于等于12，并且單核SPEC值越高越好）；計(jì)算節(jié)點(diǎn)（ESXi）建議配置CPU核數(shù)及主頻越高越好；具體RH2288H服務(wù)器下E5-2600 V2系列CPU的信息如下，供參考：類型SPEC 總核數(shù)CPU路數(shù)每路CPU核數(shù)Huawei RH2288 V2 (Intel Xeon E5-2620 v2)4341226Huawei RH2288 V2 (Intel Xeon E5-2630 V2)5131226Hua

24、wei RH2288 V2 (Intel Xeon E5-2640 v2)5401628Huawei RH2288 V2 (Intel Xeon E5-2650 v2)6871628Huawei RH2288 V2 (Intel Xeon E5-2660 V2)74820210Huawei RH2288 V2 (Intel Xeon E5-2670 v2)81620210Huawei RH2288 V2 (Intel Xeon E5-2680 V2)85820210Huawei RH2288 V2 (Intel Xeon E5-2690 v2)90020210Huawei RH2288 V2

25、(Intel Xeon E5-2697 v2)97224212單核SPEC= SPEC/總核數(shù)SPEC性能值可以參考： HYPERLINK / /CPU價(jià)格查詢官網(wǎng)： HYPERLINK /safecheck/index?url=x+Z5mMbGPAvWM9tiU3iIAJ19bBqeqGz9d6L1oNtulrVXA0s2Xrunl6mxpsSTpJODtZbv9oeu/Eh5MEENdI9RAtc1QsNK0pQS9AXkaF+qW9UwVAzIiCQ2YU4e0VrLLlwDxiKTdAEroJCbCjXpVbbvTmXhHlLL2mXex6jeKkZxZylCpVkSUaJyP4n0Z

26、03HX5TKus5kk2Z6rh5ma9VsMvkZR7wxjBB80+vNP/n1mEVeabiq+zBgjyYjUrEEZrsmQMUTSq9yU58hHrnAeOWPdkyNulVyYM9XQbglDdCVu6Yz01UwPGbuJnYGNA= t _blank /search/advanced/?s=t&FamilyText=Intel%C2%AE%20Xeon%C2%AE%20Processor%20E5%20Family&LithographyValueMin=22主存類型建議優(yōu)先選擇性價(jià)比較高的SAS盤(pán)，如果以容量為主，再考慮大容量的SATA盤(pán)；內(nèi)存建議選擇主流發(fā)貨的RDIMM

27、即可，當(dāng)前16GB RDIMM為主流發(fā)貨。最低要求存儲(chǔ)節(jié)點(diǎn)配置4根內(nèi)存，內(nèi)存的最佳插法請(qǐng)參考硬件提供的建議。每個(gè)內(nèi)存通道的內(nèi)存不能滿插，請(qǐng)保留每個(gè)通道的第三個(gè)槽位，否則內(nèi)存可能存在降頻的情況；網(wǎng)絡(luò)類型存儲(chǔ)平面至少不低于10GE的網(wǎng)絡(luò)帶寬；BIOS配置通過(guò)在BIOS中設(shè)置一些高級(jí)選項(xiàng)，可以有效提升虛擬化平臺(tái)性能。下面表格給出常見(jiàn)性能相關(guān)的BIOS配置項(xiàng)的配置建議。不同的硬件之間BIOS配置會(huì)有些區(qū)別。BIOS配置項(xiàng)配置值配置項(xiàng)說(shuō)明NUMA SupportEnabledNUMA特性開(kāi)關(guān)選項(xiàng)Hardware PrefetcherEnabled硬件預(yù)取選項(xiàng)（CPU先行提取下一段指令以提高系統(tǒng)效能）Ad

28、jacent Cache Line PrefetchEnabled預(yù)讀取鄰近的緩存數(shù)據(jù).Intel(R) HT TechnologyEnabledIntel超線程技術(shù)開(kāi)關(guān)選項(xiàng)Intel(R) virtualization TechEnabledIntel虛擬化技術(shù)開(kāi)關(guān)選項(xiàng)Intel(R) Speedstep techEnabledIntel SpeedStep技術(shù)，打開(kāi)可支持超頻運(yùn)行Intel(R) TurboMode techEnabledIntel渦輪加速模式開(kāi)關(guān)用選項(xiàng)Intel(R) C-STATE techDisabledIntel C-State省電功能開(kāi)關(guān)選項(xiàng)Intel VT-dE

29、nabledIntel VT-d技術(shù)支持設(shè)備直通VT SupportEnabledIntel VT技術(shù)存儲(chǔ)網(wǎng)絡(luò)規(guī)劃可靠性設(shè)計(jì)設(shè)計(jì)FusionStorage網(wǎng)絡(luò)時(shí)，要保證鏈路冗余、交換機(jī)冗余，避免單點(diǎn)故障。帶寬設(shè)計(jì)設(shè)計(jì)FusionStorage網(wǎng)絡(luò)，應(yīng)根據(jù)應(yīng)用系統(tǒng)的帶寬需求進(jìn)行配置，并給ESXi集群配置足夠多的物理通道，保證前端鏈路不成為性能瓶頸。由于FusionStorage是一個(gè)分布式系統(tǒng)，存儲(chǔ)節(jié)點(diǎn)間的網(wǎng)絡(luò)帶寬要求也很高，因此當(dāng)存儲(chǔ)節(jié)點(diǎn)需要跨柜部署時(shí)，跨交換機(jī)之間的網(wǎng)絡(luò)帶寬也需要保證不能成為性能瓶頸；負(fù)載均衡設(shè)計(jì)設(shè)計(jì)FusionStorage網(wǎng)絡(luò)，應(yīng)保證鏈路負(fù)載均衡，推薦做法是存儲(chǔ)網(wǎng)絡(luò)配置為

30、負(fù)載均衡模式，從而保證傳輸通道的負(fù)載均衡，以達(dá)到性能最佳，交換機(jī)配置端口聚合，其中負(fù)載均衡模式選擇默認(rèn)值src-dst-ip，參考如下圖： VMware平臺(tái)性能最佳配置VMware iSCSIiSCSI init參數(shù)配置通過(guò)實(shí)驗(yàn)室驗(yàn)證，VMware下iSCSI init端的參數(shù)默認(rèn)配置參數(shù)下性能已達(dá)到最優(yōu)，建議按照默認(rèn)值即可，無(wú)需修改。參數(shù)參數(shù)功能描述推薦配置頭摘要增加數(shù)據(jù)完整性。啟用頭摘要后，系統(tǒng)會(huì)對(duì)每個(gè) iSCSI 協(xié)議數(shù)據(jù)單元(PDU) 的頭部計(jì)算校驗(yàn)和，并使用 CRC32C 算法進(jìn)行驗(yàn)證。默認(rèn)值數(shù)據(jù)摘要增加數(shù)據(jù)完整性。啟用數(shù)據(jù)摘要后，系統(tǒng)會(huì)對(duì)每個(gè) PDU 的數(shù)據(jù)部分計(jì)算校驗(yàn)和，并使用

31、CRC32C 算法進(jìn)行驗(yàn)證。注意 使用 Intel Nehalem 處理器的系統(tǒng)會(huì)清除軟件 iSCSI 的 iSCSI 摘要計(jì)算，因此可以減少對(duì)性能的影響。默認(rèn)值最大未完成 R2T 數(shù)定義在收到確認(rèn) PDU 前可轉(zhuǎn)換的 R2T（即將傳輸）PDU默認(rèn)值初次突發(fā)長(zhǎng)度S指定在執(zhí)行單個(gè) SCSI 命令期間 iSCSI 啟動(dòng)器可以發(fā)送到目標(biāo)的未經(jīng)請(qǐng)求的數(shù)據(jù)的最大數(shù)量，以字節(jié)為單位。默認(rèn)值最大突發(fā)長(zhǎng)度傳入數(shù)據(jù)或請(qǐng)求的傳出數(shù)據(jù) iSCSI 序列中的最大 SCSI 數(shù)據(jù)負(fù)載，以字節(jié)為單位。默認(rèn)值最大接收數(shù)據(jù)段長(zhǎng)度在 iSCSI PDU 中可以接收的最大數(shù)據(jù)段長(zhǎng)度，以字節(jié)為單位。默認(rèn)值會(huì)話恢復(fù)超時(shí)指定執(zhí)行會(huì)話恢

32、復(fù)的時(shí)間限制（秒）。如果該超時(shí)時(shí)間超過(guò)限值，則iSCSI 啟動(dòng)器將終止會(huì)話。默認(rèn)值無(wú)操作時(shí)間間隔指定在從 iSCSI 啟動(dòng)器發(fā)送到 iSCSI 目標(biāo)的 NOP-Out 請(qǐng)求之間的時(shí)間間隔（秒）。NOP-Out 請(qǐng)求充當(dāng)驗(yàn)證 iSCSI 啟動(dòng)器和 iSCSI 目標(biāo)之間的連接是否處于活動(dòng)狀態(tài)的 ping 機(jī)制。默認(rèn)值無(wú)操作超時(shí)指定主機(jī)收到 NOP-In 消息之前的時(shí)間限制（秒）。該消息由 iSCSI目標(biāo)發(fā)出，以響應(yīng) NOP-Out 請(qǐng)求。無(wú)操作超時(shí)時(shí)間超過(guò)限值時(shí)，啟動(dòng)器將終止當(dāng)前會(huì)話并啟動(dòng)新的會(huì)話。默認(rèn)值A(chǔ)RP 重定向允許存儲(chǔ)系統(tǒng)將 iSCSI 流量從一個(gè)端口動(dòng)態(tài)移動(dòng)到另一個(gè)端口。ARP對(duì)執(zhí)行基于

33、陣列的故障切換的存儲(chǔ)系統(tǒng)是必需的。默認(rèn)值延遲的 ACK允許系統(tǒng)對(duì)接收的數(shù)據(jù)包進(jìn)行延遲確認(rèn)。默認(rèn)值（勾選）網(wǎng)絡(luò)配置調(diào)優(yōu)網(wǎng)絡(luò)規(guī)劃ESX i主機(jī)上有針對(duì)每個(gè)網(wǎng)絡(luò)端口的流控設(shè)置，建議關(guān)閉iSCSI及存儲(chǔ)平面的流控功能，將存儲(chǔ)設(shè)備的性能發(fā)揮到最大；推薦在CVM中將存儲(chǔ)平面和iSCSI平面分配不同的網(wǎng)卡及端口組，減少互相的影響；如果條件允許，建議存儲(chǔ)平面與業(yè)務(wù)管理平面的物理網(wǎng)絡(luò)隔離，存儲(chǔ)平面使用獨(dú)立的物理網(wǎng)口，并且建議配置2*10GE，策略選擇 src-ip的負(fù)載均衡模式，從而可以獲取更高的性能；配置網(wǎng)絡(luò)巨幀由于網(wǎng)絡(luò)巨型幀需要端到端的支持，建議在新組建的網(wǎng)絡(luò)環(huán)境或存儲(chǔ)與業(yè)務(wù)隔離互不干擾的場(chǎng)景下，通過(guò)配置巨

34、型幀來(lái)提供網(wǎng)絡(luò)收發(fā)包的性能，從而提高FusionStorage的存儲(chǔ)性能。經(jīng)過(guò)實(shí)驗(yàn)室驗(yàn)證，VMware+FusionStorage配置MTU為9000后，性能可以獲得5%10%的提升，特別在大塊IO處理時(shí)可以獲得更好的性能；由于巨型幀的需要端到端的支持，請(qǐng)檢查網(wǎng)絡(luò)鏈路中的所有環(huán)境包括網(wǎng)卡、交換機(jī)都支持，并且配置默認(rèn)MTU為9000；ESXi主機(jī)側(cè)需要配置vSwitch、iSCSI鏈路，以及存儲(chǔ)節(jié)點(diǎn)及CVM中存儲(chǔ)平面及iSCSI平面的MTU值。iSCSI多路徑由于ESXi主機(jī)上，CVM的iSCSI鏈路只通過(guò)一個(gè)10GE網(wǎng)卡進(jìn)行通信，單個(gè)節(jié)點(diǎn)的帶寬很容易成為瓶頸，可以通過(guò)在一個(gè)ESXi主機(jī)上部署兩

35、個(gè)CVM，然后再ESXi的iSCSI適配器上配置多路徑，多路徑使用輪詢方式，從而可以提升單節(jié)點(diǎn)讀寫(xiě)的帶寬性能。經(jīng)過(guò)實(shí)驗(yàn)室驗(yàn)證，通過(guò)配置多路徑后，單節(jié)點(diǎn)帶寬可以提升30%左右；但在小塊隨機(jī)場(chǎng)景下IOPS下降10%左右，具體請(qǐng)根據(jù)實(shí)際業(yè)務(wù)場(chǎng)景進(jìn)行選擇配置。IO隊(duì)列深度調(diào)優(yōu)ESXi主機(jī)上每個(gè)LUN都有單獨(dú)的隊(duì)列深度，當(dāng)只有1個(gè)虛擬卷時(shí)，隊(duì)列深度為128，當(dāng)有2個(gè)或以上的虛擬卷時(shí)，隊(duì)列深度為32（默認(rèn)值）；建議每個(gè)ESXi主機(jī)上每個(gè)LUN部署多個(gè)虛擬機(jī)的場(chǎng)景下調(diào)整FusionStorage的LUN的隊(duì)列深度調(diào)整為128，vSphere 5.5修改方法如下：1）Open an SSH session t

36、o the host. For more information;2）To check the current value for a device,run the command:esxcli storage core device list -d naa.xxx3）To modify the current value for a device,run the commandesxcli storage core device set -d naa.xxx -O 128每個(gè)SCSI控制器也有I/O隊(duì)列深度限制，如果給一個(gè)VM創(chuàng)建多個(gè)虛擬硬盤(pán)，使用多個(gè)SCSI控制器，可以有效提升單個(gè)虛擬機(jī)的

37、性能；VMFS和RDMVMFS使得存儲(chǔ)管理變得很方便，VMFS具有清晰的目錄層次和友好的命名方式，并且可以方便地進(jìn)行存儲(chǔ)空間的擴(kuò)容。VMFS允許多個(gè)虛擬機(jī)共享存儲(chǔ)空間，提升了資源的利用率。通過(guò)VMFS，用戶可以創(chuàng)建較少的大容量LUN，分配給很多虛擬機(jī)使用，而使用RDM的話，需要?jiǎng)?chuàng)建數(shù)據(jù)眾多的小容量LUN，帶來(lái)更多管理上的開(kāi)銷和容量配置的不便。VMFSVMFS-5對(duì)比VMFS-3：實(shí)驗(yàn)室驗(yàn)證對(duì)比存儲(chǔ)IO性能，兩者性能無(wú)差異，但VMware官方網(wǎng)站提到VMFS-5提高了可擴(kuò)展性和性能，因此建議在VMFS-5支持的環(huán)境上使用VMFS-5； VMFS配置建議：VMFS卷最大可以支持到64TB，由于Fu

38、sionStorage是分布式存儲(chǔ)系統(tǒng)，系統(tǒng)壓力均勻分布在各個(gè)存儲(chǔ)節(jié)點(diǎn)上，從存儲(chǔ)平面上看64T的LUN與2T的LUN性能一致，因此建議根據(jù)實(shí)際業(yè)務(wù)情況進(jìn)行創(chuàng)建LUN的大小。 建議在創(chuàng)建VMFS卷時(shí)使用默認(rèn)配置，并且使用LUN的所有空間，不建議一個(gè)LUN創(chuàng)建兩個(gè)VMFS卷。 獨(dú)占卷還是共享卷：一個(gè)VMFS卷分配給多少個(gè)虛擬機(jī)使用，不同應(yīng)用的虛擬機(jī)該如何分配VMFS卷，可能是ESXi配置人員最關(guān)心的問(wèn)題。我們應(yīng)從多個(gè)方面考慮，到底是使用多個(gè)虛擬機(jī)共享一個(gè)大的VMFS卷還是每個(gè)虛擬機(jī)獨(dú)自擁有較小的VMFS卷，下表列出了兩種方式的優(yōu)劣，配置時(shí)應(yīng)平衡管理成本、性能、可擴(kuò)展性等因素，選擇合適的方式。 獨(dú)占

39、方式 共享方式 優(yōu)勢(shì) 響應(yīng)時(shí)間快 適合高IO負(fù)載應(yīng)用 方便管理 資源利用率高 便于精簡(jiǎn)配置 劣勢(shì) 資源利用率較低 產(chǎn)生信息孤島 管理成本較高 產(chǎn)生資源競(jìng)爭(zhēng) 性能互相影響 會(huì)影響整體的性能 從應(yīng)用的角度看為了達(dá)到最優(yōu)性能，建議參考如下配置：創(chuàng)建獨(dú)立的LUN存放所有VM啟動(dòng)盤(pán)，分離易產(chǎn)生Swap I/O的VM；將應(yīng)用數(shù)據(jù)與用于數(shù)據(jù)恢復(fù)的日志、備份存放到不同的VMFS卷；對(duì)性能與響應(yīng)時(shí)間要求高的應(yīng)用，單獨(dú)使用一個(gè)或多個(gè)VMFS卷；對(duì)性能與響應(yīng)時(shí)間要求不高的應(yīng)用，可共享VMFS卷；RDMVMFS和RDM兩種方式在性能上沒(méi)有太大差異。因此，除非上層應(yīng)用有特別要求必須使用RDM模式才使用，否則優(yōu)先選擇VM

40、FS模式； 虛擬磁盤(pán)配置SCSI控制器VMware文檔PVSCSI Storage Performance中描述了PVSCSI的性能優(yōu)勢(shì)，下圖為PVSCSI與LSI硬件模擬兩種方式下測(cè)試FC存儲(chǔ)的CPIO對(duì)比，測(cè)試模型為隨機(jī)IO，可以看到，不同塊大小下，PVSCSI控制器對(duì)CPU的消耗相比LSI控制器降低了10%-30%。LSI Logic并行SCSI控制器不適合IO負(fù)載過(guò)高的業(yè)務(wù)，但它的兼容性最好，低負(fù)載業(yè)務(wù)的IO響應(yīng)時(shí)間最小，適合絕大多數(shù)的OS虛擬盤(pán)使用。SCSI控制器選擇建議： 1. 用作OS的虛擬硬盤(pán)使用”LSI Logic并行”控制器 2. 低IO負(fù)載VM使用“LSI Logic并行

41、”或者“LSI Logic SAS”控制器 3. 高IO負(fù)載VM使用PVSCSI控制器說(shuō)明：PVSCSI支持的OS類型請(qǐng)參考VMware的官方網(wǎng)站說(shuō)明； HYPERLINK /selfservice/microsites/search.do?language=en_US&cmd=displayKC&externalId=1010398 /selfservice/microsites/search.do?language=en_US&cmd=displayKC&externalId=1010398虛擬磁盤(pán)置備策略VMware+FusionStorage場(chǎng)景下，磁盤(pán)類型建議選擇厚置備置零模式，以達(dá)

42、到存儲(chǔ)IO性能最優(yōu)；另外需要注意以下事項(xiàng)：1、選擇厚置備置零模式后，磁盤(pán)有效數(shù)據(jù)等于磁盤(pán)的容量，在做虛擬機(jī)卷遷移或者卷拷貝等操作時(shí)，有效數(shù)據(jù)量請(qǐng)參考磁盤(pán)容量進(jìn)行計(jì)算；2、厚置備延遲置零模式下初始寫(xiě)性能較差，在不考慮初始寫(xiě)的場(chǎng)景下，也可以選擇厚置備延遲置零；存儲(chǔ)IO性能測(cè)試及分析概述本節(jié)主要講述在VMware+FusionStorage場(chǎng)景下，通過(guò)前面的配置和調(diào)優(yōu)，進(jìn)行存儲(chǔ)IO性能測(cè)試，并分析測(cè)試結(jié)果。硬件組網(wǎng)及配置組網(wǎng)：配置：服務(wù)器類型配置說(shuō)明RH2288HV2_01ESXi01600G SAS*2；48G內(nèi)存；2*Intel(R) Xeon(R) CPU E5-2680，SSD 800G計(jì)算

43、節(jié)點(diǎn)RH2288 H V2 _02ESXi02600G SAS*2；48G內(nèi)存；2*Intel(R) Xeon(R) CPU E5-2680，SSD 800G計(jì)算節(jié)點(diǎn)RH2288 H V2 _03ESXi03600G SAS*2；48G內(nèi)存；2*Intel(R) Xeon(R) CPU E5-2680，SSD 800G計(jì)算節(jié)點(diǎn)RH2288 H V2_04ESXi04600G SAS*2；48G內(nèi)存；2*Intel(R) Xeon(R) CPU E5-2680，SSD 800G計(jì)算節(jié)點(diǎn)RH2288 H V2 _05存儲(chǔ)節(jié)點(diǎn)2T SATA*12；48G內(nèi)存；1*Intel(R) Xeon(R) C

44、PU E5-2620 V2，SSD 800G存儲(chǔ)節(jié)點(diǎn)RH2288 H V2 _06存儲(chǔ)節(jié)點(diǎn)2T SATA*12；48G內(nèi)存；1*Intel(R) Xeon(R) CPU E5-2620 V2，SSD 800G存儲(chǔ)節(jié)點(diǎn)RH2288 H V2 _07存儲(chǔ)節(jié)點(diǎn)2T SATA*12；48G內(nèi)存；1*Intel(R) Xeon(R) CPU E5-2620 V2，SSD 800G存儲(chǔ)節(jié)點(diǎn)RH2288 H V2 _08存儲(chǔ)節(jié)點(diǎn)2T SATA*12；48G內(nèi)存；1*Intel(R) Xeon(R) CPU E5-2620 V2，SSD 800G存儲(chǔ)節(jié)點(diǎn)VMware+FusionStorage配置類別配置說(shuō)明FusionStorage每個(gè)服務(wù)器配置：Cache：1*800G PCIE卡；主存：12*2T SATA盤(pán)；副本數(shù)：3副本網(wǎng)絡(luò)：2*10GE，負(fù)荷分擔(dān)網(wǎng)絡(luò)配置負(fù)荷分擔(dān)，模式為src-dst-ip（默認(rèn)值）VMware網(wǎng)絡(luò)：2*10GE，負(fù)荷分擔(dān)；MTU：9000LUN隊(duì)列深度：128LUN大?。?0T其他：VMFS5，使用PVS