[編號ODCC-2024-0500C]開放數(shù)據(jù)中心標(biāo)準推進委員會2024.09發(fā)布版權(quán)聲明轉(zhuǎn)載、摘編或利用其它方式使用ODCC成果中的文字或者觀點的，應(yīng)注明編寫組 1 1 2 2（二）QoS 3（三）PerformanceConsistency 3 4 4 4 4 6 7 8 9 13 14 15 18 18 （二）ProductName:HYGONR624 19 19 20 20 20 20 21 21 22 22 22 23 23 23 23 27 27 27 28 28 28NVMeSSDRaid性能測試技術(shù)報告本測試規(guī)范旨在為NVMeSSDRaid環(huán)境下，通過對不同的NVMeRaid實現(xiàn)方式以及不同RaidLevel的實踐測試，對不同的NVMeRaid性能影響因子進行分析找到性能優(yōu)化方案以及選取合適的性能使用場景NVMeRaid實現(xiàn)方案以及不同的應(yīng)用場景與平臺上面實現(xiàn)性能結(jié)果的最優(yōu)化。本測試規(guī)范不涉及NVMe協(xié)議的設(shè)計和開發(fā)，也不涉及NVMeRaid實現(xiàn)的具體實現(xiàn)方法。它僅涉及對NVMeRaid性能的調(diào)優(yōu)以及ACPIARActiveRange（硬盤LBA）可操作范圍Deviceundertest,usuallyDiErrorCheckingandCorre1MTBFMeanTimeBetweenFailureNVMeNon-VolatileMemoryexpress基于網(wǎng)絡(luò)并利用RESTful接口實現(xiàn)RegisterDIMM（DualIMemoryModule）UniversalSerialBusVideoGraphicsArrayWCD/WCEWriteCacheDisable/WriteCacheWAWriteAmplification2NandWriteHostWriteQoS即服務(wù)質(zhì)量，指在規(guī)定的時間內(nèi)，以因此產(chǎn)品短時間內(nèi)的高性能不足以衡量一個產(chǎn)品的性能質(zhì)量，（三）PerformanceConsistency用內(nèi)部帶寬資源從而影響外部性能，這就是穩(wěn)態(tài)性能與性能波動(一般client產(chǎn)品會比較明顯)的概念來源。用戶空間和OP是相對的概3用空間和性能之間關(guān)系的指標(biāo)。這個指標(biāo)的能(特別是IOPS)隨時間發(fā)生的變化，如果一直保持很好的一致性，Purge指的是硬盤數(shù)據(jù)的擦除，SSD#nvmeformat/dev/nPrecondition是在硬盤正式進行性能測試前，對硬盤進行指定數(shù)4使用主機系統(tǒng)的CPU來處理NVMe指令并進行校驗和計算。不同之條讀取NVMe的指令。軟件RAID模塊收到該指令后，只需要對指5（二）Tri-modeHardwareRAID邏輯都是在一個單獨的硬件控制器上完成的，x4:如果使用更好規(guī)格的SSD，通過PCIeGen4x8/x16連接到主機的RAID控制器很容易成為性能瓶頸。此外，所有ssd都必須直接連接到硬件RAID控制器上，但由于控制器本身的PCIe通道數(shù)量非常有PCIe交換機，這反過來又會對服務(wù)器系統(tǒng)的設(shè)計和成本產(chǎn)生相當(dāng)大67旁路Raid是通過NVMeSSD作為Raid計算來說實現(xiàn)的NVMe8IntelVirtualRAIDonCPU(IntelVROC)是一種實現(xiàn)NVMeSSDRAID功能的解決方案。在IntelVMD硬件通路支持下IntelVROCIntelVROCConfiguration.VMwareESXi:RAID1forboot9磁盤冗余陣列，通常簡稱為磁盤陣列。簡單地說，RAID是由多個高的存儲性能和數(shù)據(jù)冗余的技術(shù)。RAID是一類多磁盤管理技術(shù)，其向主機環(huán)境提供了成本適中、數(shù)據(jù)可靠性高的六、Raid理論性能模型RAID理論模型定義了RAID系統(tǒng)的最大理論性能，模型不考慮Write 3×RandWriteIOPS2+RandWriteIOPSRandReadIOPSN×RandWriteIOPSRandReadIOPS2+2RandReadIOPSRAIDIOPS=NxDisk所有RAID下的成員盤并發(fā)執(zhí)行IO，工作負載均勻分配到所有b.順序和隨機的讀取公式為：RAIDIOPS=NxDiskIOPSRAID5的數(shù)據(jù)分布在所有成員盤上，每個條帶都有一個奇偶校驗數(shù)據(jù)存在。奇偶校驗數(shù)據(jù)是其它用戶數(shù)據(jù)的XOR運算而RAIDreadIOPS=NXDiskread所有硬盤同時執(zhí)行IO，奇偶校驗不影響性能，因為奇偶校驗數(shù)看，因為奇偶校驗數(shù)據(jù)的存在，導(dǎo)致盤的IO不再是順序的，這種特PkNewk,1Newk,2Oldk,nOld請求，這是開銷。這種奇偶校驗計算算法稱為Read-OPkNewk,1Oldk,1NewOld這需要read-others或Read-Modify-Write操作，具體選擇取決于哪一RandReadIOPSRAIDRandomWriteIOPS(4ormoredrives)RandReadIOPSIO請求通常大于RAID條帶大小，這使得理論上的性能難以準確計據(jù))以及某些RAID引擎的多線程體系結(jié)構(gòu)，從RAID成員驅(qū)動器的角度來看，IO的順序性質(zhì)變得隨機。這意味著對具有順序工作負載RAIDSequentialWriteIOPSRAIDSequentialWriteIOPSRAIDreadIOPS=NXDiskread七、NVMeRaid性能測試環(huán)境（一）ProductName:ThinkSystemSR660-v2CPUmax/minMHz:230CentOSLinuxrelease（二）ProductName:HYGONR6240H0Modelname:HygonC86739032-coreProcessCentOSLinuxrelease八、NVMeRaid性能調(diào)優(yōu)b.Monitor/Mwait->enable#cat/sys/devices/system/cpu/cpu0/cpufreq/scaling_available_go#cpupower-callfrequency-se#cpupower-callfrequency-set#numactl--cpunodebind=<disknode>fi針對Hygon平臺的隨機讀之前執(zhí)行隨機寫隨機讀寫JOB需要低針對Hygon平臺建議增加PCIeMaxPayload#grubby--args="pci=pcie_bus_perf"--updab.Monitor/Mwait->enable#cat/sys/devices/system/cpu/cpu0/cpufreq/scaling_available_go#cpupower-callfrequency-se#cpupower-callfrequency-setlspci-vvv-s<pcie_bus_address>|grep-i“node”Intel建議增加PCIeMaxPayloadSize(MPS),來提高NVMeSSD#grubby--args="pci=pcie_bus_perf"--updab.Monitor/Mwait->enable#cat/sys/devices/system/cpu/cpu0/cpufreq/scaling_available_go#cpupower-callfrequency-se#cpupower-callfrequency-setlspci-vvv-s<pcie_bus_address>|grep-i“node”#systemctlstopirqbal#echo4>/sys/block/md126/md/group_threaIntel建議增加PCIeMaxPayloadSize(MPS),來提高NVMeSSD#grubby--args="pci=pcie