1、vSAN云系統(tǒng)存儲(chǔ)性能優(yōu)化最佳實(shí)踐vSAN基礎(chǔ)結(jié)構(gòu)如何提升vSAN性能vSAN 性能監(jiān)控工具快速定位vSAN性能瓶頸收集vSAN性能數(shù)據(jù)2目錄#vSAN基礎(chǔ)結(jié)構(gòu)3RAID-0C1C2C3簡(jiǎn)述vSAN結(jié)構(gòu)vSAN基本概念RAID-1RAID-0C1C2C3WitnessVMDKvSAN是基于對(duì)象的分布式存儲(chǔ)vSAN環(huán)境中的基本單位是“對(duì)象”(Object)對(duì)象的類型包括：VMDKVM文件夾VM swap快照文件每個(gè)對(duì)象由一個(gè)或多個(gè)“組件”(Component) 構(gòu)成組件會(huì)根據(jù)應(yīng)用給對(duì)象的“存儲(chǔ)策略”(Storage Policy)分布在vSAN集群節(jié)點(diǎn) 上存儲(chǔ)策略可以分配給VM或者VMDK對(duì)象見

2、證組件組件構(gòu)成的對(duì)象副本A組件構(gòu)成的對(duì)象副本B存儲(chǔ)策略例如：FTT=1 SW=34簡(jiǎn)述vSAN結(jié)構(gòu)vSAN IO路徑VMDKCLOM來(lái)管理對(duì)象的存放位置DOM根據(jù)CLOM的決定來(lái)進(jìn)行具體實(shí)施vSCSI與DOM Client進(jìn)行通信DOM Client與DOM Owner進(jìn)行通信DOM Owner仲裁如何訪問(wèn)對(duì)象DOM Component Mgr 管理組件LSOM與底層硬盤進(jìn)行交互vSCSIDOM ClientDOM Comp.MgrLSOMPSADOM Comp.MgrLSOMPSADOM Owner相同主機(jī)相同主機(jī)或不同主機(jī)跨越主機(jī)Checksum5Erasure Coding去重和壓縮#如

3、何提升vSAN性能6提升vSAN性能的方法硬件選型使用正確的方法進(jìn)行規(guī)劃設(shè)計(jì)VMware vSAN 設(shè)計(jì)和規(guī)模設(shè)定指南使用vSAN全閃配置硬件性能差異全閃配置與混合模式的不同的“讀”機(jī)制使用vSAN兼容列表里列出的高性能硬件例如：PCI-E或NVME閃存設(shè)備、40Gb網(wǎng)卡7軟件版本選擇使用vSAN最新版本- 新的功能、更好的優(yōu)化提升vSAN性能的方法8提升vSAN性能的方法硬件配置硬件驅(qū)動(dòng)固件符合兼容列表磁盤控制器、硬盤和網(wǎng)卡所有vSAN節(jié)點(diǎn)硬件處于健康狀態(tài)主機(jī)電源管理選擇“最高性能”配置多個(gè)磁盤組多個(gè)磁盤組=更多的緩存層容量增加并行寫入的速度9提升vSAN性能的常見方法網(wǎng)絡(luò)配置延時(shí)測(cè)試場(chǎng)景I

4、OPS丟包測(cè)試場(chǎng)景IOPSNative47000 IOPSNative47000 IOPS+5 ms Latency33000 IOPS1% 丟包率42300 IOPS+10 ms Latency23100 IOPS2% 丟包率32000 IOPS10% 丟包率3400 IOPS使用25Gb以上的網(wǎng)絡(luò)避免網(wǎng)卡變成性能的瓶頸使用高質(zhì)量網(wǎng)絡(luò)減少網(wǎng)絡(luò)丟包和網(wǎng)絡(luò)延時(shí)10提升vSAN性能的常見方法網(wǎng)絡(luò)配置11Jumbo Frames可以減少CPU的消耗需要保證網(wǎng)絡(luò)鏈路上所有端點(diǎn)配置相同使用多物理網(wǎng)卡和LACP增加帶寬，減少延時(shí)需要物理交換機(jī)進(jìn)行相關(guān)的配置提升vSAN性能的常見方法虛擬機(jī)日常使用12根據(jù)實(shí)

5、際需求選擇正確的存儲(chǔ)策略- FTT、加密、去重壓縮對(duì)性能的影響#vSAN性能監(jiān)控工具13vSAN 性能監(jiān)控工具vSAN性能監(jiān)控：集群/主機(jī)/VM-監(jiān)控-性能esxtop -xvsantopvSAN Observer14優(yōu)點(diǎn)：圖形界面保存48小時(shí)的記錄操作方便支持集群/主機(jī)/虛擬機(jī)不同主體vSAN 性能監(jiān)控工具vSAN性能監(jiān)控：集群/主機(jī)/VM-監(jiān)控-性能vSAN 集群15vSAN 節(jié)點(diǎn)虛擬機(jī)vSAN 性能監(jiān)控工具vsantop優(yōu)點(diǎn)：選項(xiàng)豐富高定制化即時(shí)刷新16vSAN Observer優(yōu)點(diǎn)：集群級(jí)別易讀性高收集特定時(shí)間段內(nèi)的性能數(shù)據(jù)可以下載vSAN 性能監(jiān)控工具1719vSAN 性能監(jiān)控工具e

6、sxtop -x優(yōu)點(diǎn)：學(xué)習(xí)成本低可同時(shí)監(jiān)控CPU/內(nèi)存/網(wǎng)絡(luò)/磁盤資源技巧：關(guān)注延時(shí)的數(shù)值Client和Owner- 網(wǎng)絡(luò)CompMgr- 磁盤磁盤-快捷鍵“u”磁盤控制器-快捷鍵“d”網(wǎng)絡(luò)-快捷鍵“n”vSAN性能 快捷鍵“x”#快速定位vSAN性能瓶頸19技巧#1：結(jié)合實(shí)際情況使用不同的工具圖形界面：操作方便、可讀性強(qiáng)、存在延時(shí) 命令行：即時(shí)反饋性能狀態(tài)快速定位vSAN性能瓶頸技巧技巧#2：利用“分層”的思路找到性能瓶頸，快速定位問(wèn)題20快速定位vSAN性能瓶頸vSAN性能監(jiān)控與vSAN IO路徑的對(duì)應(yīng)關(guān)系在不同的主體進(jìn)行監(jiān)控：集群主機(jī)虛擬機(jī)每個(gè)層面有通用的指標(biāo)有具體的指標(biāo)來(lái)判斷是否正常常

7、見的指標(biāo)包括：擁堵值命中率延時(shí)21案例-1 緩存層SSD的物理/固件層延時(shí)影響性能緩存層SSD的物理/固件延時(shí)非常高22故障現(xiàn)象VM性能緩慢重啟主機(jī)故障依舊vSAN健康檢查沒有報(bào)警23案例-2 網(wǎng)卡異常影響vSAN性能常規(guī)檢查 - 望聞問(wèn)切確認(rèn)故障現(xiàn)象是否有明顯的硬件告警環(huán)境是否進(jìn)行過(guò)變更受影響范圍是特定VM還是所有VM受影響范圍是特定主機(jī)還是所有主機(jī)案例-2 網(wǎng)卡故障影響vSAN性能使用esxtop進(jìn)行排查發(fā)現(xiàn)一臺(tái)主機(jī)的DOM Owner延時(shí)高定位網(wǎng)絡(luò)相關(guān)故障檢查網(wǎng)卡狀態(tài)發(fā)現(xiàn)大量CRC報(bào)錯(cuò)更換網(wǎng)卡后故障解決24#如何收集vSAN性能數(shù)據(jù)25vSAN 性能監(jiān)控工具vSAN性能監(jiān)控：集群/主機(jī)/

8、VM-監(jiān)控-性能esxtop -xvsantopvSAN Observer26如何收集vSAN性能數(shù)據(jù)27收集esxi主機(jī)日志vSAN性能監(jiān)控 vsantop收集vSAN Observer性能數(shù)據(jù) vSAN Observer收集esxi主機(jī)性能數(shù)據(jù)esxtop -x如何收集vSAN性能數(shù)據(jù)收集esxi主機(jī)日志需要收集集群中所有主機(jī)日志優(yōu)先收集Master主機(jī)的日志包含過(guò)去48小時(shí)的性能信息- 參考KB#203289228如何收集vSAN性能數(shù)據(jù)29收集vSAN Observer性能數(shù)據(jù)建議在故障復(fù)現(xiàn)時(shí)收集1-2小時(shí)的性能數(shù)據(jù)- 參考KB#2064240收集esxi主機(jī)性能數(shù)據(jù)只針對(duì)本臺(tái)主機(jī)的性能數(shù)據(jù)可以單獨(dú)收集esxtop性能數(shù)據(jù)- 參考KB#