版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
數(shù)據(jù)中心的服務(wù)器虛擬化與
運(yùn)維管理解決方案模板
2023/12/15
vmware"
目錄
1概述4
1.1項(xiàng)目背景4
1.2現(xiàn)狀分析4
2VMware服務(wù)器虛擬化與運(yùn)維管理解決方案概述11
2.1服務(wù)器虛擬化解決方案12
2.2虛擬化環(huán)境下的運(yùn)維管理解決方案13
2.3版本比較17
3服務(wù)器虛擬化解決方案20
3.1vSphere體系架構(gòu)20
3.1.1基于vSphere的虛擬數(shù)據(jù)中心基礎(chǔ)架構(gòu)20
3.1.2ESXi體系結(jié)構(gòu)22
3.1.3資源分配方式27
3.2計(jì)算功能特性29
3.2.1虛擬機(jī)計(jì)算性能29
3.2.2虛擬機(jī)性能36
3.2.3關(guān)鍵應(yīng)用虛擬化36
3.2.4虛擬機(jī)遷移38
3.2.5向大數(shù)據(jù)擴(kuò)展42
3.2.6CPU和內(nèi)存的熱添加和磁盤的熱擴(kuò)展43
3.2.7分布式資源調(diào)度DRS44
3.2.8分布式電源管理DPM46
3.2.9NVIDIAGRIDvGPU47
3.3網(wǎng)絡(luò)和安全功能特性48
3.3.1vSphere標(biāo)準(zhǔn)交換機(jī)(VSS)49
3.3.2vSphere分布式交換機(jī)(VDS)50
3.3.3網(wǎng)絡(luò)I/O控制(NIOC)54
3.3.4無(wú)代理終端安全防護(hù)56
3.4存儲(chǔ)功能特性61
3.4.1虛擬化環(huán)境的存儲(chǔ)62
3.4.2vSphere存儲(chǔ)體系結(jié)構(gòu)64
3.4.3StorageDistributedResourcesScheduler(DRS)65
1
vmware"
3.4.4基于存儲(chǔ)策略的管理66
3.4.5StoragevMotion68
3.4.6存儲(chǔ)I/O控制71
3.4.7VirtualMachineFileSystem(VMFS)73
3.4.8StorageThinProvisioning75
3.4.9存儲(chǔ)API77
3.4.10VirtualVolumes79
3.4.11vSphereFlashReadCache-81
3.5可用性功能84
3.5.1VMwareHighAvailability84
3.5.2VMwareFaultTolerance88
3.5.3VMwareDataProtection91
3.5.4vStorageAPIsforDataProtection95
3.5.5vSphereReplication96
3.6管理和自動(dòng)化103
3.6.1集中式控制和主動(dòng)式管理103
3.6.2自動(dòng)化管理與調(diào)配107
4虛擬化環(huán)境下的運(yùn)維管理解決方案112
4.1主要價(jià)值112
4.2體系架構(gòu)112
4.3基本功能114
4.4典型應(yīng)用場(chǎng)景122
4.4.1性能監(jiān)控與故障修復(fù)122
4.4.2容量?jī)?yōu)化127
4.4.3vSphere安全加固130
4.4.4通過(guò)增強(qiáng)型DRS集成在集群之間實(shí)現(xiàn)各種資源再平衡134
5VMware解決方案規(guī)劃設(shè)計(jì)138
5.1計(jì)算資源規(guī)劃138
5.2存儲(chǔ)資源規(guī)劃142
5.3網(wǎng)絡(luò)資源規(guī)劃147
5.4可用性規(guī)劃151
5.5管理與監(jiān)控規(guī)劃154
6方案優(yōu)勢(shì)總結(jié)162
7配置清單及說(shuō)明164
7.1硬件配置需求164
7.2虛擬化軟件配置需求164
2
vmware"
8專業(yè)服務(wù)166
8.1VMware專業(yè)月艮務(wù)介紹166
8.2專業(yè)咨詢服務(wù)內(nèi)容166
8.2.1VMwareAccelerate咨詢服務(wù)166
8.2.2技術(shù)咨詢服務(wù)167
8.2.3技術(shù)客戶經(jīng)理(TAM)服務(wù)167
8.3專業(yè)服務(wù)實(shí)施流程168
8.3.1評(píng)估169
8.3.2規(guī)劃與設(shè)計(jì)169
8.3.3實(shí)施169
8.3.4運(yùn)維170
9支持服務(wù)概述171
9.1VMware支持的角色和職貢171
9.2全球技術(shù)支持服務(wù)171
9.3自助服務(wù)支持172
9.3.1社會(huì)支持172
9.3.2其他資源173
10培訓(xùn)服務(wù)174
10.1認(rèn)證體系與學(xué)習(xí)路徑174
10.2培訓(xùn)課程175
11縮略語(yǔ)解釋178
3
vmware"
概述
1.1項(xiàng)目背景
不斷增長(zhǎng)的業(yè)務(wù)對(duì)n■部門的要求越來(lái)越高,所以數(shù)據(jù)中心需要更為快速的提供所
需要的能力。如果不斷購(gòu)買新的服務(wù)器,又會(huì)增加采購(gòu)成本和運(yùn)作成本,而且還會(huì)帶
來(lái)更多供電和冷卻的開(kāi)支,同時(shí),目前的服務(wù)器還沒(méi)有得到充分的利用。通常情況下,
企業(yè)的服務(wù)器工作負(fù)載只利用了5%,這導(dǎo)致了大量的硬件、空間以及電力的浪費(fèi)。同
時(shí)由于應(yīng)用程序兼容性的問(wèn)題,IT人員只能通過(guò)在不同場(chǎng)所的不同服務(wù)器中分別運(yùn)行
應(yīng)用的方式,將應(yīng)用程序隔離起來(lái),而這又會(huì)導(dǎo)致服務(wù)器數(shù)量的增長(zhǎng)。購(gòu)置新的服務(wù)
器是一項(xiàng)漫長(zhǎng)的過(guò)程,這使得IT部門更加難以應(yīng)對(duì)業(yè)務(wù)快速成長(zhǎng)和不斷變動(dòng)的需求。
例如,對(duì)于新業(yè)務(wù)系統(tǒng)平臺(tái)的供應(yīng)和拆除需求,往往就需要消耗大量寶貴的資源和時(shí)
間。
從IT管理員的角度來(lái)看,推動(dòng)虛擬化技術(shù)發(fā)展的主要?jiǎng)恿κ腔A(chǔ)架構(gòu)設(shè)施的迅猛
增長(zhǎng),而硬件部署模式又進(jìn)一步加劇了基礎(chǔ)架構(gòu)的史雜程度。應(yīng)用越來(lái)越多,也越來(lái)
越復(fù)雜,因此就變得更加難以管理、更新和維護(hù)。用戶希望能采用各種桌面設(shè)備、筆
記本電腦、家用PC和移動(dòng)設(shè)備來(lái)進(jìn)行工作。服務(wù)器價(jià)格急劇下降,服務(wù)器散亂現(xiàn)象
仍然存在。隨著圖形和多媒體的發(fā)展,數(shù)據(jù)也變得越來(lái)越豐富,文件的平均大小也在
不斷上升,要求不間斷的在線存儲(chǔ)??v觀整個(gè)數(shù)據(jù)中心,技術(shù)不斷增多,分布也越來(lái)
越廣,另外,業(yè)界和法律法規(guī)也在不斷要求企業(yè)加強(qiáng)IT管理控制.
在這種環(huán)境下,虛擬化技術(shù)就體現(xiàn)了整合的優(yōu)勢(shì)。應(yīng)用在IT的不同層面,從邏輯
層將物理層抽象出來(lái)意味著邏輯組件會(huì)得到更一致的管理。
從安全監(jiān)督來(lái)看,虛擬化技術(shù)提升了X86服務(wù)器的可靠性、可用性,從基礎(chǔ)架構(gòu)
層面獲得了原先單機(jī)系統(tǒng)無(wú)法想象的功能,大大提高了業(yè)務(wù)連續(xù)性的級(jí)別,降低了故
障率、減少了系統(tǒng)宕機(jī)的時(shí)間。
從服務(wù)器的角度來(lái)看,虛擬化技術(shù)讓每臺(tái)設(shè)備都能托管多套操作系統(tǒng),最大化了
利用率,降低了服務(wù)器數(shù)量。
從存儲(chǔ)的角度來(lái)看,虛擬化技術(shù)可網(wǎng)絡(luò)化、整合磁盤設(shè)備,并讓多個(gè)服務(wù)器共享
磁盤設(shè)備,從而提高了利用率。
從應(yīng)用的角度來(lái)看,虛擬化技術(shù)將應(yīng)用計(jì)算從用戶設(shè)備中分離出來(lái),并在數(shù)據(jù)中
心對(duì)應(yīng)用及相關(guān)數(shù)據(jù)進(jìn)行整合,通過(guò)集中化技術(shù)改善了管理和系統(tǒng)的安全性。
XXX客戶作為國(guó)內(nèi)大型企業(yè),信息化建設(shè)不斷發(fā)展。目前信息化網(wǎng)絡(luò)以信息中心
為運(yùn)營(yíng)維護(hù)單位,覆蓋出單、收付等多套業(yè)務(wù)系統(tǒng),服務(wù)器資源龐大。出于經(jīng)濟(jì)效益
和管理安全性考慮,針對(duì)基礎(chǔ)架構(gòu)的虛擬化整合已勢(shì)在必行。
1.2現(xiàn)狀分析
本小節(jié)首先將對(duì)XXX客戶數(shù)據(jù)中心的現(xiàn)狀進(jìn)行描述,統(tǒng)計(jì)了現(xiàn)有物理服務(wù)器的型
號(hào)、配置以及其上運(yùn)行的業(yè)務(wù)系統(tǒng)的情況,同時(shí)還對(duì)數(shù)據(jù)中心里的存儲(chǔ)設(shè)備的配置與
使用情況進(jìn)行了總結(jié)。接下來(lái),本文將對(duì)當(dāng)前的現(xiàn)狀進(jìn)行分析,指出數(shù)據(jù)中心存在的
問(wèn)題并給出相應(yīng)的解決方案。
>現(xiàn)狀描述
4
vmware"
XXX客戶數(shù)據(jù)中心目前以X86服務(wù)器為主,運(yùn)行著人力資源、市場(chǎng)計(jì)費(fèi)、生產(chǎn)經(jīng)
營(yíng)、資產(chǎn)管理、網(wǎng)絡(luò)管理、郵件、安全等業(yè)務(wù)系統(tǒng)。具體的服務(wù)器配置如下所不,該
表涵蓋了主要業(yè)務(wù)系統(tǒng)的服務(wù)器配置。
系統(tǒng)型號(hào)配置
視頻服務(wù)器PowerEdge2950XeonE5410*2/4GB
下載服務(wù)器PowerEdge2950XeonE5110*2/2GB
生產(chǎn)經(jīng)營(yíng)管理系統(tǒng)PowerEdge2950XeonE5410*2/4GB
固定資產(chǎn)管理系統(tǒng)PowerEdge2950XeonE5410*2/4GB
移動(dòng)站業(yè)務(wù)管理系統(tǒng)PowerEdge2950XeonE5410*2/2GB
網(wǎng)管系統(tǒng)PowerEdge2950XeonE5410*2/2GB
財(cái)務(wù)系統(tǒng)PowerEdge2950XeonE5410*2/2GB
防病毒系統(tǒng)PowerEdge2950XeonE5410*2/2GB
郵件系統(tǒng)PowerEdge2950XeonE5410*2/2GB
安全評(píng)估系統(tǒng)PowerEdge2850Xeon2.8G*2/2GB
人力資源系統(tǒng)PowerEdge2850Xeon2.8G*2/2GB
任務(wù)管理系統(tǒng)PowerEdge2650Xeon2.8G*2/2GB
庫(kù)存管理系統(tǒng)PowerEdge1750Xeon2.4G*2/1GB
身份認(rèn)證系統(tǒng)PowerEdge750P42.8G/1GB
表:XXX客戶數(shù)據(jù)中心服務(wù)器
上述服務(wù)器中,除了視頻服務(wù)器和下載服務(wù)器外,其它服務(wù)器的負(fù)載都非常小,
遠(yuǎn)沒(méi)有達(dá)到充分利用的狀態(tài)。雖然視頻服務(wù)器和下載服務(wù)器的負(fù)載相對(duì)較高,但是也
沒(méi)有充分發(fā)揮硬件平臺(tái)的資源效率。
另外還有一些運(yùn)行邊緣業(yè)務(wù)的服務(wù)器,由于設(shè)備老舊以及所在位置等原因,本次
尚未統(tǒng)計(jì)在內(nèi)。
在存儲(chǔ)陣列方面,XXX客戶數(shù)據(jù)中心的主要存儲(chǔ)設(shè)備及其相應(yīng)系統(tǒng)的容量與使用
率情況如下所示。
?舊MDS4700陣列上,網(wǎng)管系統(tǒng)可使用的總?cè)萘繛?400G,現(xiàn)已使用了
800G,使用率為57%;郵件系統(tǒng)可使用的總?cè)萘繛?950G,現(xiàn)統(tǒng)計(jì)分析系
5
vmware"
統(tǒng)已使用了900G,使用率為67%。人力資源系統(tǒng)可使用的容量已全部分配
完畢。
?舊MFastT600陣列上,庫(kù)存管理系統(tǒng)可使用的總?cè)萘繛?340G,現(xiàn)已使用
了1340G,使用率為100%;身份認(rèn)證系統(tǒng)可使用的總?cè)萘繛?40G,現(xiàn)已
使用了170G,使用率為50%。
?舊MDS5020陣列上,視頻服務(wù)器可使用的總?cè)萘繛?540G,現(xiàn)已使用了
1530G,使用率為97%;防病毒系統(tǒng)可使用的總?cè)萘繛?70G,現(xiàn)己使用了
206G,使用率為76%。
?EMCCX3-40陣列上,財(cái)務(wù)系統(tǒng)可用總?cè)萘繛?41G,現(xiàn)已使用了325G,
使用率為32%;移動(dòng)站業(yè)務(wù)管理系統(tǒng)可用總?cè)萘繛?00G,現(xiàn)已使用了
270G,使用率為34%;安全評(píng)估系統(tǒng)可用總?cè)萘繛?00G,現(xiàn)已使用了
305G,使用率為51%。
?EMCCX500陣列上,任務(wù)管理系統(tǒng)可用總?cè)萘繛?20G,現(xiàn)已使用了95G,
使用率為79%:固定資產(chǎn)管理系統(tǒng)可用總?cè)萘繛?00G,現(xiàn)已使用了280G,
使用率為94%。
?EMCCX4-480陣列上,下載服務(wù)器可用總?cè)萘繛?000G,現(xiàn)已使用了
2000G,使用率為100%;生產(chǎn)經(jīng)營(yíng)管理系統(tǒng)可用總?cè)萘繛?80G,現(xiàn)已使
用了800G,使用率為82%。
上述存儲(chǔ)設(shè)備及其相應(yīng)系統(tǒng)的容量與使用率情況如下表所示。
陣列名稱使用系統(tǒng)可用空間已用空間使用率
IBMDS4700網(wǎng)管系統(tǒng)1400G800G57%
郵件系統(tǒng)1950G900G67%
人力資源系統(tǒng)400G400G100%
IBMFastT600庫(kù)存管理系統(tǒng)1340G1340G100%
身份認(rèn)證系統(tǒng)340G170G50%
IBMDS5020視頻服務(wù)器1540G1530G97%
防病毒系統(tǒng)270G206G76%
EMCCX3-40財(cái)務(wù)系統(tǒng)941G325%32%
移動(dòng)站業(yè)務(wù)管理系統(tǒng)800G270G34%
安全評(píng)估系統(tǒng)600G305G51%
EMCCX500任務(wù)管理系統(tǒng)120G95G79%
6
vmware"
固定資產(chǎn)管理系統(tǒng)300G280G94%
EMCCX4-480下載服務(wù)器2000G2000G100%
生產(chǎn)經(jīng)營(yíng)管理系統(tǒng)980G800G82%
表:XXX客戶數(shù)據(jù)中心存儲(chǔ)陣列
可見(jiàn),目前XXX客戶的磁盤陣列劃分孤立、分散,造成了磁盤陣列的浪費(fèi)以及數(shù)
據(jù)的高風(fēng)險(xiǎn)性,而且十分不易于維護(hù)。隨著之后系統(tǒng)和數(shù)據(jù)量的不斷增加,這一現(xiàn)象
將會(huì)持續(xù)加劇。
>現(xiàn)狀分析
通過(guò)對(duì)XXX客戶服務(wù)器和存儲(chǔ)現(xiàn)狀的分析,目前IT基礎(chǔ)架構(gòu)有以下幾個(gè)問(wèn)題亟
待解決:
?服務(wù)器的利用率低?,F(xiàn)在機(jī)房?jī)?nèi)運(yùn)行的大部分機(jī)器的利用率都非常低,由于
一臺(tái)服務(wù)器只能有一個(gè)操作系統(tǒng),受系統(tǒng)和軟件開(kāi)發(fā)平臺(tái)的限制,CPU、內(nèi)
存、硬盤空間的資源利用率都很低,大量的系統(tǒng)資源被閑置。
?可管理性差。首先是可用性低,幾乎每個(gè)應(yīng)用服務(wù)器都是單機(jī),如果某臺(tái)服
務(wù)器出現(xiàn)故障,相對(duì)應(yīng)的業(yè)務(wù)也將中斷。其次是當(dāng)硬件需要維護(hù)、升級(jí)或出
現(xiàn)硬件故障時(shí),上層業(yè)務(wù)系統(tǒng)均會(huì)出現(xiàn)較長(zhǎng)時(shí)間的中斷,影響業(yè)務(wù)的連續(xù)性,
其中包括一些重要業(yè)務(wù)系統(tǒng),一旦中斷服務(wù)影響很大,未來(lái)數(shù)據(jù)中心搬遷時(shí)
會(huì)更加麻煩。
?兼容性差。系統(tǒng)和應(yīng)用遷移到其他服務(wù)器,需要和舊系統(tǒng)兼容的系統(tǒng)。新的
軟件包括操作系統(tǒng)和應(yīng)用軟件無(wú)法運(yùn)行在老的硬件平臺(tái),而老的代碼有時(shí)候
也很難移植到新的硬件平臺(tái)上。例如:由于各種資源數(shù)據(jù)庫(kù)不同公司分別開(kāi)
發(fā),需要的運(yùn)行的軟硬平臺(tái)很多時(shí)候不能保證兼容。為節(jié)省時(shí)間、物力和保
持系統(tǒng)部署的順利,只能用增加服務(wù)器單獨(dú)部署的方法來(lái)解決。
?服務(wù)器和存儲(chǔ)購(gòu)置成本高,維護(hù)成本遞增,也不得不考慮。隨著應(yīng)用的不斷
增加,服務(wù)器數(shù)量也跟著增加,每年要支出高額購(gòu)置費(fèi)用不說(shuō),還有部分服
務(wù)器已經(jīng)過(guò)保修期,部件逐漸進(jìn)入老化期,維護(hù)、維修預(yù)算費(fèi)用也逐年增加。
?對(duì)業(yè)務(wù)需求無(wú)法做到及時(shí)響應(yīng),靈活性差。當(dāng)有新的應(yīng)用需要部署時(shí),需要
重新部署服務(wù)器,存儲(chǔ)系統(tǒng),并需要對(duì)網(wǎng)絡(luò)系統(tǒng)進(jìn)行調(diào)整以適應(yīng)新的n■應(yīng)
用的需求。
?目前為每套生產(chǎn)系統(tǒng),在開(kāi)發(fā)測(cè)試中心均要保留一套開(kāi)發(fā)測(cè)試環(huán)境,造成了
資源很大的浪費(fèi)。
通過(guò)使用VMware的服務(wù)器虛擬化技術(shù),上述這些問(wèn)題可以得到很好地解決,它可
以提高資源利用率,降低能耗,具有更好的可用性與安全性??墒牵m然服務(wù)器虛擬
化可以解決XXX客戶現(xiàn)有數(shù)據(jù)中心的諸多問(wèn)題,但隨著虛擬化的引入,現(xiàn)有的傳統(tǒng)運(yùn)
維管理方式已經(jīng)不能滿足虛擬化環(huán)境對(duì)運(yùn)維管理的需求,現(xiàn)有的這些運(yùn)維方法在新環(huán)
境下存在諸多的挑戰(zhàn),使用起來(lái)也將顯得捉襟見(jiàn)肘,接下來(lái)的部分將對(duì)這些挑戰(zhàn)進(jìn)行
分析。
7
vmware"
現(xiàn)有的傳統(tǒng)管理工具和方法是為了支持孤立的計(jì)算環(huán)境而設(shè)計(jì)的,因此IT團(tuán)隊(duì)面
臨著如何利用傳統(tǒng)管理工具和方法有效地支持新的動(dòng)態(tài)IT基礎(chǔ)設(shè)造(虛擬化壞境)的
挑戰(zhàn),這些挑戰(zhàn)主要包括如下四個(gè)方面。
第一,虛擬化環(huán)境中有大量的數(shù)據(jù)需要管理,相對(duì)于物理環(huán)境而言,管理員可管
理的虛擬機(jī)數(shù)量要多出達(dá)5~10倍,服務(wù)器和變更的數(shù)量也明顯增多。這些都使得IT
專業(yè)人員在嘗試部署新的虛擬化管理計(jì)劃時(shí)要面對(duì)重重困難。同時(shí),環(huán)境中的偽警報(bào)
數(shù)量大幅度增加,使得客戶非常難以應(yīng)對(duì)其環(huán)境所面臨的挑戰(zhàn)和性能問(wèn)題?,F(xiàn)有的運(yùn)
維管理方法已經(jīng)無(wú)法保證管理員可以高效地管理如此大量的數(shù)據(jù)并對(duì)問(wèn)題做出快速地
響應(yīng)。因此,新的運(yùn)維管理方法需要提供整個(gè)基礎(chǔ)架構(gòu)和應(yīng)用的運(yùn)行狀況、風(fēng)險(xiǎn)和效
率的全面可見(jiàn)性,并可以提高管理員對(duì)問(wèn)題的響應(yīng)速度。
傳統(tǒng)IT管理
監(jiān)控?cái)?shù)據(jù)
過(guò)戮警報(bào)風(fēng)暴
過(guò)度調(diào)配相互指責(zé)
圖:當(dāng)前的傳統(tǒng)運(yùn)維管理方式
第二,對(duì)于虛擬化平臺(tái)的管理員而言,工作中遇到的問(wèn)題大多是性能方面的問(wèn)題,
處理性能問(wèn)題所花費(fèi)的精力大約占到全部管理任務(wù)的80%,要迅速定位并解決性能問(wèn)
題,需要高效的工具來(lái)輔助,單純地使用“紅黃綠”三色交通燈的性能指示是無(wú)法迅速地
解決這些性能問(wèn)題的。因此,這就需要一種主動(dòng)管理基礎(chǔ)架構(gòu)和應(yīng)用性能而不是被動(dòng)
監(jiān)控的解決方案。
第三,管理員在使用虛擬化平臺(tái)時(shí)會(huì)面對(duì)兩個(gè)對(duì)立的目標(biāo):一方面,要盡可能地
增加虛擬機(jī)的密度以充分利用硬件平臺(tái)的處理能力,增加投資回報(bào)。另一方面,虛擬
化的主要特征就是資源池化,資源整合以后,調(diào)配資源的靈活性大大提高,但同時(shí)也
對(duì)性能和容量的管理帶來(lái)了更大的挑戰(zhàn),如果不能有效地管理資源分配,則可能出現(xiàn)
資源濫用,資源匱乏等情況。實(shí)際的生產(chǎn)環(huán)境中一個(gè)比較常見(jiàn)的問(wèn)題就是容量“過(guò)度
調(diào)配”和硬件利用率低下,它會(huì)損害組織最初在節(jié)約成本方面尋求的核心價(jià)值,同時(shí)
它還會(huì)使組織無(wú)法實(shí)現(xiàn)最初部署虛擬化和云計(jì)算時(shí)所尋求的敏捷性。因此,這就需要
推動(dòng)更高的整合率,管理員需要隨時(shí)保證業(yè)務(wù)增長(zhǎng)對(duì)性能和容量的要求。
第四,現(xiàn)有的運(yùn)維模式容易導(dǎo)致大家相互指責(zé),同時(shí)無(wú)法迅速查明問(wèn)題的源頭、
在哪方面需要立即采取措施,以及如何盡快恢復(fù)服務(wù)。為了解決這個(gè)問(wèn)題,新的運(yùn)維
管理方法應(yīng)該能夠幫助管理員高效地定位問(wèn)題的根源,它應(yīng)該可以快速地縮小問(wèn)題的
范圍,迅速定位問(wèn)題所屬的范疇,例如:計(jì)算,存儲(chǔ),網(wǎng)絡(luò)等。
8
vmware"
下圖顯示的是在一項(xiàng)調(diào)查中,眾多已經(jīng)部署虛擬化的客戶選出的他們?cè)谶\(yùn)維管理
方面所面臨的主要難題,這項(xiàng)數(shù)據(jù)從另一方面展示了現(xiàn)有的傳統(tǒng)運(yùn)維管理方法在虛擬
化環(huán)境下存在的主要問(wèn)題。
雷s為下??一事星,您也軼■務(wù)■*歸化使用《ix的■大■aar
?”,.可蜃七個(gè)逸事)
圖:虛擬化環(huán)境下運(yùn)維管理的棘手問(wèn)題
通過(guò)上圖可以看出,容量監(jiān)控與規(guī)劃,協(xié)同合作,性能問(wèn)題定位與調(diào)優(yōu)以及根本
原因定位是客戶在虛擬化環(huán)境下進(jìn)行運(yùn)維管理所面臨的主要難題。
由于傳統(tǒng)運(yùn)維管理方法在虛擬化環(huán)境下存在上述諸多不足,因此,運(yùn)維管理方面
的新需求應(yīng)運(yùn)而生,這些需求可以從如下兩個(gè)方面進(jìn)行概括。
緡甄問(wèn)圖的平均然決時(shí)間(MTTR)
■凝昌基城設(shè)施和應(yīng)用的可見(jiàn)性
服務(wù)質(zhì)■
■主動(dòng)預(yù)防問(wèn)題
?迅速*決影晌業(yè)旁的問(wèn)融
得低資金成本和運(yùn)堆成本
運(yùn)堆效率?優(yōu)化資源利用以防止購(gòu)買不必要的資源
?捷高團(tuán)隊(duì)奴率和W管理員比率
圖:虛擬化環(huán)境對(duì)運(yùn)維管理的新需求
首先,新的方案應(yīng)該能夠保證服務(wù)質(zhì)量,能夠迅速縮短問(wèn)題的平均解決時(shí)間、提
高基礎(chǔ)設(shè)施和應(yīng)用的可見(jiàn)性、能夠主動(dòng)快速解決影響業(yè)務(wù)的問(wèn)題,這些都是客戶所追
求的基本能力,因?yàn)檫@個(gè)能力直接關(guān)系著服務(wù)的質(zhì)量。
9
vmware"
其次,新的方案應(yīng)該可以像虛擬化的早期階段一樣,在降低資金開(kāi)銷和運(yùn)維開(kāi)銷
方面獲得收益。這意味著該方案不僅需要優(yōu)化壞境中的計(jì)算資源,同時(shí)也需要優(yōu)化該
環(huán)境中的人力資源。
VMware的服務(wù)器虛擬化與運(yùn)維管理(vSpherewithOperationsManagement,
vSOM)解決方案不僅可以幫助客戶很好地完成服務(wù)器虛擬化的目標(biāo),同時(shí)還可以解決
上述這些虛擬化環(huán)境下運(yùn)維管理的問(wèn)題,提供整個(gè)虛擬化環(huán)境的可見(jiàn)性,最大限度提
高容量利用率和運(yùn)營(yíng)性能。
除了上述這些在服務(wù)器虛擬化后會(huì)立即顯現(xiàn)的運(yùn)維管理問(wèn)題外,從長(zhǎng)遠(yuǎn)來(lái)看,盡
早地采用VMware提供的運(yùn)維管理方法也是大勢(shì)所趨,越早采用,越早受益。這是因
為目前市場(chǎng)上的VMware虛擬化程度大約在65%以上,隨著虛擬化比率的不斷提高,
客戶也在不斷擴(kuò)大對(duì)虛擬化功能的運(yùn)用范圍,開(kāi)始采用軟件定義的存儲(chǔ)以及網(wǎng)絡(luò)與安
全模式,從而逐步完全過(guò)渡到軟件定義的數(shù)據(jù)中心(SoftwareDelinedDataCenter,
SDDC)o
而這一轉(zhuǎn)變使得IT部門能夠轉(zhuǎn)變運(yùn)維方式,從本質(zhì)上被動(dòng)反應(yīng)也就是往往需要竭
力應(yīng)付業(yè)務(wù)需求并面對(duì)日益積壓的應(yīng)用請(qǐng)求的部門,轉(zhuǎn)變?yōu)橹鲃?dòng)創(chuàng)新的部門,將節(jié)約
的IT資源重新投入到有助于實(shí)現(xiàn)關(guān)鍵業(yè)務(wù)目標(biāo)的新應(yīng)用、服務(wù)和計(jì)劃中去。主動(dòng)創(chuàng)新
的部門更能與業(yè)務(wù)目標(biāo)保持一致,并且對(duì)企業(yè)的發(fā)展、創(chuàng)新和競(jìng)爭(zhēng)能力起著更為關(guān)鍵
的作用。
可見(jiàn),無(wú)論是對(duì)眼前問(wèn)題的考慮,還是著眼于長(zhǎng)遠(yuǎn)的效益,盡早使用VMware高
效的運(yùn)維管理方法都是一個(gè)必然的選擇,而VMware的服務(wù)器虛擬化與運(yùn)維管理解決
方案(vSOM)是這一選擇的最佳起點(diǎn)。下面的章節(jié)將從方案概述、整體規(guī)劃設(shè)計(jì)、服
務(wù)器虛擬化解決方案、運(yùn)維管理解決方案、方案優(yōu)勢(shì)總結(jié)等方面對(duì)該方案進(jìn)行全面地
分析與介紹。
10
vmware"
2VMware服務(wù)器虛擬化與運(yùn)維管理解決方案概述
隨著服務(wù)器虛擬化的持續(xù)發(fā)展,用戶需要主動(dòng)型管理解決方案來(lái)清晰地了解自己
的業(yè)務(wù)運(yùn)行健康狀況,虛擬數(shù)據(jù)中心的工作負(fù)載容量和性能,以確保高效利用資源,
并防止出現(xiàn)影響業(yè)務(wù)的故障和性能問(wèn)題。而VMware的服務(wù)器虛擬化與運(yùn)維管理解決
方案(vSpherewithOperationsManagement,vSOM)將全球領(lǐng)先的虛擬化平臺(tái)與
一流的管理功能相結(jié)合,它可以使用戶了解整個(gè)虛擬化環(huán)境的運(yùn)營(yíng)狀況,實(shí)現(xiàn)性能提
升,同時(shí)優(yōu)化容量,確保關(guān)鍵應(yīng)用的穩(wěn)定健康運(yùn)行。
借助vSOM,用戶可以使用單一控制臺(tái)來(lái)優(yōu)化容量和監(jiān)控工作負(fù)載性能,例如:
用戶能夠回收未使用的容量、將虛擬機(jī)調(diào)整至適度規(guī)模、改善利用率并提高整合率,
從而充分利用虛擬化平臺(tái)。vSOM支持來(lái)自1,650多家ISV合作伙伴的3,000多個(gè)
應(yīng)用,它為虛擬化關(guān)鍵業(yè)務(wù)應(yīng)用提供了最廣泛的選擇。
vSOM是一款包含了vSphere與vRealizeOperations標(biāo)準(zhǔn)版的解決方案套件,它
高度集成了全球最可靠的虛擬化平臺(tái)與強(qiáng)大的自動(dòng)化運(yùn)維管理工具。
vRealizeOperations
+強(qiáng)大的自動(dòng)化運(yùn)椎管理
+降低運(yùn)帷成本
+保持SLA級(jí)別
獲得控制力和可見(jiàn)性
圖:vSOM高度集成了vSphere與vRealizeOperations
vSOM是一個(gè)托管式虛擬化平臺(tái),其中,vCenterServer從vSphere主機(jī)收集實(shí)
時(shí)性能數(shù)據(jù)并將數(shù)據(jù)存儲(chǔ)在vCenter數(shù)據(jù)庫(kù)中,同時(shí)保留歷史數(shù)據(jù)匯總信息。
vRealizeOperations則從vCenter收集指標(biāo),并提供對(duì)IT基礎(chǔ)架構(gòu)的運(yùn)行狀況、風(fēng)險(xiǎn)
和效率的全面和深入地分析,同時(shí)將這些信息以圖形化的方式展現(xiàn)出來(lái)。
11
vmware"
PerformanceCapacityMonitoring
圖:vSOM體系結(jié)構(gòu)
下面將分別對(duì)vSOM的服務(wù)器虛擬化與運(yùn)維管理解決方案進(jìn)行介紹。
2.1服務(wù)器虛擬化解決方案
VMware的服務(wù)器虛擬化解決方案vSphere是業(yè)界領(lǐng)先的用于構(gòu)建云計(jì)算基礎(chǔ)架
構(gòu)的虛擬化平臺(tái)。它使得R■能以最低的TCO(總體擁有成本)滿足要求最嚴(yán)格的關(guān)
鍵業(yè)務(wù)應(yīng)用的SLA。
vSphere通過(guò)在計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)、可用性、安全和自動(dòng)化筆方面提供的一整套
應(yīng)用和基礎(chǔ)架構(gòu)服務(wù)實(shí)現(xiàn)了一個(gè)完整、高效,安全的虛擬化平臺(tái)。vSphere所提供的
服務(wù)如下圖所示。
12
vmware"
VMwarevSphere虛擬化平臺(tái)
可用性安全保護(hù)自動(dòng)化
?DataProtection?VMwarevShield?DRS/StorageDPS
?ReplicationEndpoint?配置文件董功的存傅
?vMotk>n/StOf?{je?安全API?AutoDeploy
vMotlon?I/O控制
?XlghAvailability
?FaultTolerance
圖:VMwarevSphere虛擬化平臺(tái)
vSphere具有如下的優(yōu)勢(shì)。
?通過(guò)提高利用率和實(shí)現(xiàn)自動(dòng)化獲得高效率:可實(shí)現(xiàn)15:1或更高的整合率,
將硬件利用率從5%?15%提高到80%甚至更高,而且無(wú)需犧牲性能。
?大幅降低IT成本:可使資金開(kāi)銷最多減少70%,并使運(yùn)營(yíng)開(kāi)銷最多減少
30%,從而為vSphere上運(yùn)行的每個(gè)應(yīng)用降低20%~30%的IT基礎(chǔ)架構(gòu)成
本。
?兼具敏捷性和可控性:能夠快速響應(yīng)不斷變化的業(yè)務(wù)需求,而又不犧牲安全
性或控制力,并且為vSphere上運(yùn)行的所有關(guān)鍵業(yè)務(wù)應(yīng)用提供零接觸式基
礎(chǔ)架構(gòu),并內(nèi)置可用性、可擴(kuò)展性和性能保證。
?可自由選擇:借助基于標(biāo)準(zhǔn)的通用平臺(tái),可以充分利用各種現(xiàn)有IT資產(chǎn)及
新一代IT服務(wù),而通過(guò)開(kāi)放式API,可借助來(lái)自全球領(lǐng)先技術(shù)提供商體系
的解決方案使vSphere提供更強(qiáng)大的功能。
作為一款先進(jìn)的虛擬化平臺(tái),vSphere擁有如上諸多的優(yōu)勢(shì),但是,僅僅使用
vSphere會(huì)存在一些運(yùn)維管理方面的不足,例如:性能優(yōu)化與容量管理。這些不足使
得vSphere的優(yōu)勢(shì)不能夠完全發(fā)揮出來(lái)。因此,為了將vSphere的優(yōu)勢(shì)發(fā)揮到極致,
一套與之緊密結(jié)合的運(yùn)維管理工具是必不可少的。
而vSOM是vSphere與vRealizeOperations標(biāo)準(zhǔn)版的集合,它除了可以高效地
完成服務(wù)器虛擬化,讓整個(gè)數(shù)據(jù)中心更加地靈活,敏捷,高效外,還可以深度監(jiān)控整
個(gè)IT基礎(chǔ)架構(gòu)的容量與性能,可以實(shí)現(xiàn)更高的容量利用率、整合率和硬件節(jié)約,同時(shí)
還可以縮短問(wèn)題診斷和解決的時(shí)間,避免業(yè)務(wù)受到影響,下面將介紹vSOM所提供的
運(yùn)維管理解決方案。
2.2虛擬化環(huán)境下的運(yùn)維管理解決方案
vSOM中的vRealizeOperations標(biāo)準(zhǔn)版提供了虛擬化環(huán)境下的運(yùn)維管理解決方案。
>功能特性
13
vmware"
vSOM的運(yùn)維管理解決方案具有如下的功能特性。
?一致性管理
■統(tǒng)一的命令控制臺(tái):讓用戶能夠查看用可輕松識(shí)別的彩色徽標(biāo)來(lái)表示
的關(guān)鍵性能指標(biāo),以全面了解哪些因素可能導(dǎo)致當(dāng)前和將來(lái)的潛在性
能和容量管理問(wèn)題。
-預(yù)測(cè)性分析:借助600多個(gè)vSphere性能指標(biāo)獲得全面可見(jiàn)性,從而
管理運(yùn)維狀況和風(fēng)險(xiǎn)。
■性能監(jiān)控和容量管理:可分析vCenterServer的性能數(shù)據(jù)并創(chuàng)建動(dòng)態(tài)
閾值,用于提供有關(guān)運(yùn)行狀況降級(jí)、性能瓶頸和容量短缺的智能警報(bào)。
?智能運(yùn)維
?應(yīng)用感知能力和依賴關(guān)系映射:簡(jiǎn)化影響分析,讓用戶能更輕松地確
定根本原因。擬定全面的災(zāi)難恢復(fù)計(jì)劃。
■存儲(chǔ)分析:利用對(duì)虛擬和物理存儲(chǔ)基礎(chǔ)架構(gòu)拓?fù)涞纳钊肓私?,輕松識(shí)
別配置錯(cuò)誤、資源匱乏情況和性能問(wèn)題.
?高級(jí)容量建模:保存“假設(shè)”場(chǎng)景并將容量模型提交給分析引擎,以提供
更好的容量計(jì)算和智能警報(bào)。
■實(shí)時(shí)日志分析:主動(dòng)進(jìn)行故障排除并改進(jìn)根本原因分析。
■智能均衡工作負(fù)載:直觀顯示跨集群、vCenter和數(shù)據(jù)中心的工作負(fù)載
的容量利用率。均衡計(jì)劃能夠就工作負(fù)載的安置提出最合理的建議,
并與DRS集成以均衡不同集群間的工作負(fù)載。
?運(yùn)維自動(dòng)化
?引導(dǎo)式修復(fù):對(duì)問(wèn)題進(jìn)行簡(jiǎn)要可行的說(shuō)明,并提出糾正措施建議。
-自動(dòng)容量?jī)?yōu)化:通過(guò)自動(dòng)容量?jī)?yōu)化和規(guī)劃來(lái)提高資源利用率。
?自動(dòng)強(qiáng)制實(shí)施標(biāo)準(zhǔn):自動(dòng)檢測(cè)和強(qiáng)制實(shí)施標(biāo)準(zhǔn),以確保合規(guī)性。
?集中控制和主動(dòng)資源優(yōu)化
■簡(jiǎn)單部署:可標(biāo)準(zhǔn)化和簡(jiǎn)化用戶vSphere主機(jī)部署的配置和管理方式。
■集中控制:支持通過(guò)任意瀏覽器管理vSphere的重要功能。
■主動(dòng)資源優(yōu)化:管理分配給相同物理服務(wù)器上的多個(gè)虛擬機(jī)的處理器
和內(nèi)存資源。
?工作流編排
■工作流創(chuàng)建:使用工作流編排捕獲關(guān)鍵服務(wù)器管理流程,將其作為最
佳實(shí)踐。
■加速實(shí)現(xiàn)流程自幼化:使用即時(shí)可用的工作流,以及VMware和合作
伙伴提供的vRealizeOrchestrator工作流和插件。
■強(qiáng)大的管理功能:可擴(kuò)展插件、集中管理腳本以及與流程相關(guān)的基元,
并能夠?qū)С龉ぷ髁鳌?/p>
?工作負(fù)載容量?jī)?yōu)化和性能
14
vmware"
-容量?jī)?yōu)化:確保適當(dāng)調(diào)整環(huán)境的規(guī)模,從而滿足用戶的需求。
?性能監(jiān)控:在終端用戶受到影響之前識(shí)別新出現(xiàn)的問(wèn)題。
■運(yùn)維可見(jiàn)性:支持自定義儀表盤,并提供基于角色的訪問(wèn),以實(shí)現(xiàn)更
有效的協(xié)作。
vSOM的運(yùn)維管理解決方案的管理界面可以顯示虛擬基礎(chǔ)設(shè)施的健康狀態(tài)、風(fēng)險(xiǎn)
和效率。此外,管理界面還可以顯示當(dāng)前虛擬基礎(chǔ)架構(gòu)中各節(jié)點(diǎn)(可以在vCenter級(jí)
別,數(shù)據(jù)中心級(jí)別,集群級(jí)別,ESXi主機(jī)級(jí)別以及虛擬機(jī)級(jí)別上顯示節(jié)點(diǎn)信息)的資
源使用情況和資源需求情況,并以數(shù)字的形象直觀地呈現(xiàn)負(fù)載的高低。對(duì)于主要的環(huán)
境資源,包括CPU,內(nèi)存,網(wǎng)絡(luò)以及存儲(chǔ)等,進(jìn)行使用情況匯總,
圖:vSOM運(yùn)維管理的基本界面
>vSOM提升了vSphere的價(jià)值
如果只使用vSphere,用戶可以節(jié)約28%的運(yùn)維成本,如果在vSphere環(huán)境下使
用vReali7eOperations,那么可以節(jié)約50%的運(yùn)維成本,因此,
Operations可以大幅提升vSphere的價(jià)值。
15
vmware"
vROps提升了vSphere的價(jià)值
+50%
吊
護(hù)
/
箕+28%
-H
未使用使用使用vSphere
VMwarevSphere和vROps
圖:vRealizeOperations提升了vSphere的價(jià)值
ManagementInsightTechnologies對(duì)vSOM的調(diào)查研究表明,vSOM可以使客
戶獲得比單獨(dú)運(yùn)行vSphere更多的好處,一些主要的優(yōu)勢(shì)提升數(shù)據(jù)如下:
?提高基礎(chǔ)架構(gòu)和應(yīng)用可用性
?將應(yīng)用的停機(jī)時(shí)間減少36%
?將故障診斷和解決問(wèn)題的時(shí)間減少26%
?降低成本
?實(shí)現(xiàn)約雙倍的vSphereIT成本節(jié)約
?提高容量利用率
■將vSphere容量利用率提高40%,將整合率提高37%
vSOM相對(duì)于單獨(dú)使用vSphere所帶來(lái)的運(yùn)維成本收益,如下圖所示。
Downtime:tier1apps
E
E
0
STimeonconfigurationmgt
3■AvgimprovementfromvSphere
&qATimeondiagnostics&problem
p
sapresolution
>l
<lTimeonincidentyIncrementalimprovementfromvCenter
do
aisdation/remediationOperationsManagementSuite
Timeonpatch&changemgt
Timeoncompliancemgt
圖:在vSphere環(huán)境下部署vRealizeOperations所帶來(lái)的運(yùn)維收益
16
vmware"
除了可以節(jié)約運(yùn)維成本,vSOM在關(guān)鍵性能指標(biāo)上,相對(duì)于單獨(dú)使用vSphere都
提高了30%?40%,具體的性能收益數(shù)據(jù)如卜圖所不。
■AvgimprovementfromvSphere
4IncrementalimprovementfromvCenter
OperationsManagementSuite
圖:在vSphere環(huán)境下部署vRealizeOperations所帶來(lái)的性能收益
可見(jiàn),無(wú)論在降低運(yùn)維成本還是提高整體性能方面,vSOM都可以在很大程度上
提升vSphere的價(jià)值,它擁有單獨(dú)部署vSphere所無(wú)法比擬的優(yōu)勢(shì)。
2.3版本比較
vSOM分為標(biāo)準(zhǔn)版,企業(yè)版與企業(yè)增強(qiáng)版三個(gè)版本,各版本的功能特性對(duì)比如下
圖所示。
17
vmware*
版本STANDARDENTERPRISEENTERPRISEPLUS
概述服務(wù)器整合、業(yè)務(wù)連續(xù)性和一致資源負(fù)載平衡和一致的運(yùn)線管理可增強(qiáng)應(yīng)用可用性和性能,并提
的運(yùn)維管理供一致的運(yùn)維管理
產(chǎn)品組件
許可證授權(quán)數(shù)■及CPU15?按CPU?l?按CPU?l?
vSphere版本StandardEnterpriseEnterprisePlus
vRealize~Operations?版本StandardStandard,具有附加功能Standard,具有附加功能
云計(jì)算API集成
VMwareIntegratedOpenStack對(duì)VMwareIntegratedOpenStack
的技術(shù)支持服務(wù)需單獨(dú)購(gòu)買
產(chǎn)品功能特性
性能監(jiān)控與分析
vSphere性能和運(yùn)行狀況監(jiān)控???
自學(xué)式性能分析和動(dòng)態(tài)閾值■??
根本原因分析和建議???
運(yùn)堆可見(jiàn)性和管理
預(yù)測(cè)分析和智能警報(bào)???
智能運(yùn)維團(tuán)隊(duì)和靈活的運(yùn)維策略*??
綜合運(yùn)維儀表盤和報(bào)告???
策略管理■??
引導(dǎo)式修復(fù)*??
自動(dòng)修正??
容量管理
容?計(jì)用、趨勢(shì)分析、適當(dāng)調(diào)整
規(guī)模和資源優(yōu)化???
場(chǎng)景、建模、警報(bào)和報(bào)告???
工作負(fù)栽管理
工作負(fù)載平衡計(jì)劃??
可行的移動(dòng)操作???
重新平衡操作??
容?利用率儀表盤
溫馨提示
- 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 保育員填空題題目及答案
- 苗疆蠱術(shù)考試題目及答案
- 面試題關(guān)于改革的題目及答案
- 養(yǎng)老院老人生活照顧制度
- icd 10理論考試題目及答案
- 養(yǎng)老院老人緊急救援人員培訓(xùn)制度
- 養(yǎng)老院老人健康監(jiān)測(cè)服務(wù)質(zhì)量管理制度
- 養(yǎng)老院環(huán)境保護(hù)管理制度
- 辦公室員工保密承諾制度
- 鐵路施工三會(huì)制度
- 單杠引體向上教學(xué)課件
- 高級(jí)消防設(shè)施操作員試題及答案-1
- 2025年海南省政府采購(gòu)評(píng)審專家考試題庫(kù)(含答案)
- 綿陽(yáng)普通話考試題目含答案
- 國(guó)企財(cái)務(wù)審批管理辦法
- 新型農(nóng)業(yè)經(jīng)營(yíng)主體法律制度完善研究
- 高中國(guó)際班數(shù)學(xué)試卷
- 北京市2019-2024年中考滿分作文131篇
- 2024-2025學(xué)年湖北省武漢市常青聯(lián)合體高二上學(xué)期期末考試語(yǔ)文試題(解析版)
- xx中學(xué)十五五發(fā)展規(guī)劃(2025-2030)
- 快遞保證金合同協(xié)議
評(píng)論
0/150
提交評(píng)論