版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
桌面云建設(shè)方案
第一章項(xiàng)目概述...................................................錯(cuò)誤!未定義書簽。
1.1項(xiàng)目背景....................................................錯(cuò)誤!未定義書簽。
1.2項(xiàng)目要到達(dá)的目標(biāo)............................................錯(cuò)誤!未定義書簽。
第二章桌面云顧客調(diào)研以及產(chǎn)品需求分析.............................錯(cuò)誤!未定義書簽。
2.1桌面云顧客調(diào)研..............................................錯(cuò)誤!未定義書簽。
2.2桌面云存儲(chǔ)需求分析及產(chǎn)品簡(jiǎn)介................................錯(cuò)誤!未定義書簽。
2.2.1存儲(chǔ)設(shè)計(jì)基本原則...........................................錯(cuò)誤!未定義書簽。
2.2.2概念解釋................................................錯(cuò)誤!未定義書簽。
223IOPS及存儲(chǔ)空間計(jì)算原則:................................錯(cuò)誤!未定義書簽。
2.24存儲(chǔ)系統(tǒng)產(chǎn)品簡(jiǎn)介..........................................錯(cuò)誤!未定義書簽。
2.3網(wǎng)絡(luò)安全需求分析及產(chǎn)品簡(jiǎn)介..................................錯(cuò)誤!未定義書簽。
2.3.1網(wǎng)絡(luò)產(chǎn)品簡(jiǎn)介............................................錯(cuò)誤!未定義書簽。
2.4服務(wù)器需求分析..............................................錯(cuò)誤!未定義書簽。
2.4.1服務(wù)器產(chǎn)品簡(jiǎn)介..........................................錯(cuò)誤!未定義書簽。
2.5桌面云統(tǒng)一備份需求分析......................................錯(cuò)誤!未定義書簽。
2.51備份產(chǎn)品簡(jiǎn)介.............................................錯(cuò)誤!未定義書簽。
第三章桌面云軟件架構(gòu)設(shè)計(jì).........................................錯(cuò)誤!未定義書簽。
3.1集群CLUSTER設(shè)計(jì)...........................................錯(cuò)誤!未定義書簽。
3.2桌面池設(shè)計(jì)..................................................錯(cuò)誤!未定義書簽。
3.3顧客數(shù)據(jù)分級(jí)存儲(chǔ)規(guī)則........................................錯(cuò)誤!未定義書簽。
3.4整體規(guī)劃表.................................................錯(cuò)誤!未定義書簽。
第四章、桌面云基礎(chǔ)架構(gòu)設(shè)計(jì)........................................錯(cuò)誤!未定義書簽。
4.1桌面云方案基礎(chǔ)架構(gòu)設(shè)計(jì)......................................錯(cuò)誤!未定義書簽。
4.2虛擬化存儲(chǔ)區(qū)域設(shè)計(jì)..........................................錯(cuò)誤!未定義書簽。
4.2.1存儲(chǔ)網(wǎng)絡(luò)................................................錯(cuò)誤!未定義書簽。
4.2.2分級(jí)存儲(chǔ)設(shè)計(jì)............................................錯(cuò)誤!未定義書簽。
4.2.3存儲(chǔ)虛擬化..............................................錯(cuò)誤!未定義書簽。
4.2.4存儲(chǔ)詳細(xì)劃分規(guī)則:......................................錯(cuò)誤!未定義書簽。
4.3虛擬化服務(wù)器區(qū)域規(guī)劃........................................錯(cuò)誤!未定義書簽。
4.3.1UCSManager版本選擇....................................錯(cuò)誤!未定義書簽。
4.3.2UCSManager管理IP地址規(guī)劃.............................錯(cuò)誤!未定義書簽。
4.3.3UCSEthernet端口規(guī)劃....................................錯(cuò)誤!未定義書簽。
4.3.4UCSQoS規(guī)劃...........................................錯(cuò)誤!未定義書簽。
4.3.5服務(wù)器配置文件設(shè)計(jì)......................................錯(cuò)誤!未定義書簽。
4.4虛擬化網(wǎng)絡(luò)區(qū)域..............................................錯(cuò)誤!未定義書簽。
4.4.1概念解釋................................................錯(cuò)誤!未定義書簽。
4.4.2網(wǎng)絡(luò)拓?fù)湓O(shè)計(jì)............................................錯(cuò)誤!未定義書簽。
4.43Nexus7010設(shè)計(jì)...........................................錯(cuò)誤!未定義書簽。
4.5NEXUS1000V的設(shè)計(jì)..........................................錯(cuò)誤!未定義書簽。
加強(qiáng)企業(yè)信息意外或惡意盜取日勺保護(hù),并加強(qiáng)數(shù)據(jù)保護(hù)方面日勺法規(guī)遵
從。
為最終顧客提供經(jīng)濟(jì)有效的業(yè)務(wù)持續(xù)性支持。
最終顧客目標(biāo):
顧客可以可靠地,迅速地,靈活地訪問業(yè)務(wù)應(yīng)用和個(gè)人數(shù)據(jù)。
顧客可以靈活地訪問企業(yè)的業(yè)務(wù)應(yīng)用,不受客戶端和網(wǎng)絡(luò)環(huán)境限制的
訪問個(gè)人桌面。
在數(shù)據(jù)和負(fù)載高口勺狀況下仍然可以支持靈活日勺工作方式,不占用大量
H勺帶寬并且不影響到當(dāng)?shù)赜?jì)算機(jī)處理能力。
自動(dòng)備份數(shù)據(jù)和文件。
處理問題更迅速。
可以在最短口勺時(shí)間內(nèi)恢復(fù)工作,在設(shè)備損壞H勺狀況下實(shí)現(xiàn)最小或沒有
數(shù)據(jù)丟失
IT部門目標(biāo):
根據(jù)最終顧客需求提供更好,更快日勺支持,包括:變更,補(bǔ)丁和升級(jí)
等支持
降低維護(hù)成本,并很好地支持最終顧客復(fù)雜需求,尤其在支持中心服
務(wù)。盡量減少現(xiàn)場(chǎng)支持水平。
較少的漏洞,更有效地保護(hù)企業(yè)數(shù)據(jù)、改善法規(guī)遵從。
提高企業(yè)整個(gè)資產(chǎn)管理與軟件許可證管理。
靈活性與可用性:
?由于案面機(jī)規(guī)定統(tǒng)一服務(wù),并存在全球性服務(wù)規(guī)定,因此一種虛
擬桌面服務(wù)H勺關(guān)鍵要素是“全天候”,既必須提供24小時(shí)服
務(wù)。
?定期性維修需要提前予以公布,并安排在周末時(shí)間(使用區(qū)域的
清晨或傍晚時(shí))。
?功能性規(guī)定還包括匯報(bào)機(jī)制,交付經(jīng)理不僅供應(yīng)可用時(shí)間,還要
提供故障數(shù)量,停機(jī)頻率和平均無端障時(shí)間。
訪問控制:
?虛擬桌面環(huán)境將可從企業(yè)內(nèi)部網(wǎng)絡(luò)方問。而且可以提供遠(yuǎn)程員工
的支持,不管是雇員或合作伙伴,從而使虛擬桌面服務(wù)超過企業(yè)
的邊界。這將需要建立一套訪問控制體系提供組織內(nèi)及周圍口勺實(shí)
現(xiàn)。因?yàn)樘摂M桌面日勺關(guān)鍵是沒有這個(gè)訪問控制日勺。
?這種虛擬桌面不提議顧客脫機(jī)工作荻執(zhí)行密集的圖形功能。
授權(quán)管理:
?安全授權(quán)機(jī)制是一種虛擬桌面服務(wù)。勺關(guān)鍵基礎(chǔ)。顧客帳戶,組組
員身份和權(quán)限控制可通過專用日勺或既有日勺企業(yè)授權(quán)管理實(shí)現(xiàn)。在
這個(gè)虛擬桌面版本里支持的服務(wù)是微軟日勺ActiveDirectory
客戶端設(shè)備:
?虛擬桌面服務(wù)將使用互聯(lián)網(wǎng)絡(luò)瘦客戶機(jī)設(shè)備,和老式的臺(tái)式機(jī)或
筆記本電腦。虛擬桌面可以有選擇地提供對(duì)臺(tái)式機(jī)或筆記本電腦
的USB設(shè)備擁有訪問權(quán)限。
操作系統(tǒng)與應(yīng)用:
?虛擬桌面服務(wù)日勺關(guān)鍵業(yè)務(wù)將支持操作系統(tǒng)WindowsXP專業(yè)版和
Windows7o安裝介質(zhì)將包括防病毒入侵關(guān)鍵軟件。關(guān)鍵操
作系統(tǒng)和應(yīng)用程序?qū)⒏鶕?jù)顧客身份構(gòu)成。
?關(guān)鍵服務(wù)包括:操作系統(tǒng)管理補(bǔ)丁更新,應(yīng)用程序更新,防病毒
入侵軟件更新。
應(yīng)用分發(fā):
?關(guān)鍵應(yīng)用(在部分服務(wù)組件定義)將通過原則作業(yè)環(huán)境(SOE)
交付。其他應(yīng)用程序或應(yīng)用程序祈求沒有這項(xiàng)服務(wù)H勺范圍,但可
作為一種選項(xiàng)(參閱服務(wù)組件部分可用).
存儲(chǔ)劃分:
?存儲(chǔ)配置應(yīng)滿足虛擬服務(wù)器和虛擬桌面機(jī)時(shí)運(yùn)行。此外,還要配
置個(gè)人文件和共享文件夾。凡與現(xiàn)行文件服務(wù)有關(guān)日勺配置將保持
不變。與虛擬桌面處理方案有關(guān)H勺個(gè)人存儲(chǔ)分派配額根據(jù)如下公
式:
?關(guān)鍵服務(wù)存儲(chǔ)空間二20GB
?擴(kuò)展服務(wù)存儲(chǔ)空間二30GB
?存儲(chǔ)服務(wù)在可能的狀況應(yīng)該支持反復(fù)數(shù)據(jù)消除功能。根據(jù)客戶需
求來選擇怎樣備份數(shù),恢復(fù)數(shù)據(jù)。怎樣確立數(shù)據(jù)保留期。在關(guān)鍵
業(yè)務(wù)備份服務(wù)中可選擇磁帶備份和,灰復(fù)。根據(jù)可用性選項(xiàng)備份介
質(zhì)和保持期。
數(shù)據(jù)遷移:
?作為過渡服務(wù)日勺一部分,虛擬桌面服務(wù)可為個(gè)人及在既有客戶進(jìn)
行業(yè)務(wù)數(shù)據(jù)梟中化遷移服務(wù)。
?所有數(shù)據(jù)和業(yè)務(wù)日勺不是集中管理,必須考慮到遷移方略。詳細(xì)網(wǎng)
絡(luò)流量將由如下方面產(chǎn)生:
?最終顧客設(shè)備迂移到虛擬桌面
?虛擬桌面服務(wù)所需口勺任何應(yīng)用程序和顧客訪問信息。
?因此需要一種網(wǎng)絡(luò)影響評(píng)估,用這些額外的網(wǎng)絡(luò)需求來確定可能
需要的網(wǎng)絡(luò)組件。或者通過評(píng)估匯報(bào)提議將某些服務(wù)遷移到一種
位置靠近虛擬桌面服務(wù)日勺地方.
服務(wù)模式:
?這項(xiàng)服務(wù)將提供一種詳細(xì)服務(wù)管理瑛式。這種模式將符合ITIL日勺
原則,并按照與顧客約定的服務(wù)水平協(xié)議交付.
管理控制體系:
?該服務(wù)將顧客服務(wù)體系整合到原則管理體系(或提供集成工
具)。該控制系統(tǒng)還必須具有必要客戶化流程和當(dāng)?shù)刂С謭F(tuán)隊(duì).
客戶類型分類
第二章桌面云顧客調(diào)研以及產(chǎn)品需求分析
2.1桌面云顧客調(diào)研
桌面云一起采用VMwareview產(chǎn)品作為軟件支撐主體,通過一期日勺成功實(shí)
施經(jīng)臉,桌面云系統(tǒng)整體體現(xiàn)良好。通過前期口勺調(diào)研和溝通,本次桌面云項(xiàng)目
繼續(xù)采用VMwareview產(chǎn)品作為軟件架構(gòu)H勺主體。如下調(diào)研成果和設(shè)計(jì)均依托
VMwareview產(chǎn)品日勺最佳實(shí)踐。
根據(jù)前期調(diào)研成果,XXX顧客大體可以分為如下幾種類型。
顧客類型描述
任務(wù)型操作員任務(wù)型員工一般在固定日勺計(jì)算機(jī)
設(shè)備上使用少數(shù)應(yīng)用程序執(zhí)行反復(fù)的
任務(wù)。這些應(yīng)用程序往往不需要消耗
大量。勺CPU和內(nèi)存資源。
知識(shí)型員工與任務(wù)型員工相比,知識(shí)型員工
需要運(yùn)行更多更復(fù)雜口勺應(yīng)用程序,
Auto_CAD.SAP、Office等,因此需要
更高操作系統(tǒng)處理性能和更高的I/O
處理能力。
企業(yè)領(lǐng)導(dǎo)企業(yè)領(lǐng)導(dǎo)需要保證最高的操作系
統(tǒng)處理能力和穩(wěn)定性。
調(diào)研成果
根據(jù)已經(jīng)劃分好的顧客類型,XX顧客信息三個(gè)部室對(duì)桌面云顧客進(jìn)行了
調(diào)研。桌面云顧客總計(jì)個(gè),不過考慮到調(diào)研信息的精確性和未來新增顧客晌擴(kuò)
展性,最終按照3000個(gè)顧客數(shù)量來進(jìn)行設(shè)計(jì)。
基層分部單位全能型員工知識(shí)型員工任務(wù)型員工合計(jì)
化二4r46
化三45670
運(yùn)保中心38
信息二部質(zhì)檢中心72
儲(chǔ)運(yùn)二廠55
水氣中心46
電網(wǎng)中心64
化工六廠4221238
化工一廠463572
化工七廠448355
化工八廠4321046
信息三部?jī)?chǔ)運(yùn)二廠4342664
熱力廠4S21379
電網(wǎng)462672
運(yùn)保5三13301
水氣7915103
機(jī)動(dòng)部1919
安全部1111
檔案館環(huán)境保護(hù)部88
經(jīng)營(yíng)計(jì)劃部2828
財(cái)務(wù)4646
煉油一廠353460
煉油三廠4,2682
儲(chǔ)運(yùn)一廠43126111
橡膠一廠4672495
橡膠二廠441550
信息一部運(yùn)保中心
14629175
(西區(qū))
一熱力廠40848
電網(wǎng)中心
156
(西區(qū))
水務(wù)中心五
23225
供水
水務(wù)中心六
10212
供水
氣體中心
18220
(西區(qū))
2.2桌面云存儲(chǔ)需求分析及產(chǎn)品簡(jiǎn)介
XXX前期,按照顧客類型分類抽取了200個(gè)碩客,在這些顧客的辦公電腦
上安裝了系統(tǒng)分析軟件,根據(jù)軟件收錄的信息作為設(shè)計(jì)的原則。按照信息收錄
成果,每個(gè)顧客平均20個(gè)lOPSo
2.2.1存儲(chǔ)設(shè)計(jì)基本原則
根據(jù)前期調(diào)研成果,3000個(gè)顧客,每個(gè)顧客平均I0PS為20,因此XXX項(xiàng)
目顧客I0PS=3000*20=60000o目前IT產(chǎn)品硬件性能發(fā)展迅速,一般計(jì)
算資源不會(huì)存在瓶頸,存儲(chǔ)資源往往成為最大口勺瓶頸。在大規(guī)模布署桌面云的
環(huán)境下,幾千個(gè)顧客同步啟動(dòng)會(huì)花費(fèi)大量。勺存儲(chǔ)資源和服務(wù)器硬件資源,并且
桌面云環(huán)境數(shù)據(jù)是隨機(jī)讀寫日勺,假如存儲(chǔ)不能提供足夠的I0PS,會(huì)導(dǎo)致幾二個(gè)
顧客桌面完全啟動(dòng)需要幾種小時(shí)日勺“啟動(dòng)風(fēng)暴”,因此提議采購(gòu)有足夠大
cache。勺高端存儲(chǔ),SSD磁盤用來寄存鏈接克隆日勺“父鏡像”。綜合考慮性能和
性價(jià)比,提議桌面云顧客操作系統(tǒng)放在FC磁盤上,顧客數(shù)據(jù)放在SATA磁盤
上。
啟動(dòng)風(fēng)暴
桌面云項(xiàng)目可認(rèn)為IT部門帶來諸多好處,但支撐桌面云的存儲(chǔ)環(huán)境需要仔
細(xì)時(shí)規(guī)劃,以防止VDI啟動(dòng)風(fēng)暴口勺問題。當(dāng)大量的顧客同步登錄系統(tǒng)時(shí)會(huì)導(dǎo)致
口勺系統(tǒng)反應(yīng)非常緩慢。
啟動(dòng)風(fēng)爆發(fā)生在大量H勺虛擬桌面在短時(shí)間內(nèi)同步啟動(dòng)之時(shí)(例如,在上午8
點(diǎn)到9點(diǎn)之間),由此引起日勺大量存儲(chǔ)I/O可以很輕易H勺將存儲(chǔ)系統(tǒng)沉沒。假如
存儲(chǔ)系統(tǒng)不能很好的設(shè)計(jì)以處理如此密集口勺I/O負(fù)載,最終存儲(chǔ)系統(tǒng)將無法提
供服務(wù)。
當(dāng)這種狀況發(fā)生時(shí),桌面顧客將會(huì)感覺到虛擬桌面極度緩慢,以至于幾乎
無法使用。假如這種狀況每天發(fā)生,顧客將會(huì)不停的埋怨,泉面云項(xiàng)目將趨于
失敗,桌面云顧客也會(huì)強(qiáng)烈規(guī)定重新使用他們H勺物理桌面。因此我們必須竭盡
全力防止這種狀況發(fā)生.也即由于缺乏良好的設(shè)計(jì)而導(dǎo)致一項(xiàng)具有許多長(zhǎng)處的
技術(shù)處理方案,最終的實(shí)現(xiàn)效果卻非常之差。
在VDI實(shí)施之后來改善缺乏良好設(shè)計(jì)口勺存儲(chǔ)系統(tǒng)是可能的,但相對(duì)于在之
前做出對(duì)口勺口勺規(guī)劃,代價(jià)要高昂得多,例如也許你的系統(tǒng)由于無法升級(jí)以滿足
需求,導(dǎo)致系統(tǒng)需要整個(gè)被替代掉。
有許多措施可以處理這個(gè)問題,但最有效口勺措施是將數(shù)據(jù)巧妙口勺放置在固
態(tài)硬盤(SSD)上。
2.2.2概念解釋
隨機(jī)讀寫
應(yīng)用程序?qū)Φ讓哟鎯?chǔ)H勺訪問可以分為隨機(jī)讀寫和次序讀寫。隨機(jī)讀寫就是
應(yīng)用程序隨機(jī)的訪問存儲(chǔ)上日勺數(shù)據(jù)塊。隨機(jī)讀寫的效率在一般狀況下要比次序
讀寫H勺效率差諸多。桌面云環(huán)境下顧客的應(yīng)用類型差異很大,顧客保留的數(shù)據(jù)
分布在存儲(chǔ)H勺不一樣區(qū)域,訪問I/O發(fā)起同樣是隨機(jī)日勺。
在隨機(jī)讀寫日勺狀況下,應(yīng)用對(duì)存儲(chǔ)的規(guī)定要高諸多。一般處理隨機(jī)讀等效
率問題的措施是加大存儲(chǔ)。勺Cache和使用SSD固態(tài)硬盤。增大Cache重要是對(duì)
數(shù)據(jù)進(jìn)行prefetch預(yù)讀和writeback回寫。在SSD固態(tài)磁盤上,隨機(jī)讀寫和
次序讀寫口勺差異就不是很大了。因此本次XXX項(xiàng)目提議選用大cache存儲(chǔ),并
使用SSD固態(tài)硬盤寄存“父鏡像”。
IOPS
IOPS(Input/OutputOperationsPerSecond),即每秒進(jìn)行讀寫(I/O)操作
口勺次數(shù),多用隨機(jī)讀寫場(chǎng)所,衡量隨機(jī)訪問日勺性能。存儲(chǔ)端的IOPS性能和主機(jī)
端的10是不一樣曰勺,IOPS是指存儲(chǔ)每秒可接受多少次主機(jī)發(fā)出日勺訪問,主機(jī)
口勺一次10需要多次訪問存儲(chǔ)才可以完成。例如,主機(jī)寫入一種最小H勺數(shù)據(jù)法,
也要通過“發(fā)送寫入祈求、寫入數(shù)據(jù)、收到寫入確認(rèn)”等三個(gè)步驟,也就是3個(gè)
存儲(chǔ)端訪問。
決定IOPS口勺重要取決與陣列的算法,cache命中率,以及磁盤個(gè)數(shù)。目前高端
存儲(chǔ)。勺算法差異不是很大,因此本設(shè)計(jì)IOPS重要根據(jù)磁盤提供口勺I/O進(jìn)行計(jì)
算。
SSD固態(tài)硬盤
solidstatedisk(固態(tài)硬盤),即用固態(tài)電子存儲(chǔ)芯片陣列制成H勺硬
盤,由控制單元和存儲(chǔ)單元(DRAM或FLASH芯片)兩部分構(gòu)成。存儲(chǔ)單元負(fù)責(zé)
存儲(chǔ)數(shù)據(jù),控制單元負(fù)責(zé)讀取、寫入數(shù)據(jù)。擁有速度快,耐用防震,無噪音,
重量輕等長(zhǎng)處。SSD是摒棄老式磁介質(zhì),采用電子存儲(chǔ)介質(zhì)進(jìn)行數(shù)據(jù)存儲(chǔ)和讀
取的一種技術(shù),突破了老式機(jī)械硬盤口勺性能瓶頸,擁有極高日勺存儲(chǔ)性能。本次
XXX系統(tǒng)重點(diǎn)推薦使用SSD磁盤來寄存鏈接克隆日勺“父鏡像"(replica)。
2.2.3IOPS及存儲(chǔ)空間計(jì)算原則:
根據(jù)XX顧客顧客不一樣類型應(yīng)用,定義基本參數(shù)如下:
?XX顧客企業(yè)全能型顧客的虛擬桌面平均產(chǎn)生的IOPS為:20
?虛擬桌面重要支撐全能型和知識(shí)型客戶,調(diào)研成果讀寫比例為:
R:W=6:40
?顧客操作系統(tǒng)數(shù)據(jù)提議XX顧客企業(yè)采購(gòu)600GBFC磁盤,并RAID
5構(gòu)成存儲(chǔ)LUN;
?顧客父鏡像磁盤提議燕山企業(yè)采購(gòu)200GBSSD磁盤,并采用RAID
1/0構(gòu)成存儲(chǔ)LUN;
?顧客個(gè)人數(shù)據(jù)和部門共享提議XX顧客企業(yè)采購(gòu)2TBSATA磁,并采
用RAID6構(gòu)成存儲(chǔ)LUN;
?每個(gè)客戶虛擬桌面分派的容量為:操作系統(tǒng)磁盤采用鏈接克隆技術(shù)
按9G空間分派計(jì)算,個(gè)人數(shù)據(jù)盤20GB分派計(jì)算。
因此,由虛擬桌面產(chǎn)生H勺主機(jī)I0PS總體壓力為:
主機(jī)IOPS=20*3000二60000
磁盤類型IOPS
SSD固態(tài)盤5000
15K轉(zhuǎn)速FC光纖磁盤180
7.2K轉(zhuǎn)速SATA磁盤80
小數(shù)據(jù)塊狀況下的單磁盤IOPS
根據(jù)前期調(diào)研成果和廠商的最佳實(shí)踐,XXX項(xiàng)目提議采購(gòu)15塊200GBSSD
磁盤,在處理3000顧客“啟動(dòng)風(fēng)暴”和滿足顧客性能規(guī)定日勺同步,保留一定日勺
顧客擴(kuò)展空間。
其中一塊SSD磁盤作為熱備盤,其他14塊SSD磁盤總共提供的I0PS為:
SSD磁盤I0PS=14*5000=60000
60000個(gè)I0PS剛好滿足XXXI0PS日勺需要,可以有效防止顧客“啟動(dòng)風(fēng)暴”
和由存儲(chǔ)瓶頸引起的顧客體驗(yàn)差。
FC磁盤重要寄存顧客日勺操作系統(tǒng)數(shù)據(jù)和一部分超級(jí)顧客的私有盤數(shù)據(jù)。從
存儲(chǔ)空間上進(jìn)行考慮,提議采購(gòu)150塊600GBFC磁盤。
6塊FC磁盤作為熱備盤,其他144塊FC盤按(3+1)做raid5,600GFC
磁盤可用空間大概為590G總共提供口勺存儲(chǔ)空間為:
存儲(chǔ)空間二144*3/4*590=63.7T
XXX采用鏈接克隆技術(shù),每個(gè)顧客日勺操作系統(tǒng)數(shù)據(jù)重要是保留快照和swap
換頁(yè)空間以及很少許的顧客系統(tǒng)生成信息。快照空間大小為1-6G,swap換頁(yè)空
間大小等于內(nèi)存大小2GB,總共顧客系統(tǒng)盤設(shè)計(jì)大小為9GB。顧客私有盤設(shè)計(jì)為
20GB空間大小。
顧客操作系統(tǒng)存儲(chǔ)空間規(guī)劃=9*3000=27T
顧客私有盤數(shù)據(jù)二20*3000=60T
根據(jù)以上設(shè)計(jì)有大概1500個(gè)顧客日勺私有盤數(shù)據(jù)放在SATA盤上。SATA盤提
議采購(gòu)數(shù)量為60塊??偣部商峁┑目臻g大小為:
SATA磁盤存儲(chǔ)空間=2T*60=120T
SATA磁盤在滿足顧客個(gè)人數(shù)據(jù)盤需求口勺同步,提供部門共享存儲(chǔ)所需要的
磁盤空間。
2.24存儲(chǔ)系統(tǒng)產(chǎn)品簡(jiǎn)介
VMAXe
為了保證顧客口勺體驗(yàn)和保障數(shù)據(jù)的安全穩(wěn)定性,XXX系統(tǒng)提議采用VMAXe系
列企業(yè)級(jí)存儲(chǔ)系統(tǒng)。"SymmetrixVMAX"指第五代Symmetrix虛擬矩陣體系構(gòu)
造,是Symmetrix存謎陣列一種全新死"本系構(gòu)造設(shè)計(jì)。它在性能、叩用性、°F
靠性、功能性和經(jīng)濟(jì)性方面超過了老式口勺互換(crossbar)體系構(gòu)造。新型
SymmetrixVMAXe系列擁有如下諸多亮點(diǎn):
■主動(dòng)H勺錯(cuò)誤檢測(cè)和遠(yuǎn)程支持
■支持在線Enginuity操作環(huán)境升級(jí)和更新
■擁有冗余關(guān)鍵組件和并發(fā)維護(hù)支持口勺完全容錯(cuò)設(shè)計(jì)
■配置冗余區(qū)域控制器且采用三模塊冗余多數(shù)表決機(jī)制(TMR-MV)保護(hù)口勺
全局記憶體控制器(CacheDirector)
■擁有端一端自動(dòng)通道故障切換和負(fù)載均衡掙性F1勺通道控制器(Channel
Director)冗余
■內(nèi)部控制數(shù)據(jù)途徑冗余
■光纖通道后端采用冗余磁盤控制器(DiskDirector)、磁盤通道、磁
盤端口和端口旁路卡
MDS9148
綜合考慮性價(jià)比和UCS統(tǒng)一計(jì)算系統(tǒng)口勺兼容性,以及FC-SAN存儲(chǔ)網(wǎng)絡(luò)U勺需
求,桌面云選用思科MDS9148作為存儲(chǔ)網(wǎng)絡(luò)互換關(guān)鍵。
MDS9148多層矩陣互換機(jī)——優(yōu)化了空間運(yùn)用和功率,而且每機(jī)架單元可
以提供48個(gè)8Gb光纖通道端口,實(shí)現(xiàn)了業(yè)界最高帶寬密度。這款全新互換機(jī)提
供了支持虛擬服務(wù)器環(huán)境口勺靈活性、企業(yè)級(jí)安全,'生和可用性,且能通過按需8
端口升級(jí)許可,輕松、經(jīng)濟(jì)高效地實(shí)現(xiàn)16至48端口擴(kuò)展。此外,Nexus5000
系列和UCS6100系列互聯(lián)構(gòu)造還添加了全新8Gb光纖通道上行鏈路,用于服務(wù)
器接入。
2.3網(wǎng)絡(luò)安全需求分析及產(chǎn)品簡(jiǎn)介
XXX項(xiàng)目網(wǎng)絡(luò)作為桌面云的基礎(chǔ)傳播介質(zhì)尤為重要,本次項(xiàng)目網(wǎng)絡(luò)部分提
議采用Cisco萬(wàn)兆骨干網(wǎng)絡(luò)為桌面云提供高帶寬、高性能轉(zhuǎn)發(fā)提供保證。XXX
網(wǎng)絡(luò)部分提議采用思科互換機(jī)Nexus7010和萬(wàn)兆“云火墻”ASA5585,
Nexus7010采用VDC技術(shù),把1臺(tái)物理設(shè)備虛擬成4臺(tái)邏輯H勺設(shè)備,1臺(tái)為管理
互換機(jī),此外3臺(tái)應(yīng)用于不一樣區(qū)域。其中1臺(tái)設(shè)備為桌面云H勺關(guān)鍵互換機(jī),1
臺(tái)為桌面云客戶端的匯聚互換機(jī),此外1臺(tái)為server端H勺匯聚互換機(jī)。
萬(wàn)兆防火墻分為3個(gè)區(qū)域,桌面云區(qū)域、Server區(qū)域、內(nèi)網(wǎng)區(qū)域,防火墻
通過ACL對(duì)三個(gè)區(qū)域的訪問做控制。
2.3.1網(wǎng)絡(luò)產(chǎn)品簡(jiǎn)介
Nexus7000簡(jiǎn)介
CiscoNexus7000系列互換機(jī)是一種模塊化數(shù)據(jù)中心級(jí)產(chǎn)品系列,合月于
高度可擴(kuò)展日勺萬(wàn)兆以太網(wǎng)網(wǎng)絡(luò),其互換矩陣架構(gòu)的速度能擴(kuò)展至15Tbps以上。
它的設(shè)計(jì)意在滿足大多數(shù)關(guān)鍵任務(wù)數(shù)據(jù)中心的規(guī)定,提供永續(xù)口勺系統(tǒng)運(yùn)行和無
所不在的虛擬化服務(wù)。CiscoNexus7000系列建立在一種成熟H勺操作系統(tǒng)上,
借助增強(qiáng)特性提供了實(shí)時(shí)系統(tǒng)升級(jí),以及杰出日勺可管理性和可維護(hù)性。它口勺創(chuàng)
新設(shè)計(jì)專門用于支持端到端數(shù)據(jù)中心連接,將IP、存儲(chǔ)和IPC網(wǎng)絡(luò)整合到重一
以太網(wǎng)互換矩陣之上。
作為第一款下一代互換機(jī)平臺(tái),CiscoNexus7000系列10插槽機(jī)箱(圖1)
提供了集成永續(xù)性,以及專為數(shù)據(jù)中心可用性、可靠性、可擴(kuò)展性和易管理性
而優(yōu)化日勺特性。
ASA5585防火墻
CiscoASA5500系列自適應(yīng)安全設(shè)備提供“藝術(shù)級(jí)”的安全技術(shù)。該設(shè)備仍
具靈活性以滿足您的企業(yè)成長(zhǎng)和變化日勺需求。
CiscoASA5500系列自適應(yīng)安全設(shè)備支持:
?顧客化:根據(jù)企業(yè)政策和詳細(xì)接入需要,個(gè)性化安全系統(tǒng)。
?靈活性:伴隨企業(yè)的成長(zhǎng)和變化,您能以便地添加新功能或從一臺(tái)設(shè)備
升級(jí)至另一臺(tái)設(shè)備。
?高級(jí)安全性:充分運(yùn)用內(nèi)容安全、加密、身份驗(yàn)證、授權(quán)和入侵防御等
方面日勺最新技術(shù)。
?簡(jiǎn)樸易行:使用一臺(tái)設(shè)備即可輕松進(jìn)行安裝、管理和監(jiān)控。
?高級(jí)網(wǎng)絡(luò)功能:設(shè)置虛擬專用網(wǎng)絡(luò)(VPN),以保證移動(dòng)和遠(yuǎn)程工作人員
安全口勺訪問企業(yè)資源,或基于職責(zé)在合作伏伴及其他辦事處之間創(chuàng)立
VPNo
保證網(wǎng)絡(luò)安全性和可靠性口勺重要目的是讓員工實(shí)時(shí)信賴它。CiscoASA
5500系列自適應(yīng)安全設(shè)備是你口勺第一道和最佳防線。
Nexus1000V虛擬互換機(jī)
Nexus?1000V虛擬互換機(jī)中初次布署了思科VN-Link網(wǎng)絡(luò)服務(wù),它是專
為虛擬化環(huán)境設(shè)計(jì)的。該互換機(jī)直接與ESXi管理程序相連,使用DVS技術(shù),提
供一種緊密耦合日勺操作環(huán)境。
NexusWOv日勺VN-Link服務(wù)器虛擬化技術(shù)有助于保證數(shù)據(jù)中心口勺所有物理
和虛擬服務(wù)器都擁有一致H勺、由方略驅(qū)動(dòng)口勺網(wǎng)絡(luò)功能。
基于方略的VM網(wǎng)絡(luò)特性配置
?實(shí)時(shí)、協(xié)調(diào)的網(wǎng)絡(luò)、安全和存儲(chǔ)服務(wù)配置
?統(tǒng)一H勺、以VM為中心的管理模式,支持更為高效和靈活日勺服務(wù)器管澧
移動(dòng)VM安全性和網(wǎng)絡(luò)方略
?在VMotion事件期間,方略隨VM移動(dòng),一直提供網(wǎng)絡(luò)、安全和存儲(chǔ)兼容
性
?保護(hù)DRS或?qū)崟r(shí)升級(jí)免受分立VSwitch或端口組配置的影響
?強(qiáng)大日勺業(yè)務(wù)持續(xù)性、性能管理和安全法規(guī)遵從性機(jī)制
透明、靈活、一致的管理模式
?為數(shù)據(jù)中心中晌VM和物理服務(wù)器調(diào)整管理和操作環(huán)境
?保持既有VMware操作模式,并容許多種管理員同步定義網(wǎng)絡(luò)方略并將其
應(yīng)用到基礎(chǔ)設(shè)施中
?通過在網(wǎng)絡(luò)中實(shí)現(xiàn)操作一致性和可視性來降低TC0
?提供服務(wù)器、網(wǎng)絡(luò)、安全和存儲(chǔ)團(tuán)隊(duì)間H勺靈活協(xié)作,并支持多種機(jī)構(gòu)邊
界(孤井式、融合式、混合式)和各團(tuán)隊(duì)自治
VSG簡(jiǎn)介
虛擬安全網(wǎng)關(guān)(VSG)是一種虛擬設(shè)備,設(shè)計(jì)用于在數(shù)據(jù)中心H勺VLANS和共享
計(jì)算基礎(chǔ)設(shè)施內(nèi)部或之間提供虛擬機(jī)級(jí)的安全方咯。思科虛擬安全網(wǎng)關(guān)通過提
供基于方略H勺精細(xì)控制和基于虛擬機(jī)環(huán)境H勺活動(dòng)監(jiān)控,可全面滿足虛擬化數(shù)據(jù)
中心和多顧客云環(huán)境H勺關(guān)鍵性安全和法規(guī)遵從需求。思科虛擬安全網(wǎng)關(guān)以軟件
口勺形式布署在Nexus1000V±,可提供運(yùn)行簡(jiǎn)樸性、布署靈活性、增強(qiáng)的性
能、以及集中化管理能力等優(yōu)勢(shì)。
2.4服務(wù)器需求分析
服務(wù)器在桌面云項(xiàng)目中起到計(jì)算資源支撐日勺關(guān)鍵作用,在選擇服務(wù)器過程
中,要根據(jù)桌面云處理方案選擇最適合的服務(wù)器。桌面云架構(gòu)對(duì)CPU規(guī)定適
中,對(duì)大內(nèi)存規(guī)定較高。根據(jù)桌面云日勺發(fā)展趨勢(shì)和前期調(diào)研和溝通成果,從保
證服務(wù)器計(jì)算性能,節(jié)省機(jī)房空間,便于統(tǒng)一管理等方面綜合考慮,本次XXX
項(xiàng)目選用思科UCS統(tǒng)一計(jì)算系統(tǒng)。
2.4.1服務(wù)器產(chǎn)品簡(jiǎn)介
UCS系統(tǒng)簡(jiǎn)介
Cisco統(tǒng)一計(jì)算系統(tǒng)(UCS)是合用于刀片式服務(wù)器計(jì)算的革命性新架構(gòu)。
CiscoUCS是新一代數(shù)據(jù)中心平臺(tái),將計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)訪問和虛擬化功能整
合到一種聚合型系統(tǒng)中,意在降低總體擁有成本(TC0)和提高業(yè)務(wù)靈活性。此
系統(tǒng)集成了低延遲、無損萬(wàn)兆以太網(wǎng)統(tǒng)一網(wǎng)絡(luò)構(gòu)造與企業(yè)級(jí)x86架構(gòu)服務(wù)器。
此系統(tǒng)是一種集成的可擴(kuò)展多機(jī)箱平臺(tái),系統(tǒng)中口勺所有資源都參與統(tǒng)一管理
域。Cisco統(tǒng)一計(jì)算系統(tǒng)可以提高可擴(kuò)展性,但不會(huì)提高復(fù)雜程度,無論系統(tǒng)
內(nèi)只有1個(gè)服務(wù)器,還是有320個(gè)服務(wù)器(帶數(shù)千個(gè)虛擬機(jī)),都能將它們
作為一種系統(tǒng)來進(jìn)行管理。通過端到端配置和對(duì)虛擬化系統(tǒng)及非虛擬化系統(tǒng)的
遷移支持,Cisco統(tǒng)一計(jì)算系統(tǒng)可以簡(jiǎn)樸、可靠和安全地加速提供新服務(wù)。
為了加強(qiáng)對(duì)服務(wù)器的管理,綜合考慮性能和靈活性,XXX提議采用UCS統(tǒng)
一計(jì)算系統(tǒng)。
2.5桌面云統(tǒng)一備份需求分析
本次XXX項(xiàng)目設(shè)計(jì)為3000點(diǎn)桌面整合H勺架構(gòu)。怎樣對(duì)3000點(diǎn)桌面實(shí)現(xiàn)迅速
統(tǒng)一備份非常重要。
備份產(chǎn)品選擇口勺原則:
?迅速備份滿足3000點(diǎn)桌面的備份需求,不影響正常生產(chǎn)。
?對(duì)網(wǎng)絡(luò)壓力不能太大。
?操作簡(jiǎn)便,易于管理。
桌面云備份提議采用支持虛擬化底層接口日勺產(chǎn)品,不通過操作系統(tǒng),直接
從存儲(chǔ)底層備份的方式。該備份方式不會(huì)對(duì)顧客使用導(dǎo)致很大影響,直接從底
層進(jìn)行備份,備份效率更高。
2.51備份產(chǎn)品簡(jiǎn)介
EMC@Avamar@DataStore是布署物理Avamar服務(wù)器的最簡(jiǎn)便快捷日勺
方式。它將經(jīng)EMC認(rèn)證的硬件與EMCAvamar備份和恢復(fù)軟件結(jié)合在一種充分
集成且可擴(kuò)展日勺預(yù)組包處理方案中。您不再會(huì)因?yàn)樾枰蚨嗉夜?yīng)商尋求破
件、軟件和支持而備受煩擾。作為一款全包式處理方案,AvamarDataStore
可明顯縮短現(xiàn)場(chǎng)安裝時(shí)間,同步為采購(gòu)、布署和維護(hù)提供了單一聯(lián)絡(luò)人。
EMCAvamar是一款集成了反復(fù)數(shù)據(jù)消除功能的備份和恢復(fù)軟件,非常適合
于保護(hù)虛擬環(huán)境、NAS系統(tǒng)、遠(yuǎn)程辦公室以及臺(tái)式機(jī)/筆記本電腦系統(tǒng)。通過在
客戶端消除待備份日勺反復(fù)數(shù)據(jù),Avamar可通過既有的基礎(chǔ)架構(gòu)和網(wǎng)絡(luò)鏈路提供
迅速的平常完整備份。而通過跨站點(diǎn)和服務(wù)器消除反復(fù)數(shù)據(jù),Avamar可在合理
的保留范圍內(nèi)大幅減少存儲(chǔ)需求,最多可減少到原來的1/50。
特點(diǎn)
?使用以便
Avamar備份系統(tǒng)豆接把顧客數(shù)據(jù)備份到Avanar服務(wù)器的物理磁盤上,而
不是像老式的備份要管理driver和磁帶,簡(jiǎn)化了管理流程,顧客使用愈加以
便。
?除重比高
Avamar備份系統(tǒng)會(huì)用先進(jìn)的原端除重技術(shù),并且是全備份和增量備份模
式,對(duì)網(wǎng)絡(luò)壓力很小,適合虛擬環(huán)境下大數(shù)據(jù)量的備份。
?備份和恢復(fù)時(shí)間短
由于Avamar備份系統(tǒng)備份過程是直接從磁盤到磁盤的讀寫,效率相對(duì)于磁
帶和光盤會(huì)高諸多。
第三章桌面云軟件架構(gòu)設(shè)計(jì)
根據(jù)VMware最佳實(shí)踐,每個(gè)VCenter■日勺主機(jī)數(shù)不應(yīng)超過個(gè)。XXX調(diào)研顧客
數(shù)量為2750個(gè),根據(jù)最佳實(shí)踐需要?jiǎng)?chuàng)立2個(gè)VCenter。Y一種獨(dú)立的架構(gòu)稱為
一種Vblock,本次設(shè)計(jì)共兩個(gè)VbIock。每一種Vblock都是一種樹形構(gòu)造。樹
形構(gòu)造的頂端是Vcenter,vCenter下面可以創(chuàng)立數(shù)據(jù)中心,數(shù)據(jù)中心下面創(chuàng)立
集群,物理服務(wù)器加入集群中,在集群中創(chuàng)立桌面池。
捌
Vblock邏輯構(gòu)造
面面面面面面面面面面面面
數(shù)據(jù)構(gòu)造示意圖
3.1集群Cluster設(shè)計(jì)
根據(jù)最佳實(shí)踐方案,每個(gè)集群H勺主機(jī)數(shù)量不應(yīng)當(dāng)超過8個(gè)。XXX總共采購(gòu)
32臺(tái)物理服務(wù)器,共分為4個(gè)集群,沒個(gè)集群4臺(tái)B250M2刀片服務(wù)器u集群
命名規(guī)則為、集群主機(jī)配置高可用
cIusterlcIuster2>cIuster3>cIuster4o
HA和DRS。桌面數(shù)量按照4個(gè)集群進(jìn)行均分,每個(gè)集群的桌面數(shù)量大概700
個(gè)。
3.2桌面池設(shè)計(jì)
XXX項(xiàng)目桌面池按照前期調(diào)研H勺顧客類型和應(yīng)用類型進(jìn)行桌面池劃
分。各個(gè)廠區(qū)的應(yīng)用類型相似,可以創(chuàng)立相似模板進(jìn)行桌面下發(fā)。桌面池采用
統(tǒng)一。勺命名規(guī)則,前兩個(gè)字母表達(dá)廠區(qū)縮寫,BG表達(dá)辦公,SC表達(dá)生產(chǎn)。
3.3顧客數(shù)據(jù)分級(jí)存儲(chǔ)規(guī)則
從成本和性能綜合考慮,依托最佳實(shí)踐指導(dǎo)原則,桌面云數(shù)據(jù)采用存潴類
型分級(jí)寄存H勺設(shè)計(jì),SSD寄存桌面云鏈接克隆父鏡像,F(xiàn)C盤寄存顧客操作系統(tǒng)盤
數(shù)據(jù),STAT盤寄存某些輕量級(jí)顧客的D盤和部門共享數(shù)據(jù)。
桌面云項(xiàng)目采購(gòu)200GBSSD磁盤共15塊,其中一塊SSD作為熱備盤,其他
盤做raidlO,可用空間大榻1.3T左右,按照200G一種LUN可以劃分5個(gè)
LUN,然后預(yù)留300G作為后來擴(kuò)容。這樣既可以滿足目前空間和性能口勺需求,
同步增加了數(shù)據(jù)日勺安全和可靠性。
本項(xiàng)目共采購(gòu)600GBFC磁盤150塊。FC盤重要用來寄存桌面云顧客口勺操
作系統(tǒng),和一部分顧客的私有盤數(shù)據(jù)。根據(jù)前期調(diào)研成果,顧客日勺讀寫比大概
為6:4,綜合性能和成本原因,提議做raid5。顧客H勺C盤數(shù)據(jù)重要保留鏈接克
隆日勺鏡像和預(yù)留日勺swap換頁(yè)空間,換頁(yè)空間提議設(shè)置為內(nèi)存大小,由于鏈接克
隆技術(shù)只保留和父鏡像C盤變化日勺部分,快照大小一般在1-6G左右,因此顧客
□勺C盤占用H勺空間二快照+swap換頁(yè)空間+顧客生成桌面H勺信息數(shù)據(jù),生
成桌面的信息量很小可以忽視,C盤總共不會(huì)超過9G。同步根據(jù)VMware最佳實(shí)
踐,每個(gè)存儲(chǔ)LUN的顧客使用數(shù)量不能超過64個(gè),因此每個(gè)顧客0S占用的
LUN的大小估計(jì)劃分576Go
桌面云顧客私有盤數(shù)據(jù)可以采用Thin磁盤模式寄存。Thin磁盤模式原理
是磁盤空間超額分派技術(shù)。本次桌面云項(xiàng)目計(jì)劃洽顧客私有盤劃分20GB空間,
假如顧客只用了10G空間,那么其他日勺10G空間是可以給其他顧客用口勺。依托
每個(gè)存儲(chǔ)LUN顧客數(shù)量不能超過64個(gè)原則,提議顧客私有盤LUN大小為
640Go由于顧客私有盤讀寫沒有那么頻繁,同步拷貝數(shù)據(jù)時(shí)間稍長(zhǎng)不會(huì)影響顧
客體臉,因此提議顧客私有盤放在價(jià)格廉價(jià)H勺SATA磁盤上。
3.4整體規(guī)劃表
Vblock邏輯架構(gòu)
主SSD-
FCLUNFC-LUN
cluster機(jī)桌面池LUNFC-LUNDataStore-
桌面數(shù)Size(DATA
名稱數(shù)名稱Size(replSize(OS)Name
(OS))
量ica)
煉油一LY1_3_BG_
640
廠、三1
廠知識(shí)
125(84)1005762
型LY1_3_BG_
640
LY1_3_2
BG
煉油任640
務(wù)型
10(32)1005761
LY1_3_640
SC
橡膠一XJ_BG_1640
r-r1081005762
XJ_BGXJ_BG_2640
cluster橡膠一
8
1廠二廠
29100576640
任務(wù)型
XJ.SC
二部化
HG_BG01_1640
工和三
部化工
108(52)1005762
知識(shí)型
HG_BG01_2640
HG_BG
01
二部化
HG_BG02_1640
工和三
HG_BG02_2640
部化工1651005763(4)
知識(shí)型
HG_BG02_3640
HGBG
02
二部化
工和三
部化工30(61)100576640
任務(wù)型
HG_SC
二部化
工和三
部化工
25100ZH_sc640
任務(wù)型
HG_SC
_2
檔案
(機(jī)
動(dòng)、安
全、環(huán)
境
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 搬遷安全合同范本
- 搬家勞務(wù)合同范本
- 塊石供貨合同范本
- 坑塘清理合同范本
- 培訓(xùn)導(dǎo)師合同范本
- 墻體鉆孔合同范本
- 換房子寫合同范本
- 攪拌轉(zhuǎn)讓合同范本
- 敲墻敲地合同范本
- 旅游境外合同范本
- 設(shè)備管理二級(jí)管理制度
- 十五五學(xué)校五年發(fā)展規(guī)劃(2026-2030)
- 養(yǎng)老機(jī)構(gòu)5項(xiàng)精細(xì)化護(hù)理照料內(nèi)容+18張護(hù)理服務(wù)操作流程圖
- T/CCS 032-2023礦井智能化通風(fēng)系統(tǒng)建設(shè)技術(shù)規(guī)范
- 2025年四川中鐵建昆侖投資集團(tuán)有限公司招聘筆試參考題庫(kù)附帶答案詳解
- 2025-2030中國(guó)推拉高爾夫車行業(yè)市場(chǎng)發(fā)展趨勢(shì)與前景展望戰(zhàn)略分析研究報(bào)告
- 醫(yī)院辦公室主任述職報(bào)告
- 人工智能驅(qū)動(dòng)提升國(guó)際傳播可及性的機(jī)制、困境及路徑
- 駕駛員心理健康培訓(xùn)課件
- 2024年-2025年司法考試真題及復(fù)習(xí)資料解析
- 基于MATLABsimulink同步發(fā)電機(jī)突然三相短路仿真
評(píng)論
0/150
提交評(píng)論