超融合數(shù)據(jù)中心方案建議書_第1頁
超融合數(shù)據(jù)中心方案建議書_第2頁
超融合數(shù)據(jù)中心方案建議書_第3頁
超融合數(shù)據(jù)中心方案建議書_第4頁
超融合數(shù)據(jù)中心方案建議書_第5頁
已閱讀5頁,還剩21頁未讀, 繼續(xù)免費閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報或認(rèn)領(lǐng)

文檔簡介

1、 Error! Reference source not found. 超融合數(shù)據(jù)中心方案建議書目 錄 TOC o 1-3 h z u HYPERLINK l _Toc39989247 1項目背景 PAGEREF _Toc39989247 h 3 HYPERLINK l _Toc39989248 1.1需求調(diào)研 PAGEREF _Toc39989248 h 3 HYPERLINK l _Toc39989249 1.1.1數(shù)據(jù)中心調(diào)研 PAGEREF _Toc39989249 h 3 HYPERLINK l _Toc39989250 1.1.2應(yīng)用調(diào)研 PAGEREF _Toc39989250

2、h 4 HYPERLINK l _Toc39989251 1.2超融合與傳統(tǒng)架構(gòu)選擇 PAGEREF _Toc39989251 h 4 HYPERLINK l _Toc39989252 2超融合方案設(shè)計 PAGEREF _Toc39989252 h 5 HYPERLINK l _Toc39989253 2.1設(shè)計原則 PAGEREF _Toc39989253 h 6 HYPERLINK l _Toc39989254 2.2架構(gòu)設(shè)計 PAGEREF _Toc39989254 h 7 HYPERLINK l _Toc39989255 2.3方案描述 PAGEREF _Toc39989255 h 8

3、 HYPERLINK l _Toc39989256 2.3.1計算資源 PAGEREF _Toc39989256 h 8 HYPERLINK l _Toc39989257 2.3.2存儲資源 PAGEREF _Toc39989257 h 9 HYPERLINK l _Toc39989258 2.3.3網(wǎng)絡(luò)拓?fù)?PAGEREF _Toc39989258 h 11 HYPERLINK l _Toc39989259 2.3.4備份容災(zāi) PAGEREF _Toc39989259 h 12 HYPERLINK l _Toc39989260 2.4方案優(yōu)勢 PAGEREF _Toc39989260 h 1

4、4 HYPERLINK l _Toc39989261 2.4.1橫向擴(kuò)展優(yōu)勢 PAGEREF _Toc39989261 h 16 HYPERLINK l _Toc39989262 2.4.2性能優(yōu)勢 PAGEREF _Toc39989262 h 16 HYPERLINK l _Toc39989263 2.4.3可靠性 PAGEREF _Toc39989263 h 17 HYPERLINK l _Toc39989264 2.4.4易于部署 PAGEREF _Toc39989264 h 18 HYPERLINK l _Toc39989265 2.4.5集中管理 PAGEREF _Toc399892

5、65 h 18 HYPERLINK l _Toc39989266 2.4.6自動故障恢復(fù) PAGEREF _Toc39989266 h 20 HYPERLINK l _Toc39989267 3配置清單 PAGEREF _Toc39989267 h 21 HYPERLINK l _Toc39989268 4超融合產(chǎn)品介紹 PAGEREF _Toc39989268 h 22 HYPERLINK l _Toc39989269 4.1Nutanix的發(fā)展歷程 PAGEREF _Toc39989269 h 22 HYPERLINK l _Toc39989270 4.2Nutanix架構(gòu)和軟件定義存儲

6、PAGEREF _Toc39989270 h 22 HYPERLINK l _Toc39989271 4.3Nutanix與傳統(tǒng)架構(gòu)的差別 PAGEREF _Toc39989271 h 23 HYPERLINK l _Toc39989272 4.4Nutanix和超融合市場 PAGEREF _Toc39989272 h 24項目背景經(jīng)過近50多年的持續(xù)穩(wěn)定發(fā)展,XXXX樹立了中國家電企業(yè)由小到大、由弱到強(qiáng)、并迅速走向世界的杰出典范。如今的XXXX,已經(jīng)不僅僅是中國的彩電大王,而且還成為了在海內(nèi)外享有盛譽(yù)的特大型、多元化、國際化企業(yè)集團(tuán)。企業(yè)形成了軍用產(chǎn)品、數(shù)字電視、數(shù)字平面顯示、IT、健康空調(diào)

7、、數(shù)字視聽、數(shù)字網(wǎng)絡(luò)、模具、數(shù)字器件、環(huán)保電源、技術(shù)裝備、電子工程、化工材料等十三大產(chǎn)業(yè)群。隨著全球互聯(lián)網(wǎng)浪潮和數(shù)字家電技術(shù)的迅猛推進(jìn),XXXX秉承“科技領(lǐng)先,速度取勝”的經(jīng)營理念,利用以市場需求為特征的拉動力和技術(shù)進(jìn)步為特征的推動力,優(yōu)化資源配置,通過技術(shù)創(chuàng)新、系統(tǒng)整合數(shù)字技術(shù)、信息技術(shù)、網(wǎng)絡(luò)技術(shù)和平板顯示技術(shù),改造和提升傳統(tǒng)產(chǎn)業(yè),最大限度地滿足人們不斷增長的物質(zhì)和文化需要。為了滿足未來業(yè)務(wù)發(fā)展的需要,有效地解決數(shù)據(jù)安全、集中管控、降低運維成本、快速部署、跨平臺訪問、節(jié)能環(huán)保等問題,XXXX一直在關(guān)注通過虛擬化、分布式及超融合等互聯(lián)網(wǎng)相關(guān)技術(shù)來解決現(xiàn)有數(shù)據(jù)中心的各種挑戰(zhàn),隨著虛擬化及云計算的

8、日益成熟,計劃將其數(shù)據(jù)中心新業(yè)務(wù)系統(tǒng)運行在的基于互聯(lián)網(wǎng)基因的超融合基礎(chǔ)架構(gòu)平臺上。需求調(diào)研數(shù)據(jù)中心調(diào)研XXXX現(xiàn)有數(shù)據(jù)中心存在的挑戰(zhàn)包括:服務(wù)器數(shù)量眾多,管理變得越來越復(fù)雜;新業(yè)務(wù)系統(tǒng)上線周期長,部署慢;SAN/NAS存儲擴(kuò)展性差,無法支撐新業(yè)務(wù)的性能需求;新業(yè)務(wù)走向互聯(lián)網(wǎng)化,傳統(tǒng)架構(gòu)無法實現(xiàn)線性擴(kuò)展能力;應(yīng)用系統(tǒng)缺乏高可用性保護(hù);數(shù)據(jù)中心空間資源有限等。應(yīng)用調(diào)研目前,XXXX緊跟互聯(lián)網(wǎng)+戰(zhàn)略,重點規(guī)劃以軟件為中心的業(yè)務(wù)較多,多數(shù)都是面向互聯(lián)網(wǎng)以及物聯(lián)網(wǎng)業(yè)務(wù),比如:用戶中心、支付平臺、設(shè)備系統(tǒng)、微信電視、O2O電商平臺、企業(yè)移動辦公軟件平臺及大數(shù)據(jù)平臺等。業(yè)務(wù)系統(tǒng)CPU(core)內(nèi)存(GB)

9、磁盤(GB)操作系統(tǒng)軟件節(jié)點數(shù)支付平臺O2O電子商務(wù)企業(yè)移動辦公超融合與傳統(tǒng)架構(gòu)選擇超融合基礎(chǔ)架構(gòu)(Hyper-Converged Infrastructure,或簡稱“HCI”)是指在同一套單元設(shè)備中不僅僅具備計算、網(wǎng)絡(luò)、存儲和服務(wù)器虛擬化等資源和技術(shù),而且還包括備份軟件、快照技術(shù)、重復(fù)數(shù)據(jù)刪除、在線數(shù)據(jù)壓縮等元素,而多套單元設(shè)備可以通過網(wǎng)絡(luò)聚合起來,實現(xiàn)模塊化的無縫橫向擴(kuò)展(scale-out),形成統(tǒng)一的資源池。HCI是實現(xiàn)“軟件定義數(shù)據(jù)中心”的終極技術(shù)途徑。HCI類似Google、Facebook等互聯(lián)網(wǎng)數(shù)據(jù)中心的大規(guī)模基礎(chǔ)架構(gòu)模式,可以為數(shù)據(jù)中心帶來最優(yōu)的效率、靈活性、規(guī)模、成本和數(shù)

10、據(jù)保護(hù)。使用計算存儲超融合的一體化平臺,替代了傳統(tǒng)的服務(wù)器加集中存儲的架構(gòu),使得整個架構(gòu)更清晰簡單。圖1.1 超融合架構(gòu)示意圖下表列舉了使用超融合架構(gòu)(計算+存儲)和傳統(tǒng)數(shù)據(jù)中心三層架構(gòu)(服務(wù)器+光纖交換機(jī)+存儲)的對比:超融合架構(gòu)傳統(tǒng)數(shù)據(jù)中心基礎(chǔ)架構(gòu)性能盡可能提供本地吞吐,并使用SSD保證應(yīng)用IO需求。不存在性能瓶頸隨著訪問集中存儲的服務(wù)器越來越多,性能瓶頸將日益凸顯橫向擴(kuò)展可以簡單的在集群中增加節(jié)點以擴(kuò)展集群規(guī)模和性能由于架構(gòu)限制,無法實現(xiàn)橫向擴(kuò)展高可用性可以通過三副本的方式容忍最多兩個節(jié)點同時故障,并且硬件故障時數(shù)據(jù)重建速度快,性能幾乎不受影響通過raid技術(shù)實現(xiàn)高可用性,但面對硬件故障

11、時,性能下降嚴(yán)重。整合比虛擬機(jī)密度高,是傳統(tǒng)2倍以上虛擬機(jī)密度低安裝配置開箱即用的部署方式,只需30分鐘即可完成安裝配置需要準(zhǔn)備大量安裝實施前的信息收集和整理工作,并且由專人進(jìn)行安裝部署,最少需要2天時間管理維護(hù)統(tǒng)一WEB界面管理,維護(hù)方便無需配置LUN、卷、Raid組需要專門存儲管理軟件,配置復(fù)雜。需要廠商支持??臻g占用使用超融合架構(gòu):2臺4U高,總共包含8個節(jié)點(包含服務(wù)器和存儲)總共占用空間4U使用傳統(tǒng)架構(gòu):8臺2路服務(wù)器至少占用8U,存儲至少需要3U總共占用空間11U耗電使用超融合架構(gòu):2臺8節(jié)點,共耗電 2000W運行三年電費支出約:5.5萬元使用傳統(tǒng)架構(gòu):8臺服務(wù)器平均每臺服務(wù)器耗

12、電600W計算,存儲耗電1500w,總共耗電6300W運行三年電費支出約為:16.8萬元超融合方案設(shè)計新一代數(shù)據(jù)中心建設(shè)包含眾多信息化應(yīng)用的實施,與此相對應(yīng),機(jī)房服務(wù)器和存儲設(shè)備也必將大量使用,并且隨著后期應(yīng)用擴(kuò)充和服務(wù)擴(kuò)容,服務(wù)器和存儲設(shè)備的投入必然越來越龐大。一方面,管理硬件基礎(chǔ)設(shè)施的壓力和成本會不斷增大;另一方面,由于應(yīng)用的多樣性,服務(wù)器和存儲難于有效整合,服務(wù)器的資源使用都遠(yuǎn)低于其實際的處理能力,計算能力和存儲容量難以充分利用。實施虛擬化/云計算數(shù)據(jù)中心,可以有效整合服務(wù)器及存儲資源,形成計算資源池,根據(jù)新一代數(shù)據(jù)中心各項應(yīng)用的實際需要動態(tài)分配計算資源,最大效率的利用現(xiàn)有服務(wù)器及存儲設(shè)

13、備,并對數(shù)據(jù)中心硬件設(shè)備進(jìn)行有效管理和監(jiān)控。設(shè)計原則在方案設(shè)計中我們將遵循以下總體原則:以業(yè)務(wù)需求為導(dǎo)向技術(shù)架構(gòu)最終是為業(yè)務(wù)服務(wù)的,因此技術(shù)架構(gòu)的設(shè)計一定要以業(yè)務(wù)的需求為導(dǎo)向,充分考慮非功能需求,例如系統(tǒng)的重要程度、安全要求、業(yè)務(wù)連續(xù)性等。遵循互聯(lián)網(wǎng)標(biāo)準(zhǔn)新業(yè)務(wù)系統(tǒng)都是面向互聯(lián)網(wǎng)和物聯(lián)網(wǎng)業(yè)務(wù),因此架構(gòu)體系要遵循互聯(lián)網(wǎng)數(shù)據(jù)中心設(shè)計和建設(shè)標(biāo)準(zhǔn),吸收互聯(lián)網(wǎng)架構(gòu)的優(yōu)勢。提高資源利用率現(xiàn)已經(jīng)部署了大量的服務(wù)器,資源使用率低是較突出的一個問題,因此在項目中,提高資源利用率成為一個重要的任務(wù)。動態(tài)擴(kuò)展性在IT發(fā)展趨勢中,動態(tài)基礎(chǔ)架構(gòu)已經(jīng)成為IT基礎(chǔ)架構(gòu)的發(fā)展方向。使IT基礎(chǔ)架構(gòu)成為一個動態(tài)、靈活、具有彈性的I

14、T基礎(chǔ)架構(gòu),同時在IT實時地運營過程可進(jìn)行靈活的資源動態(tài)調(diào)整。資源擴(kuò)展要體現(xiàn)在計算資源和存儲資源的同時擴(kuò)展。分布式一切應(yīng)用系統(tǒng)的高可用性是保障服務(wù)等級的重要因素,在架構(gòu)設(shè)計中應(yīng)該以軟件定義為主,借助軟件的分布式架構(gòu)滿足高可用性要求,實現(xiàn)系統(tǒng)架構(gòu)和平臺架構(gòu)的無單點故障、無單點瓶頸問題,保障新一代的業(yè)務(wù)系統(tǒng)健壯性。安全性在系統(tǒng)設(shè)計中,安全性是一個非常重要的問題。在架構(gòu)中需要考慮到虛擬化架構(gòu)內(nèi)外部的安全,包括數(shù)據(jù)安全等問題,以保證整個系統(tǒng)長期安全穩(wěn)定的運行。架構(gòu)設(shè)計超融合架構(gòu)在數(shù)據(jù)中心中承擔(dān)著計算資源池和分布式存儲資源池的作用,極大地簡化了數(shù)據(jù)中心的基礎(chǔ)架構(gòu),而且通過軟件定義的計算資源虛擬化和分布式

15、存儲架構(gòu)實現(xiàn)無單點故障、無單點瓶頸、彈性擴(kuò)展、性能線性增長等能力;在虛擬化層可以自由選擇Hypervisor的品牌,包括VMware vSphere、MicroSoft Hyper-v和KVM;而且通過簡單、方便的管理界面,實現(xiàn)對數(shù)據(jù)中心基礎(chǔ)架構(gòu)層的計算、存儲、虛擬化等資源進(jìn)行統(tǒng)一的監(jiān)控、管理和運維。超融合基礎(chǔ)架構(gòu)形成的計算資源池和存儲資源池直接可以被云計算平臺進(jìn)行調(diào)配,服務(wù)于OpenStack、Cloud Foundry、Docker、Hadoop等IAAS、PAAS平臺,對上層的互聯(lián)網(wǎng)及物聯(lián)網(wǎng)業(yè)務(wù)等進(jìn)行支撐。同時,分布式存儲架構(gòu)簡化容災(zāi)方式,實現(xiàn)同城數(shù)據(jù)雙活和異地容災(zāi)?,F(xiàn)有的超融合基礎(chǔ)架構(gòu)

16、可以延伸到公有云,可以輕松將私有云業(yè)務(wù)遷到公有云服務(wù)。圖2.1 超融合數(shù)據(jù)中心架構(gòu)方案描述計算資源基于Nutanix架構(gòu)的模塊化數(shù)據(jù)中心由Nutanix Block (區(qū)塊)和Nutanix Node (節(jié)點)組成。下圖2.2為標(biāo)準(zhǔn)的一個Block (區(qū)塊)設(shè)備,僅占用2個機(jī)架單元 (2U高)。而每臺標(biāo)準(zhǔn)的Nutanix Block (區(qū)塊) 設(shè)備均含有四個獨立的Nutanix節(jié)點,每個Node(節(jié)點)都是一臺獨立的x86服務(wù)器。卻能夠提供4臺標(biāo)準(zhǔn)2路Intel CPU的x86 服務(wù)器和最大48TB存儲容量。圖2.2:Nutanix Block (區(qū)塊 ) 和 Node (節(jié)點 )Nutani

17、x的計算資源池是通過x86服務(wù)器虛擬化來實現(xiàn)的,可以支持VMware vSphere、MicroSoft Hyper-v及Nutanix Acropolis平臺提供的KVM等Hypervisor,如圖2.3。在虛擬化Hypervisor層形成計算資源池,為業(yè)務(wù)系統(tǒng)的虛擬機(jī)提供不同的服務(wù)質(zhì)量和能力,包括了高可用(High Availability)、容錯(Fault Tolerant)、在線遷移(Live Migration/vMotion)、資源動態(tài)負(fù)載均衡(Distributed Resource Scheduler)等虛擬化的特性。同時,Nutanix可以支持業(yè)務(wù)虛擬機(jī)在不同的Hyperv

18、isor之前進(jìn)行遷移,也就是V2V的能力,例如從vSphere遷移到KVM等。圖2.3 超融合架構(gòu)計算資源池(x86服務(wù)器虛擬化)存儲資源Nutanix提供的分布式文件系統(tǒng)(NDFS)可以將一組集群內(nèi)的節(jié)點組成一個統(tǒng)一的分布式存儲平臺。NDFS對于x86虛擬化平臺軟件而言就是一個集中的共享式存儲,與任何其他集中式存儲陣列一樣工作,且提供更為簡單便捷的存儲管理,無需像傳統(tǒng)集中存儲那樣再配置LUN、卷、或者Raid組。圖2.4 Nutanix分布式存儲架構(gòu)和功能Nutanix分布式存儲架構(gòu)不僅同樣提供傳統(tǒng)存儲的能力外,還提供更多的能力。針對于虛擬化方面提供快照、克隆等機(jī)制,數(shù)據(jù)層實現(xiàn)本地優(yōu)先訪問、

19、存儲分層等性能機(jī)制,對數(shù)據(jù)進(jìn)行壓縮和去重提高存儲可用容量,借助兩份以上冗余數(shù)據(jù)提供存儲的可靠性,增加或減少節(jié)點數(shù)據(jù)分布會自動平臺,當(dāng)節(jié)點宕機(jī)或磁盤損壞后具備數(shù)據(jù)自恢復(fù)能力等。Nutanix每個節(jié)點提供兩種磁盤,標(biāo)準(zhǔn)配置為2塊SSD,容量從480GB到1.6TB;4塊SATA的HDD,容量為1TB和2TB (部分型號節(jié)點提供4TB和6TB的HDD)。圖2.5 分布式存儲系統(tǒng)邏輯架構(gòu)NDFS被設(shè)計成為非常動態(tài)的平臺,可以適用于不同工作負(fù)載的應(yīng)用,并且允許混合節(jié)點類型:例如將計算密集型節(jié)點和存儲密集型節(jié)點混合在一個集群中。對于集群內(nèi)部磁盤容量大小不同的,確保數(shù)據(jù)一致的分布非常重要。NDFS有自帶的稱

20、為磁盤平衡的技術(shù),用來確保數(shù)據(jù)一致的分布在集群內(nèi)部各節(jié)點上。磁盤平衡功能與各節(jié)點的本地磁盤利用率和內(nèi)置的NDFS ILM(數(shù)據(jù)生命周期管理)一同工作。它的目標(biāo)是使得所有節(jié)點的磁盤利用率大致相等。另外,Nutanix節(jié)點通過ILM實現(xiàn)SSD和HDD的數(shù)據(jù)熱分層。簡單而言,磁盤的熱分層時實現(xiàn)在集群內(nèi)所有節(jié)點的SSD和HDD上,并且由ILM負(fù)責(zé)觸發(fā)數(shù)據(jù)在熱分層之間的遷移。本地節(jié)點的SSD在熱分層中是最高優(yōu)先級的,負(fù)責(zé)所有本地虛擬機(jī)IO的讀寫操作。并且還可以使用集群內(nèi)所有其他節(jié)點的SSD,因為SSD層總是能提供最好的讀寫性能,并且在混合存儲環(huán)境中尤為重要。在超融合的虛擬化環(huán)境中,所有IO操作都將由本地

21、節(jié)點上的Nutanix Controler VM(CVM)接管,以提供極高的性能。據(jù)以往經(jīng)驗及用戶習(xí)慣分析,一般運行服務(wù)器虛擬化的虛擬機(jī)對IO性能要求在200-300 IOPS左右,而單個Nutanix節(jié)點可提供25000上的IOPS,4節(jié)點集群可提供將近100,000的IOPS。完全可以滿足需求。網(wǎng)絡(luò)拓?fù)湓诿總€單節(jié)點上,默認(rèn)提供如下網(wǎng)絡(luò)端口:標(biāo)配2x 1 GbE, 1x 1 GbE RJ45 (IPMI)附加Dual-Port 10 GbE/Quad-Port 10 GbE/Dual-Port 10 GBASE-T2x 1 GbE, 1x 1GbE RJ45 (IPMI)下圖為Nutanix

22、推薦的網(wǎng)絡(luò)拓?fù)鋱D:圖2.6 網(wǎng)絡(luò)拓?fù)湓谟嬎闾摂M化資源池中的每臺虛擬化Hypervisor節(jié)點上會運行多臺虛擬機(jī),多臺虛擬機(jī)之間共享網(wǎng)絡(luò),為了方便管理建議采用虛擬交換機(jī)來配置和管理網(wǎng)絡(luò),虛擬交換機(jī)可在數(shù)據(jù)中心級別提供集中和聚合的虛擬網(wǎng)絡(luò),從而簡化并增強(qiáng)虛擬機(jī)網(wǎng)絡(luò)。在虛擬交換機(jī)的網(wǎng)絡(luò)劃分上,仍然可以采用VLAN的方式劃分不同的子網(wǎng),實現(xiàn)不同子網(wǎng)段的安全和隔離。在網(wǎng)絡(luò)隔離上,也可以采用網(wǎng)絡(luò)虛擬化VXLAN技術(shù)。VXLAN網(wǎng)絡(luò)協(xié)議,即VLAN協(xié)議的擴(kuò)展版本。VXLAN網(wǎng)絡(luò)可以跨越物理邊界,從而跨不連續(xù)的數(shù)據(jù)中心和集群來優(yōu)化計算資源利用率。VXLAN采用邏輯網(wǎng)絡(luò)與物理拓?fù)湎嗷シ蛛x,使用IP的技術(shù),所以無

23、需重新配置底層物理網(wǎng)絡(luò)設(shè)備即可擴(kuò)展VXLAN網(wǎng)絡(luò)。正因如此,也就無需再花費大量時間來規(guī)劃如何調(diào)配VLAN及管理VLAN數(shù)量劇增問題。在每個Nutanix物理節(jié)點上有多種網(wǎng)絡(luò)需求,包括管內(nèi)部通訊網(wǎng)絡(luò)、管理網(wǎng)絡(luò)、生產(chǎn)網(wǎng)絡(luò)等,因此每個Nutanix節(jié)點需配置多塊網(wǎng)卡,網(wǎng)絡(luò)設(shè)計建議如下:類型設(shè)計備注Nutanix物理節(jié)點之間的內(nèi)部通訊網(wǎng)絡(luò)10Gb以太網(wǎng)雙鏈路冗余每個節(jié)點通過兩條萬兆鏈路分別連接兩臺萬兆交換機(jī),保證網(wǎng)絡(luò)設(shè)備和鏈路的冗余度。Nutanix建議用戶使用萬兆網(wǎng)絡(luò)互聯(lián)物理節(jié)點,當(dāng)發(fā)生密集的寫IO時,萬兆網(wǎng)絡(luò)能保證提供足夠帶寬滿足節(jié)點之間的IO同步流量。客戶端與服務(wù)器虛擬機(jī)之間的通訊網(wǎng)絡(luò),虛擬化服

24、務(wù)器對外服務(wù)網(wǎng)絡(luò)1Gb/10Gb以太網(wǎng),雙鏈路冗余每個節(jié)點通過兩條千/萬兆鏈路分別連接兩臺千/萬兆交換機(jī),保證網(wǎng)絡(luò)設(shè)備和鏈路的冗余度。用戶訪問虛擬服務(wù)器對外提供服務(wù)時,通過千/萬兆鏈路可以實現(xiàn)與后端存儲流量隔離。硬件管理網(wǎng)絡(luò)(IPMI)1Gb以太網(wǎng)每個節(jié)點都有獨立的千兆鏈路,用于連接專門的管理網(wǎng)絡(luò),實現(xiàn)管理網(wǎng)絡(luò)與業(yè)務(wù)網(wǎng)絡(luò)、存儲網(wǎng)絡(luò)分離??梢宰畲笙薅缺WC管理的靈活性和安全性。備份容災(zāi)Nutanix平臺自帶的存儲層面及基于虛擬機(jī)粒度的備份恢復(fù)功能Time Stream。用戶可以針對每個虛擬機(jī)設(shè)置不同的備份策略,包括備份計劃和備份保留周期,Time Stream會自動通過存儲快照方式對虛擬機(jī)進(jìn)行備份

25、。所有Time Stream的快照均是基于存儲層面的,與虛擬化層面(例如VMware vSphere)的快照不同,存儲層面的快照不會影響虛擬機(jī)的性能,對于虛擬化軟件是完全透明的。傳統(tǒng)的備份方式通過網(wǎng)絡(luò)傳輸備份數(shù)據(jù),需要特定的備份窗口以免影響業(yè)務(wù)正常運行。Time Stream備份可以與傳統(tǒng)的備份策略互補(bǔ),既能保證對于重要的虛擬機(jī)進(jìn)行高頻度備份又不會占用額外的網(wǎng)絡(luò)帶寬。例如:對于普通虛擬機(jī)可以使用傳統(tǒng)的備份方式每周進(jìn)行全備,將備份數(shù)據(jù)保留在外部存儲(例如磁帶庫中);同時使用Time Stream備份進(jìn)行每天甚至每12小時的備份,數(shù)據(jù)直接保留在存儲上以便快速恢復(fù)。對于比較重要的虛擬機(jī)可以使用傳統(tǒng)備

26、份每周全備、每天增量的方式,將備份數(shù)據(jù)保留在外部存儲(例如磁帶庫中);同時使用Time Stream備份進(jìn)行每2小時甚至每小時的備份,數(shù)據(jù)直接保留在存儲上以便快速恢復(fù)??梢圆捎胿Sphere Data Protection Advanced(簡稱VDPA,只針對vSphere)、Commvault(VMware和Hyper-v)、Weeam(vSphere和Hyper-v)等虛擬化備份解決方案作為有效補(bǔ)充。圖2.7 Metro AvailabilityNutanix容災(zāi)功能,分為兩個級別:Metro Availability和Remote Replication。都是基于虛擬機(jī)快照的方式將更新

27、數(shù)據(jù)異步復(fù)制到遠(yuǎn)程的Nutnaix集群中。Metro Availability可以實現(xiàn)同城雙數(shù)據(jù)中心之間的RPO接近于“零”(需要裸光纖支持),即便是標(biāo)準(zhǔn)Remote Replication也能實現(xiàn)RPO為1小時(基于網(wǎng)絡(luò)帶寬和更新數(shù)據(jù)量),滿足絕大多數(shù)異地容災(zāi)的業(yè)務(wù)需求。Nutanix容災(zāi)支持雙向、一對多、多對一各種不同的復(fù)制模式。并且可以通過Nutanix自帶的管理界面激活容災(zāi)中心的虛擬機(jī)進(jìn)行容災(zāi)演練。不再需要額外繁瑣的災(zāi)難恢復(fù)計劃,基于鼠標(biāo)點擊即可完成容災(zāi)切換。使用Nutanix解決方案可以在項目初始即確定今后的容災(zāi)規(guī)劃,而無需在今后專門立項重復(fù)設(shè)計整體容災(zāi)架構(gòu)。依據(jù)用戶規(guī)模和分支機(jī)構(gòu)數(shù)

28、量,通過簡單靈活的軟件配置,將已有分支機(jī)構(gòu)的虛擬化環(huán)境遠(yuǎn)程容災(zāi)到總部數(shù)據(jù)中心,逐步形成星型的容災(zāi)架構(gòu)。方案優(yōu)勢使用Nutanix虛擬化基礎(chǔ)架構(gòu),在保證用戶數(shù)據(jù)的高速訪問和高可靠性同時,不再需要傳統(tǒng)的集中式存儲架構(gòu),避免在今后運行過程中出現(xiàn)設(shè)計初期忽視的性能問題。按照服務(wù)器和存儲使用現(xiàn)狀,建議使用Nutanix來支撐現(xiàn)有應(yīng)用。在今后隨著業(yè)務(wù)發(fā)展,可以方便的按照節(jié)點進(jìn)行擴(kuò)容,避免建設(shè)初期一次性投資過大,后期卻發(fā)現(xiàn)性能問題,需要追加投資的問題出現(xiàn)。Nutanix是部署廣泛、值得信賴的虛擬化基礎(chǔ)架構(gòu)平臺。Nutanix適用于最重要的國防、醫(yī)療、教育等領(lǐng)域,可為數(shù)據(jù)中心虛擬化帶來橫向擴(kuò)展架構(gòu)、高可用性和

29、可靠性等優(yōu)勢。研究顯示,并非所有的企業(yè)數(shù)據(jù)中心項目真正做到了全面部署,很大一部分項目通常因為基礎(chǔ)設(shè)施的成本不斷攀升而束之高閣。傳統(tǒng)服務(wù)器和存儲陣列擴(kuò)展成為企業(yè)數(shù)據(jù)中心項目成本高昂、過程復(fù)雜并且難于實施的主要因素。從諸多數(shù)據(jù)中心項目實施來看,在企業(yè)環(huán)境中,性能、可靠性、可擴(kuò)展性是關(guān)鍵,因為最終用戶體驗直接來自于基礎(chǔ)設(shè)施的高性能和高可靠性。Nutanix將融合基礎(chǔ)設(shè)施、橫向擴(kuò)展架構(gòu)和軟件定義存儲的各種優(yōu)勢結(jié)合在一起,可提供極佳的數(shù)據(jù)中心虛擬化體驗,而其成本僅為傳統(tǒng)服務(wù)器和存儲器的一小部分。Nutanix完整集群是一種能夠橫向擴(kuò)展的計算和存儲基礎(chǔ)設(shè)施,它使各組織機(jī)構(gòu)無需存儲網(wǎng)絡(luò)(SAN或NAS)即可

30、實現(xiàn)數(shù)據(jù)中心虛擬化。Nutanix專門為虛擬化而設(shè)計,能夠提供全面的計算和存儲能力,以及企業(yè)級的性能、可擴(kuò)展性、可用性和數(shù)據(jù)管理功能。它采用英特爾芯片、固態(tài)硬盤等符合行業(yè)標(biāo)準(zhǔn)的硬件組件,以及市場領(lǐng)先的高級管理程序,以便提供開箱即用的解決方案,讓數(shù)據(jù)中心虛擬化變得極其簡單有效。1)互聯(lián)網(wǎng)架構(gòu)的分布式計算Nutanix架構(gòu)與Google的架構(gòu)相類似,是一種可以橫向擴(kuò)展的計算存儲融合的基礎(chǔ)架構(gòu),消除了對于集中式存儲對于網(wǎng)絡(luò)的依賴。并且在基于Google的架構(gòu)之上,提供了適合企業(yè)環(huán)境的解決方案。GFS是一種特定的解決方案為Google內(nèi)部的應(yīng)用所使用(例如Gmail),而Nutanix提供的是一種通用

31、的虛擬化環(huán)境解決方案。另外,Nutanix有更好的橫向擴(kuò)展能力,提供更好的企業(yè)級數(shù)據(jù)管理特性,通常這些特性需要額外的網(wǎng)絡(luò)或者存儲硬件才能實現(xiàn),例如,高可用性、備份、快照、災(zāi)難恢復(fù)等。2) 專為虛擬化設(shè)計Nutanix是針對虛擬化環(huán)境而設(shè)計的,因此可以很好的支持虛擬化環(huán)境中基于傳統(tǒng)存儲架構(gòu)所實現(xiàn)的功能,包括虛擬機(jī)的熱遷移和高可用性等。Nutanix架構(gòu)是虛擬機(jī)感知型的,它克服可傳統(tǒng)架構(gòu)下解決方案的一些弊端,例如,當(dāng)一個存儲設(shè)備(LUN)共享所有虛擬機(jī)使用時,很難使用在存儲上使用基于虛擬機(jī)的備份、復(fù)制和快照功能,并且當(dāng)架構(gòu)越來越復(fù)雜時,很難診斷性能瓶頸。而Nutanix架構(gòu)克服了這些限制。3) 存

32、儲分層優(yōu)勢Nutanix架構(gòu)充分發(fā)揮了存儲分層的SSD固態(tài)硬盤的優(yōu)勢,由于傳統(tǒng)存儲都是針對機(jī)械硬盤而設(shè)計的,而傳統(tǒng)的機(jī)械硬盤與SSD硬盤的數(shù)據(jù)訪問方式完全不同,機(jī)械硬盤需要旋轉(zhuǎn)和尋道,而SSD硬盤則完全沒有這些限制,因此不能指望針對機(jī)械硬盤設(shè)計的存儲軟件能充分發(fā)揮SSD硬盤的性能優(yōu)勢。Nutanix架構(gòu)使用SSD來保存大量經(jīng)常訪問的數(shù)據(jù),從虛擬機(jī)的元數(shù)據(jù)到業(yè)務(wù)數(shù)據(jù)都保存在分布式Cache中已提供極高的IO性能,并且保存在持久化的存儲中以便于存取。Nutanix架構(gòu)極高的IO吞吐性能是得益于使用SSD磁盤,包括:保留SSD用于IO敏感的操作;包含空間節(jié)省的技術(shù),允許大量的邏輯數(shù)據(jù)被存儲在一個小的

33、物理空間中;自動遷移“冷”數(shù)據(jù)(或者不常訪問的數(shù)據(jù))到大容量SATA硬盤中,并且允許管理員指定低優(yōu)先級的虛擬機(jī)不使用SSD磁盤。橫向擴(kuò)展優(yōu)勢Nutanix給虛擬化環(huán)境帶來的重要差異化因素之一就是,基礎(chǔ)設(shè)施在進(jìn)行擴(kuò)展時其性能仍然保持不變。在Nutanix架構(gòu)中,在每個物理節(jié)點本地都運行一個虛擬存儲控制虛機(jī)(CVM)。CVM負(fù)責(zé)本地所有其他虛擬機(jī)的IO操作。當(dāng)集群擴(kuò)展時,新增加節(jié)點的同時也新增了CVM,保證了整個集群性能的橫向擴(kuò)展。與傳統(tǒng)集中存儲不同,傳統(tǒng)架構(gòu)下集中存儲只有兩個存儲控制器,在集群擴(kuò)展時,存儲控制器無法進(jìn)行有效的擴(kuò)展,從而必然成為整個架構(gòu)的瓶頸。參考圖2.4說明了Nutanix的橫向

34、擴(kuò)展架構(gòu)的優(yōu)勢。為了展示這種能力,Nutanix曾實施過一個巨型的VDI項目,模擬桌面啟動風(fēng)暴,并且當(dāng)基礎(chǔ)設(shè)施從300臺桌面擴(kuò)展到3000臺時,其性能從最終用戶體驗的角度來看保持了一致。在大多數(shù)傳統(tǒng)的存儲環(huán)境中,最佳性能僅出現(xiàn)在第一天,因為應(yīng)用程序或工作負(fù)載越來越多,導(dǎo)致性能隨著時間的推移不斷下降,直至需要進(jìn)行叉車式升級,采用全新的存儲陣列。下圖說明了從300臺桌面擴(kuò)展到3000臺時,應(yīng)用響應(yīng)時間保持不變:相對應(yīng)用性能虛擬桌面數(shù)量與應(yīng)用響應(yīng)時間圖2.8 不同VDI數(shù)量下的相應(yīng)時間性能優(yōu)勢Nutanix解決方案在數(shù)據(jù)中心虛擬化環(huán)境中的主要優(yōu)勢之一就是性能,而性能優(yōu)勢是通過傳統(tǒng)的服務(wù)器和存儲架構(gòu)實

35、現(xiàn)的。在傳統(tǒng)的架構(gòu)中,時延是因為每次訪問存儲都需要通過網(wǎng)絡(luò)而造成的。通過NFS和iSCSI等協(xié)議提供存儲本身沒有問題,但網(wǎng)絡(luò)會增加時延。Nutanix可提供NFS協(xié)議的優(yōu)勢及其易用性,而通過所謂的“無網(wǎng)絡(luò)NFS”消除了網(wǎng)絡(luò)時延。Nutanix分布式文件系統(tǒng)直接對虛擬機(jī)進(jìn)行檢測,然后將特定虛擬機(jī)的所有數(shù)據(jù)存放到本地物理服務(wù)器上。因此,虛擬機(jī)不是通過網(wǎng)絡(luò)、而是通過高速內(nèi)部總線訪問其數(shù)據(jù)。并且所有節(jié)點標(biāo)配SSD磁盤,提供極高的IOPS以滿足虛擬化環(huán)境各種類型應(yīng)用需求,無論是虛擬桌面還是服務(wù)器虛擬化場景。更為重要的是,每個節(jié)點的SSD磁盤并非有每個節(jié)點單獨使用,而是在整個集群范圍內(nèi)作為一個整體使用。言

36、下之意,不會由于單個節(jié)點本地的SSD耗盡而導(dǎo)致其性能急劇下降。當(dāng)出現(xiàn)這種極端情況時,節(jié)點會使用集群中其他節(jié)點的SSD空間。因為即使跨網(wǎng)絡(luò)訪問其他節(jié)點SSD磁盤也會比訪問本地SATA磁盤快很多。因此極端最差情況時性能也與使用傳統(tǒng)集中存儲架構(gòu)時服務(wù)器通過網(wǎng)絡(luò)訪問數(shù)據(jù)的場景相當(dāng)。其實不會出現(xiàn)這種極端情況,因為當(dāng)SSD利用率超過一定閾值后,Nutanix的CVM會自動發(fā)現(xiàn)并將最少訪問的數(shù)據(jù)從SSD遷移到SATA上,以保證SSD有足夠容量滿足突發(fā)的IO請求。這一自動熱分層技術(shù)對虛擬化主機(jī)而言完全透明。用戶無需關(guān)心數(shù)據(jù)保存在哪里,這完全由CVM依據(jù)數(shù)據(jù)訪問頻度而自動調(diào)度??煽啃訬utanix平臺使用復(fù)制因

37、子(RF - Replication Factor)和校驗和(checksum)來保證當(dāng)節(jié)點或者磁盤失效時,數(shù)據(jù)的冗余度和可用性。當(dāng)數(shù)據(jù)寫入SSD時,會被“同步”復(fù)制到另1個或者2個Nutanix CVM的SSD之中(依賴RF設(shè)置為2或者3),當(dāng)這個操作完成之后,此次寫操作才被確認(rèn)(Ack)。這樣能確保數(shù)據(jù)至少存在于2個或者3個獨立的節(jié)點上,保證數(shù)據(jù)的冗余度。所有節(jié)點都參與數(shù)據(jù)的復(fù)制操作,這樣能消除“熱點節(jié)點”,并保證線性的性能擴(kuò)展。當(dāng)數(shù)據(jù)被寫入時,同時計算該數(shù)據(jù)塊的校驗和,并且作為數(shù)據(jù)塊元數(shù)據(jù)中的一部分進(jìn)行存儲。隨后數(shù)據(jù)塊在保證滿足RF的前提下,被“異步”推送到HDD中。當(dāng)發(fā)生節(jié)點或者磁盤失

38、效,數(shù)據(jù)塊會重新在所有節(jié)點間進(jìn)行復(fù)制以滿足復(fù)制因子的設(shè)置。任何時候,讀取數(shù)據(jù)塊并同時計算其校驗和以確保數(shù)據(jù)塊有效。當(dāng)數(shù)據(jù)塊檢查結(jié)果不匹配校驗和時,副本數(shù)據(jù)將會覆蓋該無效數(shù)據(jù)塊。在Nutanix分布式文件系統(tǒng)中(NDFS),我們使用了一些關(guān)鍵技術(shù)來確保:數(shù)據(jù)在100%時間內(nèi)都是可用的(即“強(qiáng)一致性”),并且保證NDFS擴(kuò)展到超大規(guī)模數(shù)據(jù)量時依然可靠。這就是文件系統(tǒng)元數(shù)據(jù)強(qiáng)一致性的Paxos 算法 /wiki/Paxos_(computer_science)。NDFS使用一種“環(huán)狀”的Key-Value結(jié)構(gòu)的分布式數(shù)據(jù)庫來保存重要的元數(shù)據(jù)。為了確保元數(shù)據(jù)的可用性和冗余度,也同樣引入了復(fù)制因子(RF

39、)。一旦一條Metadata記錄被寫或者更新后,這條記錄將同時寫到“環(huán)”中的另一個節(jié)點,然后被復(fù)制到n個其他節(jié)點(n決定與集群的大?。<褐写蠖鄶?shù)(majority)節(jié)點必須同意才能commit一條記錄,這就是強(qiáng)一致性的Paxos 算法。這確保了Nutanix平臺數(shù)據(jù)的“可靠性”。易于部署Nutanix開箱即用的部署方式,可以免去傳統(tǒng)集中存儲環(huán)境下存儲的規(guī)劃、連接、配置等復(fù)雜的管理操作,無需再配置Raid組、LUN、卷等。新設(shè)備安裝上架后只需要約20分鐘即可完成初始化配置,用戶可以馬上開始部署應(yīng)用虛擬機(jī)。Nutanix集群的擴(kuò)展也非常方便,通過鼠標(biāo)點擊即可掃描并自動發(fā)現(xiàn)新安裝的節(jié)點,按照提示

40、完成IP地址配置之后,新節(jié)點即完成加入集群操作,新增資源也自動納入資源池統(tǒng)一調(diào)度管理。集中管理通過Nutanix的Prism界面實現(xiàn)所有基礎(chǔ)架構(gòu)的管理操作,包括健康檢查、物理機(jī)管理、虛擬機(jī)管理、存儲管理、數(shù)據(jù)保護(hù)、告警監(jiān)控、報表分析等內(nèi)容。用戶不再需要通過不同界面進(jìn)行各種管理任務(wù),所有任務(wù)都在同一個界面中完成,極大減少的管理復(fù)雜程度。并且可以通過設(shè)置不同權(quán)限的用戶,支持AD整合,將域用戶和角色對應(yīng)到Nutanix的用戶和組,從而實現(xiàn)分級的運維管理。圖2.9 統(tǒng)一管理界面Prism所有物理和虛擬管理對象均提供詳細(xì)的性能采集數(shù)據(jù),包括CPU、內(nèi)存、磁盤容量、IOPS、吞吐、讀寫延遲等指標(biāo),不再依賴

41、于專用的監(jiān)控工具和復(fù)雜的監(jiān)控腳本。圖2.10統(tǒng)一監(jiān)控能力自定義的報表工具可以靈活的將將不同監(jiān)控項進(jìn)行組合和展示,減少日常維護(hù)的工作量。圖2.11 自定義監(jiān)控指標(biāo)另外,Nutanix還提供Prism Central的管理組件,可以將多個Prism管理界面集中管理,不僅可以節(jié)省管理員在多個集群之間切換的繁瑣動作,更能夠?qū)⒍鄠€集群的狀態(tài)數(shù)據(jù)進(jìn)行匯總,可以方便管理員快速定位當(dāng)前整個IT架構(gòu)中是否存在熱點主機(jī)或者熱點虛擬機(jī),特別有利于簡化大規(guī)模IT架構(gòu)、或者多站點場景下的日常管理任務(wù)。自動故障恢復(fù)Nutanix拋棄了傳統(tǒng)的Raid機(jī)制來保護(hù)硬件失效,采用全新的復(fù)制因子和校驗和技術(shù)來保證當(dāng)節(jié)點或者磁盤失效

42、時,數(shù)據(jù)的冗余度和可用性(參見章節(jié)2.5.4 可靠性)。當(dāng)發(fā)生單點磁盤甚至是單個節(jié)點故障時,Nutanix集群將自動發(fā)現(xiàn)這一故障,并立刻在后臺開始數(shù)據(jù)重建工作。整個重建過程非常簡單,假設(shè)復(fù)制因子是2,系統(tǒng)會自動發(fā)現(xiàn)只有1份副本的數(shù)據(jù)塊,并將其在另一個節(jié)點上復(fù)制第2份副本即可。最重要的是,這個數(shù)據(jù)重建過程是基于MapReduce的分布式框架實現(xiàn)的,集群中所有節(jié)點的CVM都可參與數(shù)據(jù)重建工作,并且依據(jù)負(fù)載情況動態(tài)調(diào)配,因此重建工作不會影響系統(tǒng)性能。與傳統(tǒng)的Raid數(shù)據(jù)重建不同的是,Raid重建過程會極大影響磁盤的正常操作,導(dǎo)致整個系統(tǒng)性能降級,并且由于磁盤容量越來越大,整個重建過程也將耗費更長時間

43、,甚至超過20小時。另外,Nutanix獨有的Availability Domain技術(shù)更能預(yù)防單個機(jī)箱(即整個Block)失效時數(shù)據(jù)依然可以訪問,實現(xiàn)原理即當(dāng)用戶環(huán)境中有超過3個block,并且配置相近的節(jié)點數(shù)量時,Nutanix CVM會自動將原始數(shù)據(jù)塊和副本數(shù)據(jù)塊放在不同的Block中的兩個節(jié)點上(缺省RF=2時,數(shù)據(jù)只是隨機(jī)放在兩個不同的節(jié)點上,有可能這兩個節(jié)點位于同一個Block中)。當(dāng)發(fā)生機(jī)箱故障時,由于數(shù)據(jù)副本在機(jī)箱之外,因此數(shù)據(jù)依然可用,Availability Domain可以提供更高等級的數(shù)據(jù)冗余度。配置清單方案建議的詳細(xì)軟配置清單:NX-3000系列配置數(shù)量NX-3460

44、 G4XX節(jié)點每節(jié)點配置:CPU:2顆16核E5-2630v3 2.4GHzMEM:256GB (16 x 16GB)SSD:2塊480GBHDD: 4塊2TB SATANETWORK:4個10Gb 電口分布式存儲大數(shù)據(jù)分析平臺等NX-1000系列配置數(shù)量NX-1465 G4XX節(jié)點每節(jié)點配置:CPU:2顆16核E5-2640v3 2.6GHzMEM:256GB (16 x 16GB)SSD:1塊480GBHDD: 2塊6TB SATANETWORK:4個10Gb 電口服務(wù)器虛擬化方案配置容量和能力:目前存儲總?cè)萘靠蛇_(dá)XX TB,分布式存儲吞吐量達(dá)XX IOPS以上,支持虛擬機(jī)數(shù)量達(dá)XX個VM

45、以上。超融合產(chǎn)品介紹Nutanix的發(fā)展歷程N(yùn)utanix的創(chuàng)始人正是創(chuàng)建谷歌分布式系統(tǒng)的那些人,該公司為企業(yè)數(shù)據(jù)中心提供云環(huán)境中常見的可擴(kuò)展性、可用性、簡單性和高性能。下圖顯示了傳統(tǒng)數(shù)據(jù)中心與谷歌數(shù)據(jù)中心的外觀差異。大多數(shù)云提供商實施的是所謂的軟件定義數(shù)據(jù)中心。在傳統(tǒng)的數(shù)據(jù)中心,當(dāng)管理員需要更多存儲器時,便購買存儲器;當(dāng)需要更多計算能力時,便購買服務(wù)器;當(dāng)需要安全性時,便購買防火墻;諸如此類。而在軟件定義數(shù)據(jù)中心,你只有服務(wù)器:當(dāng)你需要更多存儲容量時,便調(diào)用存儲服務(wù);當(dāng)你需要更多計算能力時,同樣的服務(wù)器便為你調(diào)出各種應(yīng)用程序;當(dāng)你需要其它基礎(chǔ)設(shè)施服務(wù)時,便可按照自己的需要調(diào)用和停用各種服務(wù)。因此,在軟件定義數(shù)據(jù)中心,硬件不再是至關(guān)重要的組件,數(shù)據(jù)中心的所有事項均在軟件層進(jìn)行控制和界定,因此能夠?qū)崿F(xiàn)前所未有的簡便性、可擴(kuò)展性

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

最新文檔

評論

0/150

提交評論