版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領
文檔簡介
1、1公安云計算數據中心建設規(guī)范(初稿) TOC o 1-4 h z u HYPERLINK l _Toc379963989 第1章云計算數據中心建設背景 PAGEREF _Toc379963989 h 5 HYPERLINK l _Toc379963990 1.1傳統(tǒng)數據中心存在的問題 PAGEREF _Toc379963990 h 5 HYPERLINK l _Toc379963991 1.2什么是云計算數據中心 PAGEREF _Toc379963991 h 6 HYPERLINK l _Toc379963992 1.3云計算數據中心的價值 PAGEREF _Toc379963992 h 8
2、 HYPERLINK l _Toc379963993 1.4云計算數據中心建設目標 PAGEREF _Toc379963993 h 10 HYPERLINK l _Toc379963994 第2章需求分析 PAGEREF _Toc379963994 h 11 HYPERLINK l _Toc379963995 2.1功能需求分析 PAGEREF _Toc379963995 h 11 HYPERLINK l _Toc379963996 2.2業(yè)務數據流需求分析 PAGEREF _Toc379963996 h 11 HYPERLINK l _Toc379963997 2.3安全保障體系需求分析 P
3、AGEREF _Toc379963997 h 11 HYPERLINK l _Toc379963998 2.3.1 云資源系統(tǒng)安全 PAGEREF _Toc379963998 h 12 HYPERLINK l _Toc379963999 2.3.1業(yè)務安全 PAGEREF _Toc379963999 h 12 HYPERLINK l _Toc379964000 2.3.2網絡安全 PAGEREF _Toc379964000 h 12 HYPERLINK l _Toc379964001 2.3.3主機安全 PAGEREF _Toc379964001 h 13 HYPERLINK l _Toc37
4、9964002 2.3.4安全審計 PAGEREF _Toc379964002 h 13 HYPERLINK l _Toc379964003 第3章云計算數據中心設計要求 PAGEREF _Toc379964003 h 14 HYPERLINK l _Toc379964004 3.1云計算數據中心總體架構 PAGEREF _Toc379964004 h 14 HYPERLINK l _Toc379964005 3.1.1信息技術發(fā)展趨勢 PAGEREF _Toc379964005 h 15 HYPERLINK l _Toc379964006 數據中心技術演進路線 PAGEREF _Toc379
5、964006 h 15 HYPERLINK l _Toc379964007 數據中心發(fā)展趨勢 PAGEREF _Toc379964007 h 16 HYPERLINK l _Toc379964008 3.1.2云數據中心總體架構 PAGEREF _Toc379964008 h 16 HYPERLINK l _Toc379964009 3.1.3邏輯架構 PAGEREF _Toc379964009 h 17 HYPERLINK l _Toc379964010 總體邏輯架構 PAGEREF _Toc379964010 h 17 HYPERLINK l _Toc379964011 IT硬件邏輯架構
6、PAGEREF _Toc379964011 h 18 HYPERLINK l _Toc379964012 3.1.4技術架構 PAGEREF _Toc379964012 h 19 HYPERLINK l _Toc379964013 3.1.5物理部署架構 PAGEREF _Toc379964013 h 20 HYPERLINK l _Toc379964014 3.2網絡資源池 PAGEREF _Toc379964014 h 20 HYPERLINK l _Toc379964015 3.2.1網絡設計要點 PAGEREF _Toc379964015 h 20 HYPERLINK l _Toc37
7、9964016 網絡資源池設計 PAGEREF _Toc379964016 h 23 HYPERLINK l _Toc379964017 分層網絡設計 PAGEREF _Toc379964017 h 26 HYPERLINK l _Toc379964018 虛擬機交換網絡 PAGEREF _Toc379964018 h 28 HYPERLINK l _Toc379964019 層次化的安全防護設計 PAGEREF _Toc379964019 h 30 HYPERLINK l _Toc379964020 雙活數據中心網絡設計 PAGEREF _Toc379964020 h 30 HYPERLIN
8、K l _Toc379964021 多中心二層互聯網絡設計 PAGEREF _Toc379964021 h 33 HYPERLINK l _Toc379964022 3.3計算資源池設計 PAGEREF _Toc379964022 h 38 HYPERLINK l _Toc379964023 計算資源池分類設計 PAGEREF _Toc379964023 h 38 HYPERLINK l _Toc379964024 服務器虛擬化的構建技術 PAGEREF _Toc379964024 h 40 HYPERLINK l _Toc379964025 虛擬機資源的定義 PAGEREF _Toc3799
9、64025 h 41 HYPERLINK l _Toc379964026 虛擬交換網絡設計 PAGEREF _Toc379964026 h 42 HYPERLINK l _Toc379964027 虛擬資源安全設計 PAGEREF _Toc379964027 h 45 HYPERLINK l _Toc379964028 虛擬資源的物理分布 PAGEREF _Toc379964028 h 47 HYPERLINK l _Toc379964029 虛擬資源模板設計 PAGEREF _Toc379964029 h 48 HYPERLINK l _Toc379964030 HA集群設計 PAGEREF
10、 _Toc379964030 h 48 HYPERLINK l _Toc379964031 虛擬機生命周期管理 PAGEREF _Toc379964031 h 49 HYPERLINK l _Toc379964032 0動態(tài)資源調度 PAGEREF _Toc379964032 h 52 HYPERLINK l _Toc379964033 1動態(tài)資源擴展 PAGEREF _Toc379964033 h 53 HYPERLINK l _Toc379964034 2性能狀態(tài)監(jiān)控 PAGEREF _Toc379964034 h 57 HYPERLINK l _Toc379964035 3.4存儲資源池
11、設計 PAGEREF _Toc379964035 h 59 HYPERLINK l _Toc379964036 3.4.1存儲類型設計 PAGEREF _Toc379964036 h 59 HYPERLINK l _Toc379964037 3.4.2存儲架構設計 PAGEREF _Toc379964037 h 60 HYPERLINK l _Toc379964038 3.4.3存儲功能設計 PAGEREF _Toc379964038 h 61 HYPERLINK l _Toc379964039 3.4.4分布式存儲設計 PAGEREF _Toc379964039 h 61 HYPERLINK
12、 l _Toc379964040 第4章云計算數據中心管理運維 PAGEREF _Toc379964040 h 65 HYPERLINK l _Toc379964041 4.1云計算數據中心管理設計 PAGEREF _Toc379964041 h 65 HYPERLINK l _Toc379964042 4.1.1自助式云業(yè)務工作流 PAGEREF _Toc379964042 h 66 HYPERLINK l _Toc379964043 4.1.2分級管理 PAGEREF _Toc379964043 h 67 HYPERLINK l _Toc379964044 4.1.3數據集中保護與審核 P
13、AGEREF _Toc379964044 h 68 HYPERLINK l _Toc379964045 4.2IT運維管理流程 PAGEREF _Toc379964045 h 70 HYPERLINK l _Toc379964046 4.2.1服務臺 PAGEREF _Toc379964046 h 70 HYPERLINK l _Toc379964047 4.2.2配置管理流程 PAGEREF _Toc379964047 h 70 HYPERLINK l _Toc379964048 4.2.3事件管理流程 PAGEREF _Toc379964048 h 71 HYPERLINK l _Toc3
14、79964049 4.2.4問題管理服務流程 PAGEREF _Toc379964049 h 72 HYPERLINK l _Toc379964050 4.2.5變更管理流程 PAGEREF _Toc379964050 h 73 HYPERLINK l _Toc379964051 4.3機房運行管理制度 PAGEREF _Toc379964051 h 74 HYPERLINK l _Toc379964052 4.3.1機房環(huán)境要求 PAGEREF _Toc379964052 h 74 HYPERLINK l _Toc379964053 4.3.2機房出入制度 PAGEREF _Toc37996
15、4053 h 75 HYPERLINK l _Toc379964054 4.3.3出入管理條例 PAGEREF _Toc379964054 h 75 HYPERLINK l _Toc379964055 4.3.4機房值班員職責 PAGEREF _Toc379964055 h 76 HYPERLINK l _Toc379964056 4.3.5軟件管理 PAGEREF _Toc379964056 h 77 HYPERLINK l _Toc379964057 第5章業(yè)務應用系統(tǒng)部署規(guī)劃 PAGEREF _Toc379964057 h 77 HYPERLINK l _Toc379964058 5.1
16、業(yè)務系統(tǒng)評估 PAGEREF _Toc379964058 h 77 HYPERLINK l _Toc379964059 5.2云平臺業(yè)務應用部署規(guī)劃 PAGEREF _Toc379964059 h 79 HYPERLINK l _Toc379964060 5.2.1云平臺資源池的劃分 PAGEREF _Toc379964060 h 79 HYPERLINK l _Toc379964061 5.2.2服務器容量規(guī)劃 PAGEREF _Toc379964061 h 81 HYPERLINK l _Toc379964062 5.2.3虛擬機資源分配 PAGEREF _Toc379964062 h 8
17、3 HYPERLINK l _Toc379964063 5.2.4虛擬機的物理分布 PAGEREF _Toc379964063 h 83 HYPERLINK l _Toc379964064 5.3業(yè)務應用模板設計 PAGEREF _Toc379964064 h 84 HYPERLINK l _Toc379964065 5.4業(yè)務應用云化遷移 PAGEREF _Toc379964065 h 85 HYPERLINK l _Toc379964066 第6章建設模式探討 PAGEREF _Toc379964066 h 87云計算數據中心建設背景傳統(tǒng)數據中心存在的問題由于網絡的發(fā)展和數據重要性的增加,
18、目前大多數的單位和部門都搭建了自身的數據中心平臺,但是隨著平臺的規(guī)模和復雜程度出現了大幅度的提升,而面臨著一種新的困境:高昂的硬件成本和管理運營成本、緩慢的業(yè)務部署速度以及缺乏統(tǒng)一管理的基礎架構。高昂的成本支出隨著數據中心規(guī)模的不斷膨脹,數據中心內的服務器數量、網絡復雜程度以及存儲容量急劇增長,隨之帶來的是高昂的硬件成本支出以及運營成本支出(占地空間、管理人員、電力、制冷等)。硬件成本:每年服務器在容量和計算能力上都呈增長趨勢。隨著服務器變得越來越強大,最大化的利用這些超強資源也變得愈加困難。當前的用戶習慣為每個應用服務部署一臺獨立服務器以確保完全控制該應用服務。幾乎在所有情況下,部署這些功能
19、強大的服務器將會使服務器過剩50-500%。軟件成本:通常服務器需要從操作系統(tǒng)或應用軟件廠商那里獲取許可證與支持。管理成本:迄今為止,管理成本是服務器成本中最大的一個部分,軟件、硬件系統(tǒng)的更新導致管理人員不得不對軟硬件進行升級、打補丁、備份以及修復,部署新的服務器及應用,維護用戶賬戶并執(zhí)行許多其他任務。緩慢的業(yè)務部署速度新的服務器、存儲設備和網絡設備的部署周期較長,整個過程包括硬件選型、采購、上架安裝、操作系統(tǒng)安裝、應用軟件安裝、網絡配置等。一般情況下,這個過程需要的工作量交付周期短則幾個月,長則1年以上。分散的管理策略目前數據中心內的硬件基礎設施處于分散的管理狀態(tài),具體表現為:機房管理員遵循
20、“根據最壞情況下的工作負載來確定所有服務器的配置”這一策略導致服務器的配置普遍過高。容易出現大量“只安裝一個應用程序”而未得到充分利用的x86服務器。提交變更請求與進行運營變更之間存在較長的延遲。缺少統(tǒng)一的集中化IT構建策略,無法對數據中心內的基礎設施進行監(jiān)控、管理、報告和遠程訪問。什么是云計算數據中心云計算是一種基于網絡的計算服務供給方式,它以跨越異構、動態(tài)流轉的資源池為基礎提供給客戶可自治的服務,實現資源的按需分配、按量計費。云計算導致資源規(guī)模化、集中化,促進IT產業(yè)的進一步分工,讓IT系統(tǒng)的建設和運維統(tǒng)一集中到云計算運營商處,普通用戶都更加關注于自己的業(yè)務,從而提高了信息化建設的效率和彈
21、性,促進社會和國家生產生活的集約化水平。云計算主要包含兩個層次的含義:一是從被服務的客戶端看:在云計算環(huán)境下,用戶無需自建基礎系統(tǒng),可以更加專注于自己的業(yè)務。用戶可按需獲取網絡上的資源,并按使用量付費。如同打開電燈用電,打開水龍頭用水一樣,而無需考慮是電從哪里來,水是哪家水廠的。二是從云計算后臺看:云計算實現資源的集中化、規(guī)模化。能夠實現對各類異構軟硬件基礎資源的兼容,如電網支持水電廠、火電廠、風電廠、核電廠等異構電廠并網;還能夠實現資源的動態(tài)流轉,如西電東送,西氣東輸、南水北調等。支持異構資源和實現資源的動態(tài)流轉,可以更好的利用資源,降低基礎資源供應商的成本。云計算的特征基于網絡云計算是從互
22、聯網演變而來,云計算本質通過網絡將計算力進行集中,并且通過網絡進行服務,如果沒有網絡,計算力集中規(guī)模、服務的種類和可獲得性就會受到極大的限制,如集群計算雖然也是基于網絡的計算模式,但是不能提供基于網絡的服務,還不能稱之為云計算。支持異構基礎資源云計算可以構建在不同的基礎平臺之上,即可以有效兼容各種不同種類的硬件和軟件基礎資源。硬件基礎資源,主要包括網絡環(huán)境下的三大類設備,即:計算(服務器)、存儲(存儲設備)和網絡(交換機、路由器等設備);軟件基礎資源,則包括單機操作系統(tǒng)、中間件、數據庫等。從橫向維度考慮,支持異構資源,意味著在同一時期內,可以采購不同廠商的軟硬件。對云計算平臺的構建者而言,這種
23、形式更為靈活;而從縱向維度考慮,意味著云計算平臺既可以兼容當下采購的新設備,也可以兼容以前的老設備,既可以兼容當前的新軟件系統(tǒng),也可以兼容以前遺留的老軟件系統(tǒng)。支持異構的基礎資源這一特性,在有效利用老資源的同時,也保證了新老資源的平滑過渡。支持資源動態(tài)擴展支持資源動態(tài)伸縮,實現基礎資源的網絡冗余,意味著添加、刪除、修改云計算環(huán)境的任一資源節(jié)點,亦或任一資源節(jié)點異常宕機,都不會導致云環(huán)境中的各類業(yè)務的中斷,也不會導致用戶數據的丟失。這里的資源節(jié)點可以是計算節(jié)點、存儲節(jié)點和網絡節(jié)點。而資源動態(tài)流轉,則意味著在云計算平臺下實現資源調度機制,資源可以流轉到需要的地方。如在系統(tǒng)業(yè)務整體升高情況下,可以啟
24、動閑置資源,納入系統(tǒng)中,提高整個云平臺的承載能力。而在整個系統(tǒng)業(yè)務負載低的情況下,則可以將業(yè)務集中起來,而將其他閑置的資源轉入節(jié)能模式,從而在提高部分資源利用率的情況下,達到其他資源綠色、低碳的應用效果。支持異構多業(yè)務體系在云計算平臺上,可以同時運行多個不同類型的業(yè)務。異構,表示該業(yè)務不是同一的,不是已有的或事先定義好的,而應該是用戶可以自己創(chuàng)建并定義的服務。這也是云計算與網格計算的一個重要差異。支持海量信息處理云計算,在底層,需要面對各類眾多的基礎軟硬件資源;在上層,需要能夠同時支持各類眾多的異構的業(yè)務;而具體到某一業(yè)務,往往也需要面對大量的用戶。由此,云計算必然需要面對海量信息交互,需要有
25、高效、穩(wěn)定的海量數據通信/存儲系統(tǒng)作支撐。按需分配,按量計費按需分配,是云計算平臺支持資源動態(tài)流轉的外部特征表現。云計算平臺通過虛擬分拆技術,可以實現計算資源的同構化和可度量化,可以提供小到一臺計算機,多到千臺計算機的計算能力。按量計費起源于效用計算,在云計算平臺實現按需分配后,按量計費也成為云計算平臺向外提供服務時的有效收費形式。云計算數據中心的價值云計算是能夠提供動態(tài)資源池、虛擬化和高可用性的下一代計算模式。如果把一個計算的資源,比如一臺服務器,看成一個小水滴,當很多資源匯聚在一起的時候,它就形成了計算的云,正如我們不關心水滴是怎么產生的,用戶也不需要關心計算資源位于哪臺物理的服務器上。用
26、戶關心的是需要什么樣的計算能力,需要什么時刻擁有這些計算能力。云計算管理平臺可以為用戶提供“按需計算”服務。從資源共享方面在整合市公安信息中心現有軟硬件資源基礎上建設云計算平臺。充分發(fā)揮云計算平臺虛擬化計算、按需使用、動態(tài)擴展的特性,為市公安各個部門提供計算、存儲和信息資源服務,實現軟硬件集中部署、統(tǒng)建共用、信息共享,避免重復投資?;谠朴嬎慵夹g建設公共的云服務平臺來運行市公安正常運行所需要的業(yè)務,可以將市公安運維中共性的業(yè)務部分進行提煉和歸納,并實現,可以保證共性業(yè)務實現的規(guī)范性、安全性、全面性和穩(wěn)定性,也避免了公共功能模塊的多次開發(fā)實現所造成的冗余浪費乃至系統(tǒng)不兼容錯誤。更重要的是公共的云
27、服務平臺可以提供一系列支撐服務,業(yè)務應用子系統(tǒng)在這些支撐服務的基礎之上進行開發(fā),大大降低了開發(fā)難度和成本,使各部門可以更加專注于其本身綜合的、深層次的、相關聯的業(yè)務需求,而不是基礎設施的建設,把精力用在高效運行和創(chuàng)新的關鍵點業(yè)務需求上,比傳統(tǒng)的建設模式更好的把握業(yè)務需求,將會大大提高市公安信息化的建設效益。從管理工作方面信息中心工作的本質就是服務。如果各部門的業(yè)務應用子系統(tǒng)都是按照“云計算”的統(tǒng)一標準進行開發(fā)實施、注冊部署,可以方便的對機關各類業(yè)務工作進行標準化管理,從統(tǒng)一管理的的角度對系統(tǒng)進行規(guī)范管理,而不是各掃門前雪,在大大降低管理成本的同時,也大量的節(jié)約系統(tǒng)的運行成本。從技術實現方面基于
28、云計算的數據中心平臺可以按照SOA的松耦合方式來建設,模塊間通過標準協(xié)議實現相互調用和消息傳遞,這種技術架構較為成熟,具有較好的擴展性,可以確保信息系統(tǒng)技術層面可持續(xù)發(fā)展,更有助于不同服務業(yè)務之間的信息共享,提高公安各部門業(yè)務之間的協(xié)同。從標準化實現方面基于云計算的數據中心平臺可以提供一種標準化的建設模式,可以統(tǒng)一制定共性辦公業(yè)務標準、管理工作實現標準、技術安全標準、保密安全標準、軟硬件技術實現標準等,這對標準的實施和推廣具有重要意義。云計算數據中心建設目標公安系統(tǒng)云計算數據中心是數據大集中而形成的集成IT應用環(huán)境,它是各種IT業(yè)務和應用服務的提供中心,是數據運算/交換/存儲的中心。云計算數據
29、中心IT基礎設施的按需使用以及自動化管理和調度作為建設目標,幫助公安系統(tǒng)打造一個各類資源池化整合的數據中心架構,以滿足當下以及未來公安智能化業(yè)務對基礎IT設施的要求。具體目標如下:1、通過標準化、虛擬化的資源池部署,提高整體IT基礎設施資源利用率;2、實現IT基礎設施資源的自動化部署,以滿足未來新業(yè)務快速上線的需要;3、實現IT基礎設施資源的動態(tài)擴展,以滿足物聯網、大數據模型下的業(yè)務突發(fā)負載需要;4、通過提供一體化解決方案簡化公安數據中心結構,減輕系統(tǒng)的復雜度,打造一個綠色環(huán)保、統(tǒng)一管理的云計算數據中心。5、通過各類資源的整合池化消除資源和數據孤島,為公安系統(tǒng)的大數據分析、挖掘應用提供基礎設施
30、層面的支撐。需求分析功能需求分析以豐富的云基礎設施,云存儲,云安全和各類云服務共同構建云計算數據中心的IaaS云平臺,服務于公安各級部門,為各部門集中提供基礎的信息處理能力,承接各部門的應用系統(tǒng)遷移和部署,實現相關云數據中心的資源整合、集中部署與統(tǒng)一管理。業(yè)務數據流需求分析建成后的市級公安云計算數據中心,將為整個市以及區(qū)縣、所等單位提供服務,業(yè)務數據流主要分為以下幾類:1、市、區(qū)縣、所等單位通過公安網訪問云計算數據中心平臺;2、單體數據中心內部的橫向流量:不同業(yè)務系統(tǒng)之間的數據對接,比如對多個業(yè)務系統(tǒng)的數據進行大數據分析,以及虛擬機的遷移(滿足HA、業(yè)務爆發(fā)類需要);3、市內兩個或者多個數據中
31、心通過雙活的方式,同時對公安用戶提供業(yè)務訪問等服務;4、省市之間的縱向流量:市公安的虛擬機等業(yè)務,通過公安二級網備份至省公安數據中心所劃分的特殊區(qū)域;安全保障體系需求分析由于數據中心是公安核心業(yè)務的重要承載平臺,必須向用戶提供一個安全的運行環(huán)境。從安全防護對象和技術實施方式來看,安全的內容應包括系統(tǒng)安全、網絡安全、業(yè)務安全、業(yè)務數據安全、主機安全和安全審計等方面。2.3.1 云資源系統(tǒng)安全云計算數據中心基礎設施資源管理平臺(IaaS云管理平臺)應該通過操作員權限控制、操作日志記錄等功能來保證系統(tǒng)及應用的安全性。應全面考慮操作用戶管理、角色/權限管理、帳戶密碼管理、操作用戶訪問安全保護等,主機賬
32、號、口令、授權、日志等具體要求都應符合相應安全等級保護規(guī)范。應支持對用戶操作進行日志記錄、應支持對用戶操作進行審計、應支持對流經其自身的流量進行控制的能力、當對設備操作系統(tǒng)或應用系統(tǒng)的安全漏洞進行補丁加載時,應不影響設備正常的工作、應具有防病毒能力、當有非法訪問或系統(tǒng)安全性受到破壞時需要告警。業(yè)務安全云計算數據中心管理平臺應實現對所有接入自身的資源池系統(tǒng)進行身份接入認證和權限控制,從而實現僅有合法用戶可對授權的資源進行訪問和操作。具體可體現在:實現基于 IP地址等局數據的資源池系統(tǒng)接入權限控制; 支持基于用戶名和密碼的資源池系統(tǒng)接入權限限制。網絡安全云計算數據中心應建立完善的網絡安全機制,并且
33、安全機制必須能夠覆蓋物理連接網絡以及連接邏輯計算實體(虛擬機)的邏輯連接網絡,以確保對虛擬化條件下計算結點的虛擬主機的防護有效性。包括設置網絡隔離、防火墻、IP 地址檢測與限制、端口限制等。建立完善的外部專用防護手段,在網絡中設置入侵檢測系統(tǒng)(IDS) 、對網絡中節(jié)點間的訪問信息進行主動檢測,如果發(fā)現異常需要立即采取報警、記錄、拒絕等響應措施。 使用防火墻、建立病毒防范系統(tǒng),定期將病毒庫更新到最新狀態(tài),定期對主機系統(tǒng)進行安全掃描,包括檢測系統(tǒng)漏洞、服務端口等;確保系統(tǒng)安全穩(wěn)定運行。其他機制,如賬號密碼集中管理、第三方的日志審計、遠程接入管理、防拒絕服務攻擊、網頁防篡改等。主機安全云計算數據中心
34、中,主機的概念應包括物理主機及虛擬主機兩層含義,虛擬主機是云計算系統(tǒng)中各類業(yè)務應用系統(tǒng)的實際載體。主機安全包括防病毒、防入侵和安全配置要求,以及主機故障時系統(tǒng)恢復要求。結合目前新的病毒威脅和病毒檢測與掃描機制,針對云計算的應用環(huán)境下的windows系統(tǒng),應當具備的防病毒的安全要求。云計算數據中心對各類操作系統(tǒng),應當具備對入侵的檢測、記錄、告警、阻斷等方面的安全要求。云計算數據中心環(huán)境下,對于保證各類操作系統(tǒng)自身應當具備的安全能力的配置要求、檢查要求,以更主動的方式保證主機的安全。云計算數據中心環(huán)境下,對各類虛擬機應用操作系統(tǒng),應當具備對主機的狀態(tài)監(jiān)測、記錄、告警、備份、恢復等方面的安全要求。安
35、全審計在云計算平臺中各層面的安全性審計與安全合規(guī)性管理的要求,該部分功能是云計算管理平臺的各層面安全已經具備一定的日志和專項審計功能基礎上,達到統(tǒng)一、集中的安全審計管理和安全合規(guī)性管理功能。應包括安全監(jiān)控管理、安全合規(guī)管理的內容,對于監(jiān)控和審計事件,以及違規(guī)事件能夠作出響應及報告,形式可以包括郵件通知、系統(tǒng)告警、趨勢及統(tǒng)計報表。云計算數據中心設計要求云計算數據中心總體架構為了更好的描述數據中心系統(tǒng)的整體架構,結合數據中心建設實踐,采用的架構設計方法如下圖所示:架構設計方法從上圖可以看出,系統(tǒng)總體需求分析決定功能架構,功能架構決定數據架構和邏輯架構,數據架構和邏輯架構以及信息技術發(fā)展趨勢決定了技
36、術架構和部署架構。雖然它們之間的關系在有些時候并不是這樣層次分明,而是存在一些互通,但我們仍然希望能以遵循這種清晰的層次關系為主、兼顧層次間的互動性為輔進行整體設計。這樣做的好處是:獨立地分析系統(tǒng)總體需求可以更接近業(yè)務本質;基于實現業(yè)務本質而設計的邏輯架構更趨合理實用,完整性好,可避免出現“為了技術而技術”的設計,或者出現具有離散的局部亮點而忽略了整體平衡的設計;技術架構和部署架構則成為實現的手段和方式,從而恢復技術的本來面目。信息技術發(fā)展趨勢數據中心技術演進路線從目前數據中心發(fā)展情況來看,數據中心的演進可按成熟度來劃分為四個階段,詳見下圖:圖表 STYLEREF 1 s 4 SEQ 圖表 *
37、 ARABIC s 1 3數據中心演進簡化階段在2000年左右開始興起的服務器集中化可以被看作是簡化階段,它是以管理集中、提高單位空間的計算能力為目標,最終實現了運營成本的節(jié)約。虛擬化階段從2005年開始持續(xù)至今的虛擬化熱潮則可以被看作虛擬化的階段。虛擬化技術可以屏蔽產品技術的復雜性和差異性,將IT系統(tǒng)的物理特性隱藏起來,從而使得用戶可以在邏輯層面上簡潔地配置和管理所有IT資源,從而實現資源共享及統(tǒng)一分配。自動化階段云計算技術將數據中心進入了自動化階段,目前很多相關云產品都支持自動負載管理、資源容量管理,但由于沒有統(tǒng)一標準及應用的類型多種多樣,目前成熟度還很低,主要應用在開發(fā)測試環(huán)境。協(xié)作階段
38、在未來,將形成以服務為導向、成本可控、基于策略且能夠實現自動控制的云數據中心,我們稱之為協(xié)作階段。數據中心發(fā)展趨勢通過對數據中心技術演進路線的分析,目前我們處于虛擬化和自動化階段之間,而傳統(tǒng)的煙囪式建設模式所帶來的高成本、高耗能、低利用率、部署周期長、維護管理復雜等問題已經越來越凸顯,為此我們將通過資源整合,引進虛擬化技術逐步向按需配比的云計算建設模式轉變,實現數據中心的低成本、低能耗、高利用率、快速部署和智能管理,最終建設成為綠色的云數據中心,構建海南省公安廳基于多層體系架構的應用支撐平臺。圖表 STYLEREF 1 s 4 SEQ 圖表 * ARABIC s 1 4 數據中心發(fā)展趨勢云數據
39、中心總體架構通過對系統(tǒng)總體架構的分析,具體到1公安廳云數據中心的建設,其實質是建設1公安廳基于多層體系架構的應用支撐平臺的私有云,其私有云的總體架構如下圖所示:私有云總體架構邏輯架構總體邏輯架構1公安廳基于多層體系架構的應用支撐平臺未來將面向省廳、市局、科、所、隊及社會公眾提供服務,需提供警務服務和公共服務。因為其各自所服務的對象不同,故不同云服務之間將采用物理或邏輯隔離的方式進行建設,以確保服務云之間的數據安全。通過統(tǒng)一的運維管理體系和安全防范體系,構建整體的云平臺,云平臺的總體邏輯架構如下圖所示:私有云邏輯架構 IT硬件邏輯架構在1公安廳基于多層體系架構的應用支撐平臺的云數據中心,用于對外
40、提供各種服務的多種類型的虛擬主機節(jié)點的集合構成了計算“資源池”,其不僅實現了基于服務器的CPU、內存、磁盤、I/O等硬件的虛擬化實現動態(tài)管理的“資源池”,同時還可以在各類型虛擬主機所在的物理服務器之間進行動態(tài)的遷移和變更資源。為此要求將各種類型的物理服務器、存儲、網絡等設備統(tǒng)一為一個邏輯意義上的“計算資源池”,從而提高資源的利用率,簡化系統(tǒng)管理,實現服務器整合,讓IT對業(yè)務的變化更具適應力。其系統(tǒng)架構如下圖所示:IT硬件資源邏輯架構圖技術架構目前數據中心的發(fā)展處在自動化的起步階段,也可說是云數據中心的嘗試階段。針對1公安廳基于多層體系架構的應用支撐平臺的業(yè)務需求,虛擬化技術可以無縫的部署在數據
41、中心的IT系統(tǒng)中,且滿足平滑遷移、提高應用系統(tǒng)的可用性等業(yè)務要求,并有一定的自動化特性。從技術上來看,虛擬化技術已經經過5-6年的快速發(fā)展,并被大量國內外企業(yè)使用驗證,有很高的成熟度。在本期數據中心設計方案中,1公安廳基于多層體系架構的應用支撐平臺數據中心的設計將按照數據中心的技術演進路線,充分考慮數據中心演進的四個階段的優(yōu)缺點及成熟度,同時根據業(yè)務系統(tǒng)的功能需求,1公安廳基于多層體系架構的應用支撐平臺數據中心設計將引入虛擬化技術,構建虛擬化應用平臺。通過部署云計算管理平臺軟件,實現對虛擬化應用平臺的監(jiān)控和管理,構建云數據中心。對于云計算平臺的自動化,則建議在國家的云計算標準出臺并且云計算自動
42、化技術成熟之后,再將云數據中心從手動調整為主逐漸向自動化為主,手動為輔的云計算平臺。因此在本期選擇虛擬化產品時選擇有較好生態(tài)系統(tǒng)、開放式架構的主流虛擬化平臺,以方便未來平滑升級到云計算平臺。物理部署架構采用云計算的核心技術-虛擬化建設計算資源池,通過對應用系統(tǒng)種類的劃分,分為生產區(qū)、交換區(qū)、測試區(qū)、管理區(qū)、其他應用區(qū)。將存儲資源通過基于磁盤陣列的存儲虛擬化技術,完成存儲資源池建設。此外對網絡系統(tǒng)進行升級,通過多虛一和一虛多技術,完成網絡資源池建設,物理部署架構如下圖所示:網絡資源池 網絡設計要點云計算數據中心基礎網絡是云業(yè)務數據的傳輸通道,將數據的計算和數據存儲有機的結合在一起。為保證云業(yè)務的
43、高可用、易擴展、易管理,云計算數據中心網絡架構設計關注重點如下:高可用性網絡的高可用是業(yè)務高可用的基本保證,在網絡整體設計和設備配置上均是按照雙備份要求設計的。在網絡連接上消除單點故障,提供關鍵設備的故障切換。關鍵網絡設備之間的物理鏈路采用雙路冗余連接,按照負載均衡方式或active-active方式工作。關鍵主機可采用雙路網卡來增加可靠性。全冗余的方式使系統(tǒng)達到99.999%的電信級可靠性?;A網絡從核心層到接入層均部署網絡虛擬化技術(如H3C IRF2),可以實現數據中心級交換機的虛擬化,不僅網絡容量可以平滑擴展,更可以簡化網絡拓撲結構,大大提高整網的可靠性,使得整網的保護倒換時間從原來的
44、510秒縮短到50ms以內,達到電信級的可靠性要求。作為未來網絡的核心,要求核心交換區(qū)設備具有高可靠性,優(yōu)先選用采用交換引擎與路由引擎物理分離設計的設備,從而在硬件的體系結構上達到數據中心級的高可靠性。大二層網絡部署早期的數據中心網絡,大部分采用三層組網的方式,即核心、匯聚、接入。原有的三層網絡,優(yōu)點是標準架構,組網結構清晰、易于擴展等,但是隨著服務數量的增加,不同的服務器劃分在不同的VLAN中,這時由于虛擬機遷移需要一個大二層環(huán)境,這種組網導致虛擬機遷移只能局限在某個二層域的VLAN中,限制了虛擬機的擴展范圍。云計算數據中心內服務器虛擬化已是一種趨勢,而虛擬機的遷移則是一種必然,目前業(yè)內的幾
45、種虛擬化軟件要做到熱遷移時都是均需要二層網絡的支撐,隨著未來計算資源池的不斷擴展,二層網絡的范圍也將同步擴大,甚至需要跨數據中心部署大二層網絡。大規(guī)模部暑二層網絡則帶來一個必然的問題就是二層環(huán)路問題,而傳統(tǒng)解決二層網絡環(huán)路問題的STP協(xié)議無法滿足云計算數據中心所要求的快收斂,同時會帶來協(xié)議部署及運維管理的復雜度增加。本次方案中通過部署虛擬化技術實現兩臺或多臺同一層物理交換機虛擬成一臺邏輯設備,通過跨設備鏈路捆綁實現核心和接入的點對點互聯,消除二層網絡的環(huán)路,這樣就直接避免了在網絡中部暑STP,同時對于核心的兩臺設備虛擬化為一臺邏輯設備之后,網關也將變成一個,無需部署傳統(tǒng)的VRRP協(xié)議。 在管理
46、層面,通多虛一之后,管理的設備數量減少一半以上,對于本項目,管理點只有核心和接入兩臺設備,網絡管理大幅度簡化。如下圖所示:網絡安全融合云計算將所有資源進行虛擬化,從物理上存在多個用戶訪問同一個物理資源的問題,那么如何保證用戶訪問以及后臺物理資源的安全隔離就成為了一個必須考慮的問題。另一方面由于網絡變成了一個大的二層網絡;以前的各個業(yè)務系統(tǒng)分而治之,各個業(yè)務系統(tǒng)都是在硬件方面進行了隔離,在每個系統(tǒng)之間做安全的防護可以保證安全的訪問。所以在云計算環(huán)境下,所有的業(yè)務和用戶的資源在物理上是融合的,這樣就需要通過在網關層部署防火墻的設備,同時開啟虛擬防火墻的功能,為每個業(yè)務進行安全的隔離和策略的部署。在
47、傳統(tǒng)的數據中心網絡安全部署時,往往是網絡與安全各自為戰(zhàn),在網絡邊界或關鍵節(jié)點串接安全設備(如FW、IPS、LB等)。隨著數據中心部署的安全設備的種類和數量也越來越多,這將導致數據中心機房布線、空間、能耗、運維管理等成本越來越高。目前主流交換機均支持安全多業(yè)務插卡,插卡與交換機背板互連實現流量轉發(fā),共用交換機電源、風扇等基礎部件。融合部署除了簡化機房布線、節(jié)市機架空間、簡化管理之外,還具備以下優(yōu)點:互連帶寬高。安全插卡采用背板總線與交換機進行互連,背板總線帶寬一般可超過40Gbps,相比傳統(tǒng)的獨立安全設備采用普通千兆以太網接口進行互連,在互連帶寬上有了很大的提升,而且無需增加布線、光纖和光模塊成
48、本。業(yè)務接口靈活。安全插卡上不對外提供業(yè)務接口(僅提供配置管理接口),當交換機上插有安全插卡時,交換機上原有的所有業(yè)務接口均可配置為安全業(yè)務接口。此時再也無需擔心安全業(yè)務接口不夠而帶來網絡安全部署的局限性。性能平滑擴展。當一臺交換機上的一塊安全插卡的性能不夠時,可以再插入一塊或多塊安全插卡實現性能的平滑疊加。而且所有安全插卡均支持熱插拔,在進行擴展時無需停機中斷現有的業(yè)務。網絡資源池設計云計算數據中心大多采用“扁平化”網絡架構設計“核心+接入”兩層網絡架構。這種扁平化的兩層網絡架構便于虛擬機間的二層互通,易于全網虛擬機的部署和遷移的實現。相比傳統(tǒng)三層架構,扁平化的兩層網絡架構可以大大簡化網絡的
49、運維與管理?;A網絡平臺架構如下圖所示:數據中心網絡邏輯架構圖核心層作為網絡的二、三層邊界網絡安全設備部署在核心層接入層采用二層部署,便于實現數據中心內部大二層組網在接入層構建計算和存儲資源池,滿足資源池內虛擬機可在任意位置的物理服務器上遷移整網采用分層分區(qū)設計思路:根據業(yè)務進行分區(qū),分成計算區(qū)、存儲區(qū)和管理區(qū)。具體組網拓撲如下圖所示:數據中心網絡拓撲圖核心層:采用2臺核心交換機冗余組網。兩臺核心交換機分別通過10GE鏈路與接入層交換機相連;通過GE鏈路與管理網交換機和出口路由器互連。兩臺核心交換機部署交換機虛擬化技術(多虛一),能將兩臺核心交換機虛擬化為一臺邏輯設備。為了提升可靠性,虛擬化后
50、的兩臺核心交換機間應支持跨設備的鏈路聚合功能。另外,數據中心網絡安全設備采用融合部署方式在核心交換機上進行插卡式部署。接入層:接入交換機與核心交換機之間采用10GE鏈路交叉互連。兩臺接入交換機部署虛擬化技術,能將兩臺核心交換機虛擬化為一臺邏輯設備。為了提升可靠性,虛擬化后的邏輯交換機與核心交換機實現跨設備鏈路捆綁,從而消除二層環(huán)路,并實現捆綁后的鏈路負載分擔。要求接入交換機支持EVB標準,以便于虛擬機接入時的網絡部署。管理網:可以采用1臺交換機設備,分別連接服務器的iLO接口實現服務器的帶外管理。同時與網管服務器、云平臺管理服務器互連。上行采用2*GE鏈路與兩臺核心交換機互連,并實現鏈路捆綁。
51、有條件的地區(qū),可以也可以采用雙設備冗余組網。存儲網:存儲推薦采用SAN存儲技術部署。對于IP SAN,采用10GE鏈路分別與服務器和存儲相連接。對于FC SAN采用FC交換機進行連接。分層網絡設計核心層核心層2臺核心交換機冗余部署。負責整個云計算平臺上應用業(yè)務數據的高速交換。兩臺核心交換機分別與兩臺服務器接入區(qū)交換機間呈“三角形”型連接,與現網出口區(qū)路由器呈“口”字型連接,一臺管理區(qū)接入交換機雙上行分別與兩臺核心交換機連接。核心交換機間及與服務器接入交換機、管理區(qū)接入交換機、現網核心路由器間均采用萬兆接口捆綁互聯。核心交換機上部署防火墻插卡和網流分析插卡,實現云計算業(yè)務的安全防護與流量分析。兩
52、臺核心交換機部署虛擬化技術,能將兩臺核心交換機虛擬化為一臺邏輯設備,簡化路由協(xié)議運行狀態(tài)與運維管理。同時大大縮短設備及鏈路出現故障快速切換,避免網絡震蕩。兩臺核心交換機間的互聯鏈路采用2*10GE捆綁,保證高可靠及橫向互訪高帶寬。核心層網絡架構如下圖所示:核心層網絡架構圖接入層如下圖所示,云數據中心接入層網絡分為計算資源池、存儲資源池和管理區(qū)接入三大部分:接入層網絡架構圖計算資源池接入:兩臺云接入交換機冗余部署,負責x86服務器的網絡接入,每臺服務器配置4個千兆接口,其中兩個千兆接口捆綁做業(yè)務流接口,雙網卡采用捆綁雙活模式;另外兩個千兆接口捆綁做虛擬機管理流接口,雙網卡采用捆綁雙活模式。兩臺接
53、入交換機部署虛擬化技術,能將兩臺核心交換機虛擬化為一臺邏輯設備,通過跨設備鏈路捆綁消除二層環(huán)路、簡化管理,同時大大縮短設備及鏈路出現故障快速切換,避免網絡震蕩。兩臺接入交換機之間互聯鏈路采用2*10GE捆綁,保證高可靠及橫向互訪高帶寬。存儲資源池接入:存儲推薦采用SAN存儲技術部署。對于IP SAN,采用10GE鏈路分別與服務器和存儲相連接。對于FC SAN采用FC交換機進行連接。管理區(qū)接入:采用一臺千兆交換機,與x86服務器的iLO口以及自帶的千兆網卡口互連,同時與網管服務器、云平臺服務器互連,上行接口采用兩個GE鏈路分別與兩臺核心交換機互連。服務器接入設計由于目前主流的服務器均配置2塊或以
54、上的網卡,因此在考慮服務器接入時,通過配置多網卡上行的方式,不但能夠實現服務器網卡的冗余備份,還能夠實現多網卡流量的負載分擔。方式一:冗余備份如圖所示,服務器通過雙網卡的方式,分別與2臺服務器接入交換機互聯,正常情況下服務器的流量通過Eth0接口上行,而Eth1接口則處于standy狀態(tài),當Eth0端口發(fā)生故障時,則所有流量走向Eth1接口。該服務器接入方比較常見,最大的問題在于服務器正常的工作端口只有1個,另外一個端口處于閑置狀態(tài),服務器性能達不到最優(yōu)。方式二:負載分擔如圖所示,服務器通過雙網卡的方式,分別與2臺服務器接入交換機互聯,但是2塊網卡的工作模式均為active,并配置網卡聚合;2
55、臺服務器接入交換機配置虛擬化功能,虛擬化為1臺設備,也配置端口聚合。從邏輯上看,服務器通過雙網卡的方式,與1臺邏輯交換機互聯,2塊網卡同時傳輸數據。對于網卡聚合方式,采用服務器接入交換機虛擬化是最好的方案。一方面提高的服務器的可用性和出口帶寬,另一方面提高了網絡接入的可用性。這種組網是在數據中心方案中重點推薦的。虛擬機交換網絡服務器虛擬化技術的出現使得計算服務提供不再以主機為基礎,而是以虛擬機為單位來提供,同時為了滿足同一物理服務器內虛擬機之間的數據交換需求,服務器內部引入了網絡功能部件虛擬交換機vSwitch(Virtual Switch),如下圖所示,虛擬交換機提供了虛擬機之間、虛擬機與外
56、部網絡之間的通訊能力。IEEE的802.1標準中,正式將“虛擬交換機”命名為“Virtual Ethernet Bridge”,簡稱VEB,或稱vSwitch。虛擬機交換網絡架構vSwitch的引入,給云計算數據中心的運行帶來了以下兩大問題:網絡界面的模糊主機內分布著大量的網絡功能部件vSwitch,這些vSwitch的運行、部署為主機操作與維護人員增加了巨大的額外工作量,在云計算數據中心通常由主機操作人員執(zhí)行,這形成了專業(yè)技能支撐的不足,而網絡操作人員一般只能管理物理網絡設備、無法操作主機內vSwitch,這就使得大量vSwicth具備的網絡功能并不能發(fā)揮作用。此外,對于服務器內部虛擬機之間
57、的數據交換,在vSwitch內有限執(zhí)行,外部網絡不可見,不論在流量監(jiān)管、策略控制還是安全等級都無法依賴完備的外部硬件功能實現,這就使得數據交換界面進入主機后因為vSwitch的功能、性能、管理弱化而造成了高級網絡特性與服務的缺失。虛擬機的不可感知性物理服務器與網絡的連接是通過鏈路狀態(tài)來體現的,但是當服務器被虛擬化后,一個主機內同時運行大量的虛擬機,而此前的網絡面對這些虛擬機的創(chuàng)建與遷移、故障與恢復等運行狀態(tài)完全不感知,同時對虛擬機也無法進行實時網絡定位,當虛擬機遷移時網絡配置也無法進行實時地跟隨,雖然有些數據鏡像、分析偵測技術可以局部感知虛擬機的變化,但總體而言目前的虛擬機交換網絡架構無法滿足
58、虛擬化技術對網絡服務提出的要求。為了解決上述問題, 解決思路是將虛擬機的所有流量都引至外部接入交換機,此時因為所有的流量均經過物理交換機,因此與虛擬機相關的流量監(jiān)控、訪問控制策略和網絡配置遷移問題均可以得到很好的解決,此方案最典型的代表是EVB標準。802.1Qbg Edge Virtual Bridging(EVB)是由IEEE 802.1工作組制定一個新標準,主要用于解決vSwtich的上述局限性,其核心思想是:將虛擬機產生的網絡流量全部交給與服務器相連的物理交換機進行處理,即使同一臺物理服務器虛擬機間的流量,也將發(fā)往外部物理交換機進行查表處理,之后再180度調頭返回到物理服務器,形成了所
59、謂的“發(fā)卡彎”轉發(fā)模式,如下圖所示:EVB標準具有如下的技術特點:1、借助發(fā)卡彎轉發(fā)機制將外網交換機上的眾多網絡控制策略和流量監(jiān)管特性引入到虛擬機網絡接入層,不但簡化了網卡的設計,而且充分利用了外部交換機專用ASIC芯片的處理能力、減少了虛擬網絡轉發(fā)對CPU的開銷;2、充分利用外部交換機既有的控制策略特性(ACL、QOS、端口安全等)實現整網端到端的策略統(tǒng)一部署;3、充分利用外部交換機的既有特性增強了虛擬機流量監(jiān)管能力,如各種端口流量統(tǒng)計,Netstream、端口鏡像等。EVB標準中定義了虛擬機與網絡之間的關聯標準協(xié)議,使得虛擬機在變更與遷移時通告網絡及網管系統(tǒng),從而可以借助此標準實現數據中心
60、全網范圍的網絡配置變更自動化工作,使得大規(guī)模的虛擬機云計算服務運營部署自動化能夠實現。層次化的安全防護設計云計算數據中心應該構建層次化的安全防護體系。包括:主機安全、網絡安全、業(yè)務安全。安全設計時應參照國家相應的技術標準來進行設計,保證數據中心業(yè)務安全;安全部署時,可以根據情況分步進行。安全域的劃分與功能分區(qū)保持一致,確保對應關系安全域之間采用防火墻進行隔離,入方向策略控制,確保配置簡單、清晰;對于多個服務器群組位于同一功能區(qū)的,采用虛擬防火墻或ACL控制安全域內部的服務器之間采用VLAN隔離,需要三層控制的可采用ACL雙活數據中心網絡設計傳統(tǒng)的災備數據中心建設最多只能實現暖備,平時只有主中心
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯系上傳者。文件的所有權益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
- 4. 未經權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
- 5. 人人文庫網僅提供信息存儲空間,僅對用戶上傳內容的表現方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
- 6. 下載文件中如有侵權或不適當內容,請與我們聯系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 疫情答題活動策劃方案(3篇)
- 體育股內部管理制度(3篇)
- 2026福建海峽人力資源股份有限公司漳州分公司招聘1人參考考試題庫及答案解析
- 2026北京積水潭醫(yī)院聊城醫(yī)院博士研究生引進22人考試參考題庫及答案解析
- 2026廣西柳州市柳北區(qū)雅儒街道辦事處招聘公益性崗位人員1人筆試模擬試題及答案解析
- 2026年河北大學附屬醫(yī)院公開選聘工作人員備考考試題庫及答案解析
- 電磁感應補充題目
- 2026浙江浙建好房子裝飾科技有限公司招聘參考考試題庫及答案解析
- 2026西藏昌都市八宿縣發(fā)展改革和經信商務局招聘專業(yè)技術人員1人考試備考題庫及答案解析
- 九江市公安局柴桑分局2026年度公開招聘警務輔助人員備考考試題庫及答案解析
- 醫(yī)學檢驗免疫課件
- 農村土地永久性轉讓合同
- 中建市政道路施工組織設計方案
- 財務先進個人代表演講稿
- 年度得到 · 沈祖蕓全球教育報告(2024-2025)
- DB23T 2689-2020養(yǎng)老機構院內感染預防控制規(guī)范
- 2025屆天津市和平區(qū)名校高三最后一模語文試題含解析
- 專業(yè)律師服務合同書樣本
- 建筑施工現場污水處理措施方案
- 學生計算錯誤原因分析及對策
- 送貨單格式模板
評論
0/150
提交評論