下載本文檔
版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報或認(rèn)領(lǐng)
文檔簡介
1、Inspur group,VMware虛擬化技術(shù)培訓(xùn) 2008-12-25,培訓(xùn)目標(biāo),清楚虛擬化概念和VMware虛擬化產(chǎn)品特點(diǎn) 了解VMware虛擬化產(chǎn)品的技術(shù)特性 會簡單安裝配置虛擬機(jī) 了解VMware高級特性及實(shí)現(xiàn)原理,為進(jìn)一步掌握打下基礎(chǔ),內(nèi)容,概述 1、什么是虛擬化 2、VMWARE公司及VI產(chǎn)品介紹 ESX技術(shù)內(nèi)幕 部署虛擬機(jī) 資源管理 高級特性,一種讓IT系統(tǒng)組合、優(yōu)化 共享資源,自動滿足業(yè)務(wù)需求的解決方案,什么是虛擬化?,Virtualize IT,虛擬化類型,虛擬化就是將底層硬件的功能抽象化 在不同層面實(shí)現(xiàn) 存儲 網(wǎng)絡(luò) 服務(wù)器/操作系統(tǒng) 應(yīng)用系統(tǒng),當(dāng)前IT所面臨的挑戰(zhàn):“用更
2、少的資源干出更多的活”,資源利用率低下 電力、冷卻和機(jī)房空間有限 計劃內(nèi)和計劃外停機(jī)時間越來越少,我如何提高利用率?,開發(fā)和部署周期 有限的IT資源 各種不同的業(yè)務(wù)需求,我如何有效地擴(kuò)展?,為什么要虛擬化?,周五我們就需要一臺Web服務(wù)器!,今晚你就要為我升級內(nèi)存!,停下你手里的所有活計,馬上修復(fù)網(wǎng)絡(luò)!,服務(wù)器到貨需要3個星期?!,我覺得你現(xiàn)在就應(yīng)該把這件事做好!,你曾經(jīng)許諾今天就給我添加一臺服務(wù)器!,為什么要虛擬化?,服務(wù)器蔓延:特別是一個操作系統(tǒng)運(yùn)行一個應(yīng)用的情況 支持過時操作系統(tǒng)和應(yīng)用 整合沒有服務(wù)水準(zhǔn)(SLA)定義的應(yīng)用/或者提高服務(wù)水準(zhǔn) 解決機(jī)房環(huán)境問題:散熱、電力、冷卻和占地面積
3、提高整個計算平臺的平均利用率 讓災(zāi)難恢復(fù)系統(tǒng)不再遠(yuǎn)離x86平臺 降低支持老舊服務(wù)器和應(yīng)用的成本 簡化平臺和基礎(chǔ)架構(gòu) 提高數(shù)據(jù)中心的靈活性:快速部署,智能、動態(tài)資源調(diào)配 提高安全性,那些應(yīng)用環(huán)境需要虛擬化?,測試/開發(fā)環(huán)境 老舊的NT服務(wù)器和應(yīng)用 文件和打印服務(wù)器 服務(wù)器資源利用率不高的Web和應(yīng)用服務(wù)器 郵件/即時消息服務(wù)器 防火墻服務(wù)器 數(shù)據(jù)庫服務(wù)器,VMware 公司一覽,成立時間 員工總數(shù) 用戶數(shù) 關(guān)鍵合作伙伴關(guān)系 渠道合作伙伴數(shù) 客戶概要信息 運(yùn)營結(jié)構(gòu),1998,約3,000,EMC 的獨(dú)立子公司( 2003年被收購),超過 400 萬,3,000+,AMD、Dell、HP、IBM、I
4、ntel,5萬個企業(yè)客戶,其中 財富 100 強(qiáng)中的 100 家公司,VMware的使命,將工業(yè)標(biāo)準(zhǔn)服務(wù)器和桌面計算環(huán)境轉(zhuǎn)化為虛擬計算環(huán)境,虛擬機(jī)特征:,分區(qū) 隔離 封裝 獨(dú)立于硬件,什么是VMware Infrastructure 3 (VI3),VMware Infrastructure 3 是一個功能豐富的套件,它提供創(chuàng)建快速響應(yīng)數(shù)據(jù)中心所需的效率、可用性和動態(tài)管理功能,并且這些功能是經(jīng)過生產(chǎn)驗(yàn)證的 其中包括VMware ESX Server 3.5和VirtualCenter 2.5 浪潮銷售產(chǎn)品版本為ESX 3.5 U2 和VirtualCenter 2.5 U3 2008年12月底
5、NF295D2出廠全部預(yù)裝ESX Server 3i,VMware Infrastructure 3產(chǎn)品包括,ESX Server 3i是VMware的企業(yè)級免費(fèi)虛擬基礎(chǔ)架構(gòu)軟件,它具有ESX 3 的全部功能,不同的是它只有32MB大小,而ESX Server 3至少要2GB空間,且3i沒有服務(wù)器控制臺。一臺集成了ESX Server 3i的服務(wù)器,可直接部署在虛擬化環(huán)境,通過Virtual Center對其進(jìn)行管理。,名詞解釋,VMotion:遷移,以零停機(jī)時間遷移虛擬機(jī),將正在運(yùn)行的虛擬機(jī)從一臺物理服務(wù)器移動至另一臺物理服務(wù)器,而不影響最終用戶。也可以冷遷移,冷遷移可以改變數(shù)據(jù)存儲的位置。
6、 DRS(Distributed Resource Scheduler ):Vmware 分布式資源調(diào)度程序(DRS)跨聚合到邏輯資源池中的硬件資源集合來動態(tài)地分配和平衡計算容量。 HA:當(dāng)服務(wù)器發(fā)生故障時,受影響的虛擬機(jī)將在群集中留有備用容量的其他主機(jī)上自動重啟。 Consolidated Backup:一個集中式備份工具,該工具可利用集中式代理服務(wù)器并可降低 VMware ESX 生產(chǎn)主機(jī)上的負(fù)載。 Update Manager:進(jìn)行自動修補(bǔ)和更新,從而簡化對虛擬基礎(chǔ)架構(gòu)的管理,也可以對選定的 Windows 和 Linux 虛擬機(jī)進(jìn)行升級。,ESX3i與ESX3.5的區(qū)別,2020/7/
7、10,Inspur group,本地管理,遠(yuǎn)程管理,ESX Server 3i是VMware的企業(yè)級免費(fèi)虛擬基礎(chǔ)架構(gòu)軟件,它具有ESX 3 的全部功能,不同的是它只有32MB大小,而ESX Server 3至少要2GB空間,且3i沒有服務(wù)器控制臺。一臺集成了ESX Server 3i的服務(wù)器,可直接部署在虛擬化環(huán)境,通過Virtual Center對其進(jìn)行管理。,內(nèi)容,概述 1、什么是虛擬化 2、VMWARE公司及VI產(chǎn)品介紹 ESX技術(shù)內(nèi)幕 部署虛擬機(jī) 資源管理 高級特性,ESX技術(shù)內(nèi)幕,ESX服務(wù)器體系結(jié)構(gòu),兼容性檢查,VirtualCenter,用戶界面,虛擬SMP,軟件許可模式,管理框
8、架,ESX服務(wù)器內(nèi)幕,什么讓ESX服務(wù)器如此強(qiáng)大?,是VMKernel而不是Linux,ESX服務(wù)器的體系結(jié)構(gòu),VMM:虛擬機(jī)監(jiān)控器,CPU管理,要虛擬化處理器,虛擬機(jī)監(jiān)控器(VMM)將VMkernel從Ring 0置換到Ring 1 新型的Intel和AMD CPU將會改善這種結(jié)構(gòu),VMkernel動態(tài)地安排虛擬機(jī)和服務(wù)控制臺使用處理器的時間片 按比例分配共享CPU的時間片 使用基于NUMA技術(shù)的內(nèi)存和進(jìn)程管理 支持多核、超線程,包括對SMP虛擬機(jī)進(jìn)行動態(tài)伸縮,周期性的負(fù)載均衡調(diào)節(jié)器,在CPU之間調(diào)節(jié)負(fù)載 在CPU之間移動虛擬機(jī)以保證負(fù)載均衡 在SMP環(huán)境中避免單一CPU被過度使用 調(diào)度管理
9、 指定哪臺虛擬機(jī)應(yīng)該在哪個CPU上運(yùn)行 每20毫秒檢查所有CPU一次 虛擬機(jī)可以在不同時候運(yùn)行在不同CPU上 取決于CPU負(fù)載和虛擬機(jī)遷移情況,VMKernel,Scheduler,Memory Mgmt.,Periodic Load Balancer,VMware虛擬SMP,是VI3標(biāo)準(zhǔn)版和企業(yè)版的一部分 允許單個虛擬機(jī)占用2到4個物理CPU 好處: 增強(qiáng)虛擬機(jī)的性能 在虛擬機(jī)上運(yùn)行計算密集型應(yīng)用 測試開發(fā)的應(yīng)用系統(tǒng)在多處理器系統(tǒng)上的表現(xiàn) 與多核以及超線程處理器兼容,內(nèi)存管理,內(nèi)存過量使用技術(shù)增強(qiáng)了利用率 將配置好的虛擬機(jī)內(nèi)存整合,可以安全地超越物理內(nèi)存容量運(yùn)行虛擬機(jī) 內(nèi)存漂移技術(shù)(Ball
10、ooning)動態(tài)地將不活躍虛擬機(jī)當(dāng)中的內(nèi)存轉(zhuǎn)移到活躍虛擬機(jī)當(dāng)中使用 人為壓縮不活躍虛擬機(jī)中的內(nèi)存,強(qiáng)迫他們使用自己的磁盤交換區(qū)域,將實(shí)際內(nèi)存提供給活躍的虛擬機(jī)使用 透明頁共享技術(shù)節(jié)省了內(nèi)存 眾多虛擬機(jī)相同的內(nèi)存頁只保留一份 VMkernel將內(nèi)存內(nèi)容置換到磁盤是最后一種手段,透明內(nèi)存頁面共享,內(nèi)存漂移,網(wǎng)絡(luò)管理,虛擬交換機(jī)是一個物理802.3以太網(wǎng)交換機(jī)的軟件模擬 缺省端口數(shù)量是24 目前的最大限制是1016 虛擬交換機(jī)可以連接一個或者多個物理網(wǎng)卡 每臺虛擬機(jī)最多可以設(shè)置4個虛擬網(wǎng)卡,每個網(wǎng)卡都有自己的MAC地址 通過配置,虛擬交換機(jī)可以發(fā)送接收具有VLAN標(biāo)示的數(shù)據(jù)包,存儲管理,表現(xiàn)為SC
11、SI磁盤 LSI或者 BusLogic SCSI控制器 (最多4*15) 虛擬磁盤可以映射到: 本地磁盤的虛擬磁盤文件 在SAN中的虛擬磁盤文件 在SAN中的裸LUN 一個SCSI裸設(shè)備 VMkernel包含TCP/IP協(xié)議棧 可用于訪問iSCSI和NAS設(shè)備,虛擬機(jī)文件系統(tǒng) (VMFS),VMFS為虛擬機(jī)訪問高性能磁盤所優(yōu)化的簡捷、快速的數(shù)據(jù)存儲結(jié)構(gòu) VMFS卷用來存儲虛擬磁盤、VMkernel的交換文件、休眠的狀態(tài)文件、重做日志,以及VirtualCenter的虛擬機(jī)模版 采用大數(shù)據(jù)塊存儲結(jié)構(gòu)優(yōu)化虛擬機(jī)性能 支持大的分區(qū)(達(dá)2TB) VMFS有兩個專門為在SAN環(huán)境中存儲虛擬機(jī)而設(shè)計的特別
12、屬性 VMFS是一個可多主機(jī)訪問的文件系統(tǒng):卷實(shí)現(xiàn)了文件鎖機(jī)制,使得它在SAN環(huán)境中可以被多臺ESX服務(wù)器訪問 VMFS只對系統(tǒng)性能有微弱的影響:從虛擬機(jī)發(fā)出的SCSI命令可直接發(fā)送到物理設(shè)備上,裸設(shè)備映射(RDM),物理兼容模式 SAN快照軟件 SAN復(fù)制軟件 SAN管理軟件 虛擬兼容模式 虛擬機(jī)快照 虛擬機(jī)群集,多路徑 - Multipathing,可配置延遲的自動化故障切換 任意時刻有一條活動路徑連接到任意LUN 通過改變狀態(tài),可以激活或者禁止某個故障切換路徑 2個故障切換策略 MRU 最近使用過的 (缺省策略) 繼續(xù)使用上一次活動的路徑 Fixed 首選路徑 當(dāng)首選路徑可用時,切換到該
13、路徑 可以為每一個LUN設(shè)置首選和活動路徑,FC Switch,Storage,SP1,SP2,ESX Server,HBA,HBA,FC Switch,存儲技術(shù)比較,Fiber Optics,Fiber Channel,SCSI,LAN Hardware,IP,NFS/SMB,LAN Hardware,IP,SCSI,SAN,iSCSI,NAS,SAN組成部分,iSCSI組成部分,FC Switch,ESX Server,iSCSI HBA,ESX Server,NIC,iSCSI Storage,SP,IP網(wǎng)絡(luò),SCSI Target,SCSI Initiator,IQN iSCSI Qu
14、alified Name; a unique ID for initiators and targets,Software initiator,NAS組成部分,FC Switch,ESX Server,NFS Server,NIC,IP Network,NAS device,Virtual Switch with IP storage Port,/pub,Directory for ESX Server,Virtual Switch,NIC,存儲技術(shù)功能比較,資源管理,操作系統(tǒng)看到的是什么,從Windows設(shè)備管理界面看到虛擬的設(shè)備,虛擬機(jī)文件,核心文件 nvram (非易失性內(nèi)存 - non
15、-volatile RAM) vmware.log .vmx (虛擬機(jī)配置文件) .vmdk (虛擬磁盤文件) .vswp (內(nèi)存交換文件) .vmsd (快照數(shù)據(jù)) 與某個虛擬機(jī)相關(guān)的文件都存放在文件系統(tǒng)中的特定文件夾里面 NFS VMFS,封裝,這兩個文件代表整個虛擬機(jī),客戶虛擬機(jī)的配置文件,支持什么服務(wù)器和操作系統(tǒng)?,支持什么I/O和網(wǎng)絡(luò)驅(qū)動?,支持什么存儲設(shè)備?,請察看ESXServer 3.x的系統(tǒng)兼容性列表(OS+System)!,支持什么樣的備份軟件?,請察看ESXServer 3.x的I/O兼容性列表!,請察看ESXServer 3.x的Storage / SAN系兼容性列表!
16、,請察看ESXServer 3.x的備份軟件兼容性列表!,這些兼容列表在哪里?,所有VMware Infrastructure文檔都在: ,安全地、集中化管理用戶的虛擬架構(gòu) 通過在服務(wù)器之間動態(tài)移動虛擬機(jī)來優(yōu)化服務(wù)器的利用率 采用標(biāo)準(zhǔn)化的虛擬機(jī)模版迅速部署新的服務(wù)器 增強(qiáng)業(yè)務(wù)連續(xù)性,并且消除計劃內(nèi)停機(jī),VMware VirtualCenter,VMware虛擬架構(gòu)管理軟件,通過VirtualCenter 進(jìn)行訪問和控制,直接訪問和控制,無 VirtualCenter,Active Directory/ LDAP 服務(wù)器,VirtualCenter數(shù)據(jù)庫,集中管理,虛擬架構(gòu)(VI) Client
17、 訪問VirtualCenter 使用VC全部功能 直接訪問ESX主機(jī) 單一ESX主機(jī)管理,Web Access Client 訪問VirtualCenter 管理多臺虛擬機(jī) 直接訪問ESX主機(jī) 只能管理該主機(jī)上的虛擬機(jī),VirtualCenter 服務(wù)器,VI Client,VI Client,VirtualCenter 服務(wù)器,Web Client,Web Client,webCenter (Apache Tomcat 服務(wù)) 安裝在這里,用戶界面,軟件許可簡介,缺省情況下,在VirtualCenter主機(jī)上面安裝和配置License服務(wù)器 也可以安裝在現(xiàn)有的FlexNet license
18、服務(wù)器,或者與VirtualCenter獨(dú)立的主機(jī)系統(tǒng)之上 集中管理的軟件許可可以被跟蹤,并且按2個處理器的增量動態(tài)分配或中心分配軟件許可 一旦配置完成,VirtualCenter和ESX服務(wù)器在License服務(wù)器不可用的情況下(最長14天)也可以全功能運(yùn)行,ESX Server 3.X 系統(tǒng),License服務(wù)器(Windows應(yīng)用),VirtualCenter 2.0 服務(wù)器,License 文件,基于主機(jī)的軟件許可,適用于沒有VirtualCenter的小型環(huán)境 需要在每一臺ESX服務(wù)器上配置軟件許可文件,沒有集中管理的優(yōu)點(diǎn) 允許ESX功能的配置和改變完全獨(dú)立于License服務(wù)器 但
19、是,需要手工進(jìn)行軟件許可的分配和跟蹤 可以和與集中的、利用VirtualCenter功能的軟件許可并存,ESX Server 3.5 系統(tǒng),License 文件,License 文件,License 文件,對SNMP的支持,SNMP管理主機(jī)獲取變量,使得用戶可以監(jiān)控主機(jī)服務(wù)器和它們上面的虛擬機(jī)各種項(xiàng)目參數(shù),了解它們?nèi)绾问褂酶鞣N資源的 系統(tǒng)狀態(tài) (主機(jī)) CPU個數(shù),內(nèi)存容量,ESX服務(wù)器是否加載 系統(tǒng)資源使用情況 (主機(jī)) 被服務(wù)控制臺使用的內(nèi)存容量 被某個特定虛擬機(jī)所使用的主機(jī)CPU資源 被某個特定虛擬機(jī)使用的主機(jī)內(nèi)存資源 沒有被使用的主機(jī)內(nèi)存資源 主機(jī)磁盤上的數(shù)據(jù)使用情況,包括數(shù)據(jù)讀寫次數(shù)
20、和數(shù)量,虛擬機(jī)的SNMP支持,虛擬機(jī)配置 虛擬機(jī)配置文件的訪問路徑 運(yùn)行在虛擬機(jī)上的操作系統(tǒng) 配置給虛擬機(jī)使用的內(nèi)存容量 虛擬機(jī)能看到哪些磁盤控制器 虛擬機(jī)能看到哪些網(wǎng)卡 虛擬機(jī)能看到哪些軟驅(qū) 虛擬機(jī)能看到哪些光驅(qū),內(nèi)容,概述 1、什么是虛擬化 2、VMWARE公司及VI產(chǎn)品介紹 ESX技術(shù)內(nèi)幕 部署虛擬機(jī) 資源管理 高級特性,如何部署虛擬機(jī),安裝ESX Server 3.5 安裝VC 建立虛擬機(jī) 網(wǎng)絡(luò)配置,1、ESX3.5安裝將ESX Server 3.5安裝光盤放入光驅(qū),光驅(qū)引導(dǎo)出現(xiàn)以下界面 ,回車開始安裝,1、 ESX3.5安裝Skip進(jìn)行下一步,1、 ESX3.5安裝出現(xiàn)安裝歡迎畫面,
21、1、 ESX3.5安裝進(jìn)行分區(qū),1、 ESX3.5安裝網(wǎng)絡(luò)設(shè)置,1、 ESX3.5安裝時區(qū)設(shè)置,1、 ESX3.5安裝 ROOT密碼設(shè)置,1、 ESX3.5安裝安裝完成后重啟正常啟動,1、VC安裝下一步,2、 VC安裝選擇安裝類型,2、 VC安裝部署選項(xiàng),2、 VC安裝其他設(shè)置與安裝過程,2、 VC安裝安裝成功,2、 VC安裝本地登陸VC,3、安裝虛擬機(jī)建立數(shù)據(jù)中心,3、安裝虛擬機(jī)在數(shù)據(jù)中心新建群集或添加主機(jī),3、安裝虛擬機(jī)新建群集選項(xiàng),3、安裝虛擬機(jī)添加主機(jī),3、安裝虛擬機(jī)新建虛擬機(jī),3、安裝虛擬機(jī)正常安裝操作方式安裝使用,4、網(wǎng)絡(luò)配置介紹,VMware有三種網(wǎng)絡(luò)接口類型 1、虛擬機(jī) 虛擬機(jī)
22、中要虛擬網(wǎng)卡即應(yīng)用要使用的網(wǎng)卡的端口 2、VMKERNEL 建立自動遷移和VMOTION,iscsi控制存儲路徑,ipsan控制存儲路徑 3、服務(wù)控制臺 ESX 主機(jī)的控制端口 注:安裝VM ESX后會自動創(chuàng)建1和3,2要手動建立VMKERNEL端口,4、網(wǎng)絡(luò)配置介紹,服務(wù)控制臺網(wǎng)絡(luò)端口添加介紹,建議每臺ESX主機(jī)使用兩個控制臺端口,避免出現(xiàn)單點(diǎn)故障,無法連接,服務(wù)控制臺網(wǎng)絡(luò)端口添加介紹,服務(wù)控制臺網(wǎng)絡(luò)端口添加介紹,服務(wù)控制臺網(wǎng)絡(luò)端口添加介紹,內(nèi)容,概述 1、什么是虛擬化 2、VMWARE公司及VI產(chǎn)品介紹 ESX技術(shù)內(nèi)幕 部署虛擬機(jī) 資源管理概念預(yù)留、限制、份額;資源池 高級特性,資源管理,
23、虛擬機(jī)資源分配,缺省情況下,所有虛擬機(jī)都會收到: 平等分配給每個虛擬CPU的物理CPU共享時間片 平等分配給每MB虛擬內(nèi)存的共享物理內(nèi)存,預(yù)留的主機(jī)資源,為虛擬機(jī)分配更多或更少的資源 為特定虛擬機(jī)指定優(yōu)先級,預(yù)留和限制(Reservations and Limits),適用于CPU和內(nèi)存資源 預(yù)留是一種最低資源保證 只有CPU預(yù)留資源在不使用的時候可以被其它虛擬機(jī)使用(預(yù)留內(nèi)存不可以) 缺省情況下,預(yù)留的值為零 限制是對一臺虛擬機(jī)的CPU和內(nèi)存資源定義的使用上限 表示為MHz或者M(jìn)B 缺省狀態(tài)下無限制,預(yù)留和限制(Reservations and Limits),份額(Shares),為一臺虛
24、擬機(jī)指定相對優(yōu)先級或重要性 只有在發(fā)生資源競爭的情況下執(zhí)行 防止虛擬機(jī)獨(dú)占資源 保證可預(yù)測的資源共享 通常分為三級:High、Normal和Low (比例為4 : 2 : 1) 可以改變?yōu)槠渌?新的虛擬機(jī)上電會影響其它所有虛擬機(jī)的共享狀態(tài),份額(Share)是如何工作的?,Shares值,改變 Shares值,新虛擬機(jī)上電,虛擬機(jī)下電,如果有競爭,每臺虛擬機(jī)保證得到1/3的資源,如果有競爭,虛擬機(jī)B保證得到3/5的資源,如果有競爭,虛擬機(jī)B保證得到1/2的資源,如果有競爭,虛擬機(jī)B保證得到3/5的資源,準(zhǔn)入控制,預(yù)留資源必須滿足 如果現(xiàn)有資源的剩余值小于要啟動的虛擬機(jī)的預(yù)留資源值,則該虛擬機(jī)
25、無法啟動,內(nèi)存 = 2GB,Reservation = 512 Limit = 1GB,Reservation = 1GB Limit = 1GB,Reservation = 1GB Limit = 1GB,X,資源池,是VirtualCenter對象庫中的一個對象 用來控制為虛擬機(jī)所用的CPU和內(nèi)存資源總和 可以和訪問控制和許可聯(lián)合使用,群集 Cluster,資源池Resource pool,Cluster容量 =根資源池:5 x (4.8 GHz, 4 GB)= (24 GHz, 20 GB),Resource Pool 1(CPU = 16 GHz, Mem = 12 GB),VM,VM
26、,VM,VM,Resource Pool 2(3 GHz, 3 GB),VM,VM,VM,資源池屬性,份額(Shares) Low, Normal, High 預(yù)留 限制 可擴(kuò)展的預(yù)留 不選 系統(tǒng)認(rèn)為只有該資源池剩余的資源可用 選中 系統(tǒng)認(rèn)為該資源池和其所有上級資源池內(nèi)的剩余資源均可用,資源池準(zhǔn)入控制,在下面任何一種情況下都會進(jìn)行準(zhǔn)入控制:創(chuàng)建一個資源池,一臺虛擬機(jī)上電,或者改變資源池的設(shè)置參數(shù) 如果沒有選擇可擴(kuò)展預(yù)留選項(xiàng): 管理服務(wù)器檢查資源池是否有足夠的資源來滿足該資源池和虛擬機(jī)對最低預(yù)留的要求 如果選擇了可擴(kuò)展預(yù)留選項(xiàng): 如果有足夠的資源,執(zhí)行操作 如果沒有足夠的資源,管理服務(wù)器在一個上
27、級資源池(父級或者祖級)中檢查是否有可用資源。如果有,執(zhí)行操作。否則,不執(zhí)行操作。,可擴(kuò)展預(yù)留 圖示,資源池準(zhǔn)入控制 圖示,資源池概念圖示,資源池概念圖示,Cluster,Pool 1,Pool 2,VM A,VM C,VM B,VM D,Shares=8000,Shares=2000,Shares=2000,Shares=4000,Shares=8000,Shares=4000,VM E,Shares=2000,內(nèi)容,概述 1、什么是虛擬化 2、VMWARE公司及VI產(chǎn)品介紹 ESX技術(shù)內(nèi)幕 部署虛擬機(jī) 資源管理概念預(yù)留、限制、份額;資源池 高級特性VMotion、DRS、HA、虛擬機(jī)集群、
28、VCB、 Converter等,遷移VMotion,VMotion遷移,VMotion遷移是在虛擬機(jī)上電狀態(tài)下移動它 提高總體硬件的利用率 消除計劃內(nèi)停機(jī) 與VirtualCenter配合使用,VMotion條件 主機(jī),激活VMotion功能的源和目的ESX服務(wù)器主機(jī) 源和目的ESX服務(wù)器主機(jī)必須: 可以看到所有SAN的LUN (FC或iSCSI)或者被虛擬機(jī)使用的NAS設(shè)備 一個千兆以太網(wǎng)段 訪問同一個物理網(wǎng)段 兼容的CPU 新型CPU發(fā)布后,會有新的VMotion兼容性說明,CPU 限制,VMotion對64位虛擬機(jī)的支持,VMotion是如何工作的?,準(zhǔn)備在目標(biāo)主機(jī)上(ESX 2)部署新
29、的虛擬機(jī),用戶正在訪問位于ESX 1上面的虛擬機(jī)A,并且準(zhǔn)備VMotion到ESX 2,ESX 2,VM A,ESX 1,共享存儲,VMotion是如何工作的?,ESX 2,VM A,ESX 1,VM A,準(zhǔn)備在目標(biāo)主機(jī)上(ESX 2)部署新的虛擬機(jī) 將源主機(jī)上虛擬機(jī)A的內(nèi)存拷貝到目標(biāo)主機(jī)上,變化的內(nèi)存內(nèi)容保存在位圖之中,Memory,共享存儲,VMotion是如何工作的?,ESX 2,VM A,ESX 1,VM A,準(zhǔn)備在目標(biāo)主機(jī)上(ESX 2)部署新的虛擬機(jī) 將源主機(jī)上虛擬機(jī)A的內(nèi)存拷貝到目標(biāo)主機(jī)上,變化的內(nèi)存內(nèi)容保存在位圖之中 掛起源主機(jī)上面的虛擬機(jī)A,將內(nèi)存位圖拷貝到目標(biāo)主機(jī)上,共享存
30、儲,VMotion是如何工作的?,ESX 2,VM A,ESX 1,VM A,準(zhǔn)備在目標(biāo)主機(jī)上(ESX 2)部署新的虛擬機(jī) 將源主機(jī)上虛擬機(jī)A的內(nèi)存拷貝到目標(biāo)主機(jī)上,變化的內(nèi)存內(nèi)容保存在位圖之中 掛起源主機(jī)上面的虛擬機(jī)A,將內(nèi)存位圖拷貝到目標(biāo)主機(jī)上 在目標(biāo)主機(jī)上恢復(fù)虛擬機(jī)A運(yùn)行,共享存儲,VMotion是如何工作的?,ESX 2,VM A,ESX 1,VM A,準(zhǔn)備在目標(biāo)主機(jī)上(ESX 2)部署新的虛擬機(jī) 將源主機(jī)上虛擬機(jī)A的內(nèi)存拷貝到目標(biāo)主機(jī)上,變化的內(nèi)存內(nèi)容保存在位圖之中 掛起源主機(jī)上面的虛擬機(jī)A,將內(nèi)存位圖拷貝到目標(biāo)主機(jī)上 在目標(biāo)主機(jī)上恢復(fù)虛擬機(jī)A運(yùn)行 當(dāng)系統(tǒng)訪問修改的內(nèi)存時,使用源主機(jī)
31、中的“Demand page” (“Background page” 就是源主機(jī)中遺留的內(nèi)容拷貝到目標(biāo)主機(jī)中,直到內(nèi)存內(nèi)容全部成功拷貝),Background Page,Demand Page,共享存儲,VMotion是如何工作的?,ESX 2,ESX 1,VM A,準(zhǔn)備在目標(biāo)主機(jī)上(ESX 2)部署新的虛擬機(jī) 將源主機(jī)上虛擬機(jī)A的內(nèi)存拷貝到目標(biāo)主機(jī)上,變化的內(nèi)存內(nèi)容保存在位圖之中 掛起源主機(jī)上面的虛擬機(jī)A,將內(nèi)存位圖拷貝到目標(biāo)主機(jī)上 在目標(biāo)主機(jī)上恢復(fù)虛擬機(jī)A運(yùn)行 當(dāng)系統(tǒng)訪問修改的內(nèi)存時,使用源主機(jī)中的“Demand page” (“Background page” 就是源主機(jī)中遺留的內(nèi)容拷貝
32、到目標(biāo)主機(jī)中,直到內(nèi)存內(nèi)容全部成功拷貝) 從源主機(jī)中刪除虛擬機(jī)A,共享存儲,群集(Clusters) DRS和/或HA,群集(Clusters) 簡介,一群ESX服務(wù)器主機(jī)以及和它們相關(guān)聯(lián)的、定義了共享資源的虛擬機(jī),可以選擇激活DRS和/或HA功能,無需特殊軟件許可就可以創(chuàng)建,DRS如何工作?,虛擬機(jī)初始運(yùn)行位置 在資源池中上電虛擬機(jī) 建議運(yùn)行主機(jī) (優(yōu)先級列表),動態(tài)平衡 監(jiān)視關(guān)鍵虛擬機(jī)、資源池和主機(jī) 將有資格的資源賦予資源池和虛擬機(jī) 建議遷移,DRS的目的 在主機(jī)和群集之間平衡虛擬機(jī)負(fù)載 強(qiáng)化資源策略的精確度 (預(yù)留、限制和份額) 對虛擬機(jī)運(yùn)行位置進(jìn)行約束 關(guān)聯(lián)(Affinity)和反關(guān)聯(lián)
33、定(Anti-affinity)規(guī)則 VMotion兼容性(CPU類型、SAN和LAN的連通性),DRS讓事情變得簡單,DRS 自動化級別,在虛擬機(jī)啟動時,自動地進(jìn)行初始運(yùn)行位置的確認(rèn),并且在虛擬機(jī)運(yùn)行時進(jìn)行動態(tài)平衡,DRS群集設(shè)置,反關(guān)聯(lián)規(guī)則(Anti-affinity) 在不同的主機(jī)上運(yùn)行不同的虛擬機(jī) 動機(jī):高可用,集群應(yīng)用 關(guān)聯(lián)規(guī)則(Affinity) 在同一臺主機(jī)上運(yùn)行不同的虛擬機(jī) 動機(jī):明確運(yùn)行位置,性能考慮,資源池和DRS要做與不要做的事情,正確使用預(yù)留和份額 份額通常是更靈活的策略工具 使用份額隔離虛擬機(jī)資源,而不必使用硬分區(qū)隔離 使用預(yù)留來保證應(yīng)用服務(wù)質(zhì)量 保持一定的空余容量
34、不要讓預(yù)留資源占滿整個群集資源 要為主機(jī)維護(hù)和重新平衡預(yù)留資源空間 需要接納故障主機(jī)上面的虛擬機(jī)的空間(使用DRS) 如果一臺主機(jī)是一個群集的成員,不要直接在該主機(jī)上修改資源參數(shù),什么是VMware HA?,集成的、可擴(kuò)展的VMware虛擬機(jī)故障切換解決方案 是VI3 Enterprise的一部分 (可選的VirtualCenter功能) 與VMotion和DRS集成 通過在ESX服務(wù)器主機(jī)中進(jìn)行自動故障切換,為虛擬機(jī)提供高可用性 每個群集最多支持16個ESX主機(jī)(新版本將支持32個ESX主機(jī)) 通過VI Client配置、管理和監(jiān)控 可以為特定虛擬機(jī)定制行為方式,什么是VMware HA?,
35、什么是什么不是VMware HA?,它是 如果一臺ESX發(fā)生故障,運(yùn)行在它上面的虛擬機(jī)將會在同一群集中的另外ESX主機(jī)上重新啟動 故障由服務(wù)控制臺網(wǎng)卡上運(yùn)行的心跳服務(wù)進(jìn)行檢測 它 不利用VMotion 不對虛擬機(jī)故障提供保護(hù) 不能跨群集(Cluster)或數(shù)據(jù)中心(DataCenter)運(yùn)行,HA與VirtualCenter的關(guān)系,VMware HA選項(xiàng),故障主機(jī)數(shù)量- Host Failures 指定可以進(jìn)行故障切換的主機(jī)數(shù)量,希望這些主機(jī)上的虛擬機(jī)可以在其它主機(jī)上重新啟動 準(zhǔn)入控制 Admission Control 如果虛擬機(jī)違反了可用性規(guī)則,或者超出了資源限制,則不啟動虛擬機(jī) 即使虛擬
36、機(jī)違反了可用性規(guī)則,或者超出了資源限制,也會在其它主機(jī)上啟動虛擬機(jī)(但不保證啟動成功,會有一個警告信息),規(guī)劃VMware HA,準(zhǔn)入控制 在群集中保留足夠的空閑資源進(jìn)行故障切換 每臺主機(jī)都應(yīng)該有一定的CPU和內(nèi)存空余資源 每臺虛擬機(jī)都有最小內(nèi)存和CPU需求 規(guī)劃準(zhǔn)入控制 指定可以實(shí)施故障切換的主機(jī)的數(shù)量 如果N臺大型主機(jī)故障,也能保證虛擬機(jī)可以重新布置到其它主機(jī)上重新啟動 定義最壞的情況 最大故障主機(jī)數(shù)量和需要重新分配的虛擬機(jī)數(shù)量和大小,容量規(guī)劃,舉例:假定一個同構(gòu)的群集 這是一個保守的規(guī)劃 高級用戶希望制定他們自己的規(guī)劃,避免嚴(yán)格的準(zhǔn)入控制檢查,VM 1,VM 2,VM 3,VM 6,VM
37、 5,故障切換容量規(guī)劃:1臺主機(jī)故障,VM 4,容量規(guī)劃,VM 1,VM 2,VM 3,VM 4,故障切換容量規(guī)劃:2臺主機(jī)故障,如果故障主機(jī)的數(shù)量超過了配置的空余容量 優(yōu)先級高的虛擬機(jī)將首先被切換和啟動 會生成一個警告信息,重新啟動優(yōu)先級,可選的重新啟動優(yōu)先級選項(xiàng),以虛擬機(jī)為單位設(shè)置隔離響應(yīng),隔離響應(yīng),主機(jī)在網(wǎng)絡(luò)中被隔離 Pings發(fā)生問題的節(jié)點(diǎn),隔離并驗(yàn)證地址 故障響應(yīng):下電還是繼續(xù)運(yùn)行? VMware HA等待15秒鐘,然后決定該主機(jī)被隔離 下電 NAS和iSCSI 缺省是下電 最安全的方式,VM,VM,VM,VM,VM,VM,與DRS集成,HA和VirtualCenter 下電的虛擬機(jī)
38、不被視為一個故障 下電的和有特殊標(biāo)示的虛擬機(jī)將不會被切換 VMotion有短暫的危險時間窗口(遷移時主機(jī)發(fā)生故障);HA可以在原來的、目的或者其它合適的主機(jī)上重新啟動虛擬機(jī) HA和DRS HA的首要優(yōu)先級是重新啟動故障主機(jī)上的的虛擬機(jī) DRS將決定和優(yōu)化重新啟動的虛擬機(jī)的位置 (它的優(yōu)先級是保持整個群集的負(fù)載平衡),DRS + HA = 主動 + 被動反應(yīng)方案,高可用解決方案(虛擬機(jī)集群)MSCS,VI3集群解決方案,目前,VMware只測試和支持微軟的集群服務(wù) (MSCS)運(yùn)行在自己的虛擬機(jī)環(huán)境中 但是在實(shí)際應(yīng)用中,Veritas VCS和Oracle RAC都有成功案例,VI3集群解決方案
39、,只能為操作系統(tǒng)和應(yīng)用系統(tǒng)的崩潰提供保護(hù)措施 訪問共享的SAN存儲或者共享的本地存儲,主機(jī)內(nèi)部的集群:Cluster in a box,主機(jī)之間集群:Cluster-Across-Boxes,可以為操作系統(tǒng)、應(yīng)用系統(tǒng)和硬件崩潰提供報或措施 使用RDM (Raw Device Mappings) 需要共享的SAN存儲 不能使用NAS和iSCSI存儲技術(shù),物理到虛擬機(jī)群:Physical to Virtual Cluster,低成本的N+1冗余設(shè)計 需要共享的SAN存儲 不能使用NAS和iSCSI存儲技術(shù) 在物理主機(jī)上不能運(yùn)行多路經(jīng)軟件,群集:注意事項(xiàng)與限制,只有2GB FC HBA和特定驅(qū)動程序
40、在支持列表當(dāng)中 只支持32為虛擬機(jī) (不支持64為虛擬機(jī)). 只支持2節(jié)點(diǎn)的群集 不支持在iSCSI盤陣或NFS上的iSCSI群集 群集不支持網(wǎng)卡捆綁干線技術(shù) 虛擬機(jī)的啟動磁盤必須位于本地存儲上 不支持在SAN中啟動ESX服務(wù)器 群集虛擬機(jī)不能成文VMware群集(DRS或HA)的一部分 不能使用VMotion遷移運(yùn)行群集軟件的虛擬機(jī),數(shù)據(jù)備份VCB,標(biāo)準(zhǔn)備份技術(shù),什么是VCB?,VCB是如何工作的?,恢復(fù)方法,目前方案存在的問題,VCB集成,標(biāo)準(zhǔn)備份技術(shù),備份服務(wù)器,VM1,ESX服務(wù)器,VM2,VM3,AGENT,服務(wù)控制臺,AGENT,AGENT,AGENT,優(yōu)點(diǎn): 像物理主機(jī)一樣備份和
41、恢復(fù) 加上完整虛擬機(jī)備份功能 易于實(shí)施 并提高備份能力,裸設(shè)備映射(RDM),ESX服務(wù)器,VM2,VM3,VM1,VMFS,VMDK,VMDK,VMDK,NTFS LUN 1,NTFS LUN 2,EXT3 LUN 3,服務(wù)控制臺,SAN,EXT3 LUN 3,NTFS LUN 1,NTFS LUN 2,備份服務(wù)器,優(yōu)點(diǎn): 消除ESX服務(wù)器備份負(fù)擔(dān) 發(fā)揮現(xiàn)有SAN技術(shù) 與標(biāo)準(zhǔn)存儲模式配合良好,當(dāng)前備份模式存在的問題,基于客戶機(jī)代理(Agent)的備份模式 備份的負(fù)載累加到生產(chǎn)主機(jī)之上 備份每臺虛擬機(jī)消耗主機(jī)5% CPU是可以接受的 但是,當(dāng)20臺虛擬機(jī)同時開始備份的時候 對于虛擬架構(gòu)來講,備
42、份負(fù)載具有很大的負(fù)面影響 大量消耗磁盤和網(wǎng)絡(luò)I/O 即使通過服務(wù)控制臺備份磁盤映像也會降低系統(tǒng)性能,當(dāng)前備份模式存在的問題,基于RDM的備份模式 需要SAN磁盤陣列快照軟件 并非所有陣列廠商都支持,或者非常昂貴 失去VMFS的優(yōu)點(diǎn) 如磁盤的利用效率高,跨LUN,將虛擬機(jī)視為文件等 在沒有更多昂貴工具支持的情況下,SAN磁盤陣列快照只是一個主機(jī)崩潰一致性的拷貝 不提供文件系統(tǒng)和應(yīng)用級別的數(shù)據(jù)一致性快照,解決方案:整合備份VCB,VCB的目標(biāo) 利用VMware的獨(dú)特技術(shù)提高文件系統(tǒng)級別的備份性能 將備份負(fù)載從ESX服務(wù)器上卸載下來 不需要SAN磁盤陣列相關(guān)的軟件 對于最終用戶來講,易于實(shí)現(xiàn) 是簡化
43、整個企業(yè)備份體系架構(gòu)復(fù)雜度的開始,VCB的效果,ESX,VM2,VM3,VM1,VMFS,VMDK,Service Console,SAN,VMDK,達(dá)到什么效果,備份代理 服務(wù)器 (Backup Proxy),VMDK,vmkernel,VM2,VM3,VM1,Service Console,vmkernel,備份代理 服務(wù)器 (Backup Proxy),VCB,VCB如何工作?,ESX,VMFS,VMDK,SAN,VMDK,發(fā)生了什么,VMDK,SYNC,BLOCK LIST,PRE,POST,第三方備份軟件,VM2,VM3,VM1,Service Console,vmkernel,備份
44、代理 服務(wù)器 (Backup Proxy),VCB,VCB如何工作?,ESX,VMFS,VMDK,SAN,VMDK,輸出完整的虛擬機(jī),VMDK,SYNC,BLOCK LIST,2GB,2GB,2GB,PRE,POST,如何恢復(fù)?,目前還沒有基于備份代理的恢復(fù)工具 選項(xiàng): 在每一臺虛擬機(jī)中安裝備份軟件代理,將文件直接恢復(fù)到這些虛擬機(jī)中 建立安裝備份軟件代理的專門恢復(fù)虛擬機(jī),將數(shù)據(jù)恢復(fù)到這些虛擬機(jī)當(dāng)中,然后手工移動文件到目標(biāo)虛擬機(jī)中 要恢復(fù)整個虛擬機(jī),將它們恢復(fù)到服務(wù)控制臺可以訪問的的文件系統(tǒng)中,然后將它們輸入到VMFS中 為什么這個版本部提供恢復(fù)功能? 備份操作每天都會進(jìn)行,但是很少執(zhí)行恢復(fù)操作
45、 我們希望改善當(dāng)前面臨的主要問題 備份,整合備份和恢復(fù)方法,集中恢復(fù) 在備份代理服務(wù)器中安裝備份軟件代理 分組恢復(fù) 在ESX服務(wù)器上的一組虛擬機(jī)選擇一臺安裝備份軟件代理 自我服務(wù)式恢復(fù) 在每一臺虛擬機(jī)上安裝備份軟件代理,恢復(fù)方法的比較,幾個要記住的要點(diǎn),VCB不能替代備份軟件 備份軟件是VCB API的主要使用者 VCB與現(xiàn)有備份架構(gòu)整合 目前還沒有與Linux完全整合 在版本1.0中,只支持對Windows操作系統(tǒng)的文件級備份 完整虛擬機(jī)輸出支持任何類型的操作系統(tǒng),VCB集成,VMware已經(jīng)與下列產(chǎn)品集成: Veritas NetBackup Symantec BackupExec Tiv
46、oli Storage Manager Legato Networker 這些只是基本集成 命令行,運(yùn)行前/后腳本。沒有與備份軟件進(jìn)行深入整合 注意:一些備份軟件廠商在VMware之外提供他們自己的整合產(chǎn)品,VCB的軟、硬件需求,VCB備份代理服務(wù)器(實(shí)機(jī))必須運(yùn)行 Microsoft Windows 2003 SP1或以上版本 光纖通道SAN。VCB備份代理服務(wù)器需要訪問SAN當(dāng)中的LUN VCB支持的備份軟件 備份硬件,例如磁帶庫 一個或多個ESX服務(wù)器3.x系統(tǒng),多路徑,VCB備份代理服務(wù)器目前不支持任何多路徑軟件,VCB系統(tǒng)的概貌,備份什么?,虛擬機(jī)內(nèi)的內(nèi)容 ESX服務(wù)器服務(wù)控制臺,備
47、份系統(tǒng)主要組成部分 備份客戶機(jī) (備份軟件代理) 備份服務(wù)器,備份虛擬機(jī),不支持在ESX服務(wù)控制臺上運(yùn)行備份服務(wù)器,在虛擬機(jī)中的備份軟件代理,方式一:在虛擬機(jī)中運(yùn)行備份服務(wù)器,在虛擬機(jī)中的備份軟件代理,方式二:在物理機(jī)中運(yùn)行備份服務(wù)器,在服務(wù)控制臺中的備份軟件代理,方式三:在虛擬機(jī)中安裝備份服務(wù)器,在服務(wù)控制臺中的備份軟件代理,方式四:在物理機(jī)中安裝備份服務(wù)器,Converter,Converter是如何工作的?,冷克隆,Converter的好處,今后的發(fā)展計劃,在線克隆,VMware Converter 3.0簡介,VMware Converter 3.0是一個自動將物理主機(jī)、其它格式虛擬機(jī)
48、和第三方主機(jī)映像轉(zhuǎn)化為VMware虛擬機(jī)的工具,物理主機(jī)、第三方主機(jī)映像和其它格式的虛擬機(jī),虛擬機(jī),VMware Converter,VMware Converter 3.0簡介,產(chǎn)品概覽,集中管理控制臺 (不需要一臺輔助虛擬機(jī)) 多種P2V克隆模式 在線克隆(Win2k3, XP) 本地源主機(jī) 遠(yuǎn)程源主機(jī) 冷克隆 只支持本地源主機(jī) 基于WinPE 操作方式和界面與在線克隆類似 采用基于善區(qū)快照的克隆加快了轉(zhuǎn)換速度 多個轉(zhuǎn)換操作同時運(yùn)行,實(shí)現(xiàn)高度的擴(kuò)展能力,產(chǎn)品概覽,源主機(jī) 物理主機(jī) 虛擬機(jī)(WS/GSX/Player/Server,VC2管理的ESX 2.5和ESX 3) 第三方主機(jī)映像(M
49、SVPC,Symantec LiveState) 目標(biāo)主機(jī) 虛擬機(jī)(WS/GSX/Player/Server ,VC2管理的ESX 2.5和ESX 3) 支持的源操作系統(tǒng) 集中在Windows平臺 64位WinXP/2K3、WinNT SP4+、Win2K、WinXP、Win2K3,產(chǎn)品概覽,支持更多種類的物理主機(jī) 映像定制功能 比P2V Assistant的手工操作更少 提高了轉(zhuǎn)換的可靠性,遷移失敗率更低 與VC/ESX之間互操作 可以與VC2.0和ESX3.0配合 可以使用免費(fèi)的Starter Edition了解該產(chǎn)品,冷克隆,冷克隆,用戶使用Converter啟動光盤啟動源主機(jī),然后使用VMware Converter定義并開始遷移 Converter將源主機(jī)上面的卷復(fù)制到RAM盤中,冷克隆,Converter在目標(biāo)主機(jī)上創(chuàng)建一個新的虛擬機(jī) Converter將源主機(jī)上面的卷拷貝到目標(biāo)主機(jī)上,冷克隆,Converter安裝虛擬機(jī)啟動所必需的操作系統(tǒng)驅(qū)動程序 Converter定制虛擬機(jī)的個性配置 (例如改變 IP地址信息等),冷克隆,用戶取出啟動光盤,然后重新啟動源主機(jī),恢復(fù)該主機(jī)的正常運(yùn)行狀態(tài) 虛
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 民航安全生產(chǎn)制度
- 液氨生產(chǎn)責(zé)任制度
- 基地生產(chǎn)規(guī)章制度
- 鍋爐房文明生產(chǎn)制度
- 生產(chǎn)用水比例制度
- 生產(chǎn)經(jīng)營業(yè)務(wù)管理制度
- 非標(biāo)產(chǎn)品生產(chǎn)管理制度
- 中藥材初加工生產(chǎn)制度
- 生產(chǎn)部風(fēng)險點(diǎn)管理制度
- 安全生產(chǎn)危險源制度
- 2025中國機(jī)械工業(yè)集團(tuán)有限公司國機(jī)集團(tuán)總部社會招聘19人筆試參考題庫附帶答案詳解
- 城鎮(zhèn)老舊供水管網(wǎng)及附屬設(shè)施升級改造工程節(jié)能評估報告
- 紀(jì)委監(jiān)委辦案安全課件
- 2026年全國婦聯(lián)所屬在京事業(yè)單位公開招聘備考題庫含答案詳解
- 2025年輸血知識考試試題及答案
- 2025-2026學(xué)年人教版八年級上冊道德與法治期末試卷(含答案和解析)
- 幼兒園消防安全管理細(xì)則解讀
- 沈陽市2025遼寧沈陽市于洪區(qū)社區(qū)殘疾人工作專職干事招聘筆試歷年參考題庫典型考點(diǎn)附帶答案詳解(3卷合一)
- 腹部手術(shù)圍手術(shù)期疼痛管理指南(2025版)
- 2026年內(nèi)蒙古電子信息職業(yè)技術(shù)學(xué)院單招職業(yè)適應(yīng)性測試題庫附答案詳解
- 2025年綿陽市中考英語試題(附答案)
評論
0/150
提交評論