版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
DellCompellent與VMware和Hyper-V集成Peter_Ye@DELL.comDELLStorageSpecialist綱要2虛擬服務(wù)器需要虛擬存儲(chǔ)按需流動(dòng):性能、空間、跨越陣列DellCompellent與Hyper-V的集成DellCompellent與VMware集成實(shí)際案例或測(cè)試結(jié)果卷13虛擬服務(wù)器需要虛擬存儲(chǔ)
存儲(chǔ)通過(guò)虛擬化實(shí)現(xiàn)按需流動(dòng)卷2卷4卷3傳統(tǒng)存儲(chǔ)磁盤共享資源池虛擬化的存儲(chǔ)磁盤80%數(shù)據(jù)休眠1、按需流動(dòng)-性能
自動(dòng)分級(jí)–根據(jù)數(shù)據(jù)活躍程度自動(dòng)上浮或下沉
傳統(tǒng)存儲(chǔ)-數(shù)據(jù)歸檔方案-復(fù)雜的遷移(卷/子卷)自動(dòng)分級(jí)-顆粒級(jí)的自動(dòng)分級(jí)-智能化-簡(jiǎn)單化LUN/卷15k15k15k7.2k7.2k7.2k7.2k7.2k72.k15k15k15kLUN/卷普通磁盤技術(shù)Compellent快道技術(shù)最為活躍的業(yè)務(wù)數(shù)據(jù)在數(shù)據(jù)塊級(jí)別被自動(dòng)、透明地分配到性能最好的磁盤外道空間活躍數(shù)據(jù)非活躍數(shù)據(jù)1、按需流動(dòng)-性能自動(dòng)分級(jí)存儲(chǔ)-FastTrack(快道技術(shù))1.Dellcasestudy:7-Eleven;2,S按需數(shù)據(jù)調(diào)度空間管理回放適合多個(gè)固態(tài)硬盤層讀取密集型數(shù)據(jù)自動(dòng)移動(dòng)到讀取密集型固態(tài)硬盤(eMLC)寫入密集型數(shù)據(jù)位于高耐用性的固態(tài)硬盤(SLC)上不常用的數(shù)據(jù)移動(dòng)至7,200RPM磁盤可由Compellent操作系統(tǒng)自動(dòng)處理首個(gè)可自動(dòng)跨寫入密集型和讀取密集型固態(tài)硬盤進(jìn)行分層的平臺(tái)第一層第二層第二層高耐用性企業(yè)級(jí)SAS固態(tài)硬盤讀取密集型企業(yè)級(jí)SAS固態(tài)硬盤1、按需流動(dòng)-性能流動(dòng)緩存+兩級(jí)閃存優(yōu)化(SLC+eMLC)第三方咨詢機(jī)構(gòu)ESG的報(bào)告早在2006年3月,ESG就在IntelligentTieredStorage報(bào)告中確認(rèn)了Compellent自動(dòng)分級(jí)技術(shù)的領(lǐng)導(dǎo)地位ESG,March2006,IntelligentTieredStorage8CompellentDynamicCapacity–超額分配;不寫不占2、按需流動(dòng)-空間最徹底的精簡(jiǎn)配置:CML動(dòng)態(tài)空間CompellentDynamicCapacity–
寫多少,占多少2007年開始就支持Windows的空間回收CML最早研究并實(shí)施SCSIUNMAP命令(SCv5.4以后)T10技術(shù)委員會(huì)在SCSISBC-3標(biāo)準(zhǔn)中,采納了新的SCSI命令任何符合SCSISBC-3標(biāo)準(zhǔn)的操作系統(tǒng),Compellent都支持業(yè)界領(lǐng)先的空間回收技術(shù)2、按需流動(dòng)-空間最徹底的精簡(jiǎn)配置:CML動(dòng)態(tài)空間如RedHatLinux的ext4文件系統(tǒng)(2011-06-29),如VMFS5.0WindowsServer20123、按需流動(dòng)–跨越陣列LiveVolume–在線卷漂移為跨多個(gè)系統(tǒng)放置卷提供智能指導(dǎo)與LiveVolume配合使用自動(dòng)完成整個(gè)過(guò)程提供自動(dòng)化的卷放置現(xiàn)有卷針對(duì)最佳放置提供實(shí)時(shí)建議新卷消除了重要性能工具的監(jiān)控,減少了錯(cuò)誤Advisor取代了當(dāng)前采用的每個(gè)系統(tǒng)18次
單擊的方法123、按需流動(dòng)–跨越陣列VolumeAdvisor–卷的最佳放置DellCompellent
與Hyper-V的集成Peter_Ye@DELL.comDELLStorageSpecialist虛擬化服務(wù)器的比較功能VMwareHyper-V多路徑有有虛擬機(jī)遷移VMotionLiveMigration動(dòng)態(tài)資源分配DRSSCOM和SCVMM應(yīng)用級(jí)容災(zāi)SiteRecoverManageStretchClustering故障切換FaultTorranceFailoverCluster與陣列集成VAAIODX,Trim/UNMAP等WindowsServer2012的新特性15WindowsServer2012Hyper-V的改進(jìn)系統(tǒng)資源WindowsServer2008R2Hyper-VWindowsServer2012
Hyper-V
改善比例宿主機(jī)邏輯處理器643205×物理內(nèi)存1TB4TB4×每宿主機(jī)虛擬
CPU數(shù)5122,0484×虛擬機(jī)每虛擬機(jī)虛擬CPU數(shù)46416×每虛擬機(jī)內(nèi)存數(shù)64GB1TB16×每宿主機(jī)活躍虛擬機(jī)數(shù)3841,0242.7×來(lái)賓NUMA無(wú)有-群集節(jié)點(diǎn)最大數(shù)16644×虛擬機(jī)最大數(shù)1,0008,0008×ResilientFileSystem(ReFS,彈性文件系統(tǒng))支持超大規(guī)模的卷、文件和目錄
(Windows堆棧尋址允許2^64字節(jié))無(wú)需脫機(jī),自動(dòng)檢測(cè)損壞的文件并修復(fù)DataDeduplication(重復(fù)數(shù)據(jù)刪除)所有版本的Server2012都支持
(不只是StorageServer支持)基于數(shù)據(jù)塊級(jí)的重刪技術(shù)(以卷為單位)WindowsServer2012的新特性17OffloadedDataTransfer(ODX,卸載數(shù)據(jù)傳輸)Trim/Unmap(自動(dòng)TRIM和取消映射)包括CSVs/VHDX文件支持VirtualFibreChannel(虛擬光纖通道適配卡)該功能可以使得虛擬機(jī)能直接連上SAN存儲(chǔ)上的邏輯卷SMI-S集成允許RapidProvisioning(迅速部署)18WindowsServer2012的新特性WindowsServer2012和ODX19OffloadedDataTransfer(卸載數(shù)據(jù)傳輸)在SAN執(zhí)行數(shù)據(jù)的遷移或復(fù)制,無(wú)需使用主機(jī)的CPU或網(wǎng)絡(luò)資源數(shù)據(jù)復(fù)制或遷移的速度比以往快2~3倍Server2012默認(rèn)開啟這一功能DellCompellentStorageCenter6.3.1以上開始支持ODX功能Server2012和ODX2021實(shí)際評(píng)測(cè)結(jié)果–ODX卸載數(shù)據(jù)傳輸某虛機(jī)的存儲(chǔ),含有兩個(gè)VHDX,來(lái)自不同的兩個(gè)邏輯卷,將該虛機(jī)的存儲(chǔ)移動(dòng)到同一Compellent的另一個(gè)邏輯卷。共40.94GB,從05:37.2縮減到04:33.9測(cè)試方法:《部署Windows卸載的數(shù)據(jù)傳輸》DeployWindowsOffloadedDataTransfershttp:///library/jj200627修改注冊(cè)表FilterSupportedFeaturesMode
的鍵值WindowsServer2012現(xiàn)在能夠自動(dòng)識(shí)別精簡(jiǎn)配置的邏輯卷,并且實(shí)時(shí)回收未被使用的空間當(dāng)文件或者文件夾從一個(gè)邏輯卷里被移動(dòng)或者刪除,Trim/Unmap能在SAN上回收空間.CompellentEnterpriseManager(企業(yè)存儲(chǔ)管理器)FreeSpaceRecovery(空間回收)功能不再必需(不過(guò)ServerAgent仍能被安裝)Server2012默認(rèn)開啟Trim/Unmap功能DellCompellentStorageCenter6.3.1以上開始支持Trim/Unmap功能Server2012和Trim/Unmap2223實(shí)際評(píng)測(cè)結(jié)果–Trim/Unmap空間回收先創(chuàng)建一個(gè)200GB的邏輯卷,并映射到Hyper-V所在WindowsServer2012服務(wù)器上,分區(qū)、格式化、分配盤符I盤??截愐粋€(gè)38.1GB的文件iobw.tst。24實(shí)際評(píng)測(cè)結(jié)果–Trim/Unmap空間回收觀察Compellent存儲(chǔ)的圖形管理界面,可以看到消耗的空間為38.23GB(含 200GB邏輯卷格式化所占文件分配表的空間),此時(shí)時(shí)間為2013-10-25,
10:23AM25實(shí)際評(píng)測(cè)結(jié)果–Trim/Unmap空間回收在Windows的I盤徹底刪除38.1GB的iobw.tst文件。然后,再觀察Compellent存儲(chǔ)的圖形管理界面,可以看到幾十秒鐘以后(2013-10-25,10:24AM),消耗空間為162MB。因此,空間回收幾乎是實(shí)時(shí)的Server2012和VirtualFiberChannel26Server2012Hosts/NodesHBAs/fabricmustsupportNPIVServer2008R2or2012guestVMsAllowsguestVMclusteringGuestVMscanlive-migrateVirtualFCHBAWWN27通過(guò)單一界面配置虛擬機(jī)存儲(chǔ)分配存儲(chǔ)配置文件,以確保必需的性能和效率
基于服務(wù)器即時(shí)回放(黃金映像)創(chuàng)建虛擬機(jī)SCVMM2012
機(jī)密信息28SMI-S與DellCompellentStorageCenter的集成29DellCompellentStorageCentersDellCompellentEnterpriseManagerServerSCVMM2012SP1ServerPhysicalHyper-VHostsSCVMM2012SP1LibraryServerFiber/iSCSINetworkSMI-STCPPortEthernetNetworkPhysicalHyper-VFailoverClustersDBDB安裝EnterpriseManager開啟SMI-S發(fā)現(xiàn)DellCompellentStorageAssignclassificationsAssignstoragetoahostgroup配置SMI-S30利用goldimage源模板降低對(duì)網(wǎng)絡(luò)的影響迅速部署guestVMs最大化存儲(chǔ)利用率利用分層存儲(chǔ)SMI-S的優(yōu)勢(shì)31ConfigureaguestVMasthesourceClonetheguestVMforfutureneedsImporttheguestVMtotheLibraryServerBecomesaSANcopy-capabletemplateServesasagoldimagefornewguestVMsRapidprovisionnewguestVMsRapidProvisioning32SANSpaceSavedwithRapidProvisioning33GuestVMsNetworkCopyTemplateRapidProvisionTemplateSourceVM(GoldImage)15GB15GBGuestVM115GB1GBGuestVM215GB1GBGuestVM315GB1GBGuestVM415GB1GBGuestVM515GB1GBTotalSANSpaceUsed90GB20GBSANSpaceSaved0GB70GBCompellent與MicrosoftHyper-V的集成ReplayManager一致地在線備份和恢復(fù)Hyper-V、Exchange、SQLServer或任何支持MicrosoftVSS的應(yīng)用程序自動(dòng)執(zhí)行時(shí)間安排、發(fā)現(xiàn)、驗(yàn)證和遷移可移植的回放PowerShell自動(dòng)化自動(dòng)執(zhí)行Microsoft應(yīng)用程序存儲(chǔ)管理簡(jiǎn)化虛擬機(jī)創(chuàng)建和配置將復(fù)雜的測(cè)試和開發(fā)環(huán)境標(biāo)準(zhǔn)化CompellentRMforMicrosoftHyper-V保護(hù)時(shí),有一段時(shí)間VM會(huì)出現(xiàn)SAVE(備份)狀態(tài)PowerShellincombinationwithPowerCLIcreateadvancedscripts
toautomatenearlyallStorageCenter
andVMwarefunctionsHelpwithlargedeployments,migrations,andeverydayadministrationThemostcommonuseistocreatecustombackupscriptsWindowsPowerShellCommandSet
36+實(shí)際評(píng)測(cè)結(jié)果1
–測(cè)試環(huán)境配置37設(shè)備數(shù)量單個(gè)設(shè)備配置描述服務(wù)器DELLR9102CPU核:40cpus*2.4GHZ內(nèi)存256GB,內(nèi)部磁盤可用空間>20GB,4NIC千兆網(wǎng)卡,2HBA卡存儲(chǔ)陣列CompellentSC8000SAN存儲(chǔ)1配置4塊200GSSD硬盤,24塊600GB15K硬盤,提供8GFC交換機(jī)DELLPC8164F148端口萬(wàn)兆SFP+以太網(wǎng)交換機(jī)光纖交換機(jī)2博科DS-300,24口FC8G光纖交換機(jī),激活8口WindowsServer2012R21用于Hyper-V部署遷移100個(gè)虛機(jī)的速度3分35秒13
(Hyper-V01->Hyper-V012
)開機(jī)100個(gè)虛機(jī)的速度2分31秒46系統(tǒng)準(zhǔn)備(SystemPreparing)的速度5分25秒17存儲(chǔ)遷移(LiveStorageMigration)的速度2分23秒2838實(shí)際評(píng)測(cè)結(jié)果2
–性能表現(xiàn)DellCompellent最佳實(shí)踐文檔和演示視頻位于DellCompellentKnowledgeCenter
http://DisasterRecoveryforMicrosoftHyper-VBestPracticesReplayManager7andMicrosoftHyper-VBestPracticesReplayManager7andMicrosoftHyper-VDemoVideoDellCompellentIntegrationwithSCVMM2012SP1BestPracticesDellCompellentIntegrationwithSCVMM2012SP1DemoVideoMicrosoftHyper-VBestPracticesWindowsServerMPIOBestPracticesWindowsServer2012BestPractices資源39DellCompellent與VMware集成Peter_Ye@DELL.comDELLStorageSpecialistDellCompellentvSpherePlug-in(VSP),vSphere插件vStorageAPIsforArrayIntegration(VAAI)DellCompellentIntegrationToolsforVMware(VASA)CompellentIntegrationToolsforVMware(CIT-V),集成工具ReplayManager(RM)7.0vCenterSiteRecoveryManager(SRM),站點(diǎn)容災(zāi)EnterpriseManager(EM)vCenterOperationsManager(vCOPs)目錄41在vSphere管理界面里直接管理Compellent存儲(chǔ)在Vmware環(huán)境里簡(jiǎn)化了存儲(chǔ)的管理包括:查看系統(tǒng)信息和統(tǒng)計(jì)信息分配邏輯卷給datastore分配邏輯卷給RDM設(shè)備創(chuàng)建VM的一致性組擴(kuò)展VMFSdatastore創(chuàng)建和管理容災(zāi)部署新的虛機(jī)DellCompellentvSpherePlug-in(VSP),vSphere插件42DellCompellentvSphere插件(VSP)–
RecoverVMDataFromReplay43VAAI
四大特性441、FullCopy或CopyOffload2、BlockZeroing(零卸載)3、HardwareAssistedLocking(硬件輔助鎖定功能,ATS)4、ThinProvisioningBlockSpaceReclamation(空間回收)45esxclistoragecore
devicevaaistatusget-d
<naa>查看存儲(chǔ)是否支持VAAI全復(fù)制(CopyOffload或FullCopy)
使用VAAI對(duì)克隆、存儲(chǔ)遷移進(jìn)行卸載VMFS指揮存儲(chǔ)直接移動(dòng)數(shù)據(jù)時(shí)間大幅減少!降低高達(dá)95%以下設(shè)備的工作負(fù)載極大減少:服務(wù)器網(wǎng)絡(luò)存儲(chǔ)000000000000000零卸載(ZeroOffload)
零數(shù)據(jù)塊,用于為容錯(cuò)的虛擬機(jī)進(jìn)行磁盤歸零傳統(tǒng)上—基于服務(wù)器服務(wù)器直接對(duì)存儲(chǔ)進(jìn)行歸零寫入較低性能浪費(fèi)資源對(duì)象2對(duì)象10000數(shù)據(jù)塊卷應(yīng)用或文件系統(tǒng)服務(wù)器對(duì)存儲(chǔ)進(jìn)行歸零寫入改進(jìn)后—SAN卸載服務(wù)器指揮SAN對(duì)存儲(chǔ)進(jìn)行歸零寫入-服務(wù)器只負(fù)責(zé)控制,但不寫入數(shù)據(jù)速度更快更少的服務(wù)器/網(wǎng)絡(luò)/存儲(chǔ)資源對(duì)象2對(duì)象10數(shù)據(jù)塊卷00000應(yīng)用或文件系統(tǒng)SAN控制器對(duì)存儲(chǔ)進(jìn)行歸零寫入硬件輔助鎖定(ATS)HardwareAssistedLocking(硬件輔助鎖定功能)或ScalableLockManagement,或AtomicTestandSet(簡(jiǎn)稱ATS)沒(méi)有硬件輔助鎖定功能時(shí),連續(xù)的VMFS操作可能會(huì)導(dǎo)致文件系統(tǒng)被臨時(shí)鎖定,專門用于ESX節(jié)點(diǎn)寫入,包括:使用VMotion遷移虛擬機(jī);
創(chuàng)建一個(gè)新虛擬機(jī),或者從一個(gè)模板部署一個(gè)虛擬機(jī);
啟動(dòng)或關(guān)閉一個(gè)虛擬機(jī);
創(chuàng)建一個(gè)模板;建立或刪除一個(gè)文件,包括快照。硬件輔助鎖定讓ESX服務(wù)器將必要的鎖定管理任務(wù)卸載到存儲(chǔ)硬件上,避免整個(gè)VMFS文件系統(tǒng)被鎖定一般VMware鎖定
硬件輔助鎖定49以前,當(dāng)虛擬機(jī)被刪除或從一個(gè)存儲(chǔ)遷移出去后,存儲(chǔ)的精簡(jiǎn)配置卷并不會(huì)自動(dòng)回收相應(yīng)數(shù)據(jù)塊,這就導(dǎo)致陣列管理工具報(bào)告比實(shí)際情況更多的空間消耗?,F(xiàn)在,UNMAP能幫助VMware實(shí)現(xiàn)空間的回收。VMwareESXVM1VM2ThinProvisioningBlockSpaceReclamation(UNMAP,空間回收)遷走虛機(jī)的datastore之前,存儲(chǔ)空間消耗23.05GB50實(shí)際評(píng)測(cè)結(jié)果–UNMAP,空間回收vmkfstools-y9051實(shí)際評(píng)測(cè)結(jié)果–UNMAP,空間回收Attemptingtoreclaim90%offreecapacity1022.8GB遷走虛機(jī)的datastore之后,存儲(chǔ)空間消耗15.73GB52實(shí)際評(píng)測(cè)結(jié)果–UNMAP,空間回收向VMware客戶提供端對(duì)端的Compellent存儲(chǔ)可見性,更好地分配和智能地管理存儲(chǔ),實(shí)現(xiàn)最優(yōu)的性能VASAprovidesinsighttovSphereaboutthecapabilitiesofthestoragearray提供23種獨(dú)立的存儲(chǔ)信息報(bào)告,如磁盤類型、RAID設(shè)置為提高SLA級(jí)別提供虛擬機(jī)存儲(chǔ)配置vSphereAPIsforStorageAwareness(VASA)53對(duì)單個(gè)虛擬機(jī)指定相應(yīng)的“虛擬機(jī)存儲(chǔ)配置文件”54實(shí)際評(píng)測(cè)–VASA選擇“傳播到磁盤”單一集成點(diǎn)包含Compellent與VMware集成的虛擬設(shè)備使用OVF(w/OVA)方式部署簡(jiǎn)化Compellent的集成和更新目前支持vStorageAPIforStorageAwareness(VASA)ReplayManager7.0DellCompellentIntegrationToolsforVMware
(CIT-V)
55簡(jiǎn)化并確保業(yè)務(wù)應(yīng)用和虛機(jī)的恢復(fù)為VMware虛機(jī)新建按計(jì)劃的一致性ReplayVMwareVMReplay的特性:按計(jì)劃的一致性Replay多種恢復(fù)選項(xiàng)快速恢復(fù)全恢復(fù)支持Exchange2013ReplayManager7.056RequestReplayPauseTransactionsCreateconsistentReplayResumenormaloperationsReplayManager7.0保護(hù)VMware虛機(jī)CompellentReplayManager識(shí)別出VMwareESXServer上的所有虛機(jī)DellCompellent經(jīng)VMware’sSiteRecoveryManager(SRM)驗(yàn)證通過(guò)DellCompellent“StorageReplicationAdapter”(SRA)兼容StorageCenter4.0以上的存儲(chǔ)微碼SRA基于“vStorageAPIsforSiteRecoveryManager”開發(fā)SRM利用Compellent存儲(chǔ)易于配置的遠(yuǎn)程復(fù)制技術(shù),它們與CompellentEnterpriseManager配合提供一個(gè)易于部署,堅(jiān)固的容災(zāi)方案業(yè)界首個(gè)
w/EM6.1SelectableRepayvCenterSiteRecoveryManager(SRM)58SelectableReplay59vCenterSiteRecoveryManager(SRM)EnterpriseManagerintegrateswithVMwarevCenterserverto:Aggregatestoragestatisticsandprovidein-depthreportingAutomatebulkcreationofVMFSdatastorevolumesAutomatebulkcreationofRawDeviceMappings(RDMs)Easethecomplexitywithadvancedreporting,chartingandautomatedprovisioningSimpleconfiguration,justaddavCenterhostnameandcredentialsintoEnterpriseManagerDellCompellen
溫馨提示
- 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 小學(xué)數(shù)學(xué)游戲化教學(xué)對(duì)學(xué)生計(jì)算能力提升的課題報(bào)告教學(xué)研究課題報(bào)告
- 2025年桂林市逸夫小學(xué)招聘教師備考題庫(kù)及完整答案詳解一套
- 統(tǒng)編版四年級(jí)上冊(cè)道德與法治教材解析
- 三明市泰寧縣2026年緊缺急需專業(yè)教師招聘?jìng)淇碱}庫(kù)及答案詳解參考
- 2025年務(wù)川聯(lián)通營(yíng)業(yè)廳招聘?jìng)淇碱}庫(kù)及答案詳解1套
- 2025年漢中市新華書店招聘財(cái)務(wù)人員備考題庫(kù)完整參考答案詳解
- 2025年秦皇島市九龍山醫(yī)院第二批公開選聘工作人員備考題庫(kù)及一套參考答案詳解
- 黃色銀杏灌木家長(zhǎng)會(huì)模板
- 2025年廣大附中教育集團(tuán)黃埔軍校小學(xué)招聘?jìng)淇碱}庫(kù)及答案詳解參考
- 2025年南昌職業(yè)大學(xué)圖書館館長(zhǎng)崗位公開招聘?jìng)淇碱}庫(kù)參考答案詳解
- 《隱身技術(shù)概述》課件
- 財(cái)務(wù)培訓(xùn)之商場(chǎng)財(cái)務(wù)制度與流程
- 皮膚管理師行業(yè)現(xiàn)狀分析
- 上海華東師大二附中2024屆招生全國(guó)統(tǒng)一考試(模擬卷)物理試題
- 小學(xué)綜合實(shí)踐活動(dòng)-巧除污漬教學(xué)設(shè)計(jì)學(xué)情分析教材分析課后反思
- 《干部履歷表》1999版電子版
- 藥學(xué)服務(wù)-醫(yī)院藥學(xué)信息服務(wù)
- 醫(yī)療器械驗(yàn)收記錄
- 語(yǔ)言表達(dá)的藝術(shù)與技巧知到章節(jié)答案智慧樹2023年華僑大學(xué)
- 氣象雷達(dá)的使用及雷雨繞飛講課講稿
- Q∕SY 1736-2014 評(píng)標(biāo)方法選擇和評(píng)標(biāo)標(biāo)準(zhǔn)編制規(guī)范
評(píng)論
0/150
提交評(píng)論