版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
1、服務(wù)器RAID技術(shù)及應(yīng)用,范廣敏 服務(wù)器網(wǎng)絡(luò)事業(yè)部 聯(lián)想集團(tuán)有限公司,什么是RAID? RAID技術(shù)是怎樣實(shí)現(xiàn)數(shù)據(jù)保護(hù)的? RAID技術(shù)帶給用戶什么價(jià)值?,RAID技術(shù)及應(yīng)用,我們的目標(biāo),培訓(xùn)內(nèi)容,RAID術(shù)語(yǔ) RAID技術(shù)的實(shí)現(xiàn) IDE RAID與SCSI RAID技術(shù)及應(yīng)用 常用RAID卡產(chǎn)品介紹 問題與討論,RAID技術(shù)及應(yīng)用,RAID技術(shù)的定義,RAID Redundant Array of Independent Disks RAID是將同一陣列中的多個(gè)磁盤視為單一的虛擬磁盤,數(shù)據(jù)是以分段的方式順序存放于磁盤陣列中。,RAID術(shù)語(yǔ),RAID技術(shù)及應(yīng)用,Disk Spanning,Di
2、sk Spanning 數(shù)據(jù)跨盤技術(shù)使多個(gè)硬盤像一個(gè)硬盤那樣工作 用廉價(jià)的資源來(lái)突破現(xiàn)有硬盤空間限制 最大限度的利用磁盤空間 不能改善硬盤的可靠性和速度 JBOD (Just A Bunch Of Disks),RAID技術(shù)及應(yīng)用,RAID術(shù)語(yǔ),Disk Striping,Disk Striping 將數(shù)據(jù)按照一定大小分成多個(gè)數(shù)據(jù)塊,這些數(shù)據(jù)塊可以被分別存放在不同的物理盤上 系統(tǒng)在從特定硬盤讀取數(shù)據(jù)時(shí)可以通知下個(gè)目標(biāo)盤準(zhǔn)備數(shù)據(jù) 提高系統(tǒng)讀寫數(shù)據(jù)的性能,RAID術(shù)語(yǔ),RAID技術(shù)及應(yīng)用,Disk Mirroring,Disk Mirroring 將相同的數(shù)據(jù)同時(shí)寫入多個(gè)硬盤中 當(dāng)某個(gè)物理硬盤失效
3、時(shí),提供數(shù)據(jù)資料的保護(hù)能力 降低系統(tǒng)寫數(shù)據(jù)的性能,RAID術(shù)語(yǔ),RAID技術(shù)及應(yīng)用,Hot Swap,Hot Swap 處于運(yùn)行狀態(tài)的磁盤陣列子系統(tǒng)當(dāng)出現(xiàn)單個(gè)物理盤失效的情況時(shí),采用新硬盤將失效物理盤在線替換,同時(shí)保證系統(tǒng)穩(wěn)定運(yùn)行 只有RAID級(jí)別為1、3、5、10、30、50的陣列才提供該功能,RAID術(shù)語(yǔ),RAID技術(shù)及應(yīng)用,Parity,Parity 來(lái)自多個(gè)物理磁盤上的數(shù)據(jù)通過異或(XOR)操作運(yùn)算產(chǎn)生的冗余奇偶數(shù)據(jù) 當(dāng)單個(gè)硬盤失效時(shí),這些冗余數(shù)據(jù)能夠通過與其它物理磁盤上的數(shù)據(jù)進(jìn)行異或(XOR)操作而恢復(fù)由于硬盤失效而丟失的數(shù)據(jù) 產(chǎn)生的冗余數(shù)據(jù)可以被存放于一個(gè)專作奇偶校驗(yàn)用的硬盤上,也
4、可以將這些奇偶校驗(yàn)數(shù)據(jù)分散分布在磁盤陣列的全部硬盤中 產(chǎn)生和存儲(chǔ)奇偶校驗(yàn)數(shù)據(jù)需要一些額外的操作,目前產(chǎn)生奇偶校驗(yàn)數(shù)據(jù)有兩種方式:硬件生成和軟件計(jì)算。,RAID術(shù)語(yǔ),RAID技術(shù)及應(yīng)用,培訓(xùn)內(nèi)容,RAID術(shù)語(yǔ) RAID技術(shù)的實(shí)現(xiàn) IDE RAID與SCSI RAID技術(shù)及應(yīng)用 常用RAID卡產(chǎn)品介紹 問題與討論,RAID技術(shù)及應(yīng)用,RAID Levels RAID 0,RAID0 Striping 數(shù)據(jù)以分段(1K - 8M Byte)的方式放在磁盤陣列中,沒有校驗(yàn)數(shù)據(jù)。 沒有容錯(cuò)能力,同一通道4個(gè)1GB的硬盤做RAID0的效率是1個(gè)4GB硬盤的3-3.5倍;,RAID技術(shù)的實(shí)現(xiàn),RAID技術(shù)及
5、應(yīng)用,A0,A1,A2,A3,A4,A5,A6,A7,4N-2,4N-1,4N,4N-3,.,.,.,.,磁盤0,磁盤2,磁盤3,磁盤1,RAID Levels RAID 1,RAID1 Mirroring 使磁盤讀取的效率增加,但寫入的效率降低 通過數(shù)據(jù)直接備份具有容錯(cuò)能力,RAID技術(shù)的實(shí)現(xiàn),RAID技術(shù)及應(yīng)用,A0,A0,A1,A1,N,N,.,.,磁盤0,磁盤1,RAID Levels RAID 3,RAID3 Striping with Dedicated Parity Drive 有校驗(yàn)數(shù)據(jù),提供數(shù)據(jù)容錯(cuò)能力 當(dāng)單個(gè)硬盤失效時(shí),會(huì)產(chǎn)生奇偶盤I/O瓶頸效應(yīng),RAID技術(shù)的實(shí)現(xiàn),RAI
6、D技術(shù)及應(yīng)用,RAID Levels RAID 5,RAID5 Striping with Distributed Parity 有校驗(yàn)數(shù)據(jù),提供數(shù)據(jù)容錯(cuò)能力 校驗(yàn)值分散在各個(gè)盤的不同位置,相當(dāng)程度的分散了負(fù)載,故有較好的性能,尤其是對(duì)小型數(shù)據(jù)。RAID5適用于銀行和股市的聯(lián)機(jī)交易系統(tǒng)(OLTP)。,RAID技術(shù)的實(shí)現(xiàn),RAID技術(shù)及應(yīng)用,RAID Levels RAID 10,Two RAID 1s Striped,RAID技術(shù)的實(shí)現(xiàn),RAID技術(shù)及應(yīng)用,RAID Levels RAID 30,Two RAID 3s Striped,RAID技術(shù)的實(shí)現(xiàn),RAID技術(shù)及應(yīng)用,RAID Leve
7、ls RAID 50,Two RAID 5s Striped,RAID技術(shù)的實(shí)現(xiàn),RAID技術(shù)及應(yīng)用,培訓(xùn)內(nèi)容,RAID術(shù)語(yǔ) RAID技術(shù)的實(shí)現(xiàn) IDE RAID與SCSI RAID技術(shù)及應(yīng)用 常用RAID卡產(chǎn)品介紹 問題與討論,RAID技術(shù)及應(yīng)用,SCSI 與IDE,SCSI(Small Computer System Interface) 定義了一種輸入/輸出總線和邏輯接口,主要目標(biāo)是提供一種設(shè)備獨(dú)立的機(jī)制用來(lái)連接主機(jī)和訪問設(shè)備。 IDE(Intergraded drive electronics) 現(xiàn)在PC機(jī)使用的主流硬盤接口,IDE RAID與SCSI RAID技術(shù)及應(yīng)用,RAID技術(shù)
8、及應(yīng)用,IDE RAID,基于IDE接口的RAID 應(yīng)用產(chǎn)品稱為IDE RAID 與SCSI RAID相比有及具競(jìng)爭(zhēng)力的性價(jià)比 為中低端應(yīng)用的服務(wù)器產(chǎn)品提供更強(qiáng)的數(shù)據(jù)處理和數(shù)據(jù)保護(hù)以及較高的性能價(jià)格比 支持RAID 0,1,0+1,5,IDE RAID與SCSI RAID技術(shù)及應(yīng)用,RAID技術(shù)及應(yīng)用,SCSI RAID,基于SCSI接口的RAID 應(yīng)用產(chǎn)品稱為SCSI RAID 多個(gè)I/O并行操作,設(shè)備傳輸速度快; 可擴(kuò)展性好,最多可連接15個(gè)外部scsi設(shè)備; 支持RAID級(jí)別多,RAID0、RAID1、RAID10、RAID3、RAID5、RAID30、RAID50、JBOD等; 支持H
9、otspare,在線熱插拔,性能更穩(wěn)定、可靠性更好;,IDE RAID與SCSI RAID技術(shù)及應(yīng)用,RAID技術(shù)及應(yīng)用,為什么用RAID卡,用戶對(duì)磁盤系統(tǒng)的四大要求 增加磁盤I/O存取速度 數(shù)據(jù)安全性要求,及容錯(cuò)(Fault tolerance)的能力 有效的利用磁盤空間 分擔(dān)主機(jī)CPU的I/O事務(wù) 降低內(nèi)存及磁盤的性能差異 提高計(jì)算機(jī)的整體工作性能,IDE RAID與SCSI RAID技術(shù)及應(yīng)用,RAID技術(shù)及應(yīng)用,IDE RAID 卡,將若干IDE硬盤做成一個(gè)或幾個(gè)陣列盤,提高了系統(tǒng)中磁盤I/O的性能,并且使磁盤系統(tǒng)具有數(shù)據(jù)鏡像的安全保護(hù)功能。 具有可管理性,在操作系統(tǒng)支持下,管理軟件可
10、監(jiān)控陣列的狀態(tài),添加和刪除陣列,在線數(shù)據(jù)恢復(fù)等; 最多支持4個(gè)硬盤,可實(shí)現(xiàn)RAID 0、1、0+1 QW1060、1600B應(yīng)用了IDE RAID卡,2100主板集成IDE RAID 控制器,IDE RAID與SCSI RAID技術(shù)及應(yīng)用,RAID技術(shù)及應(yīng)用,SCSI RAID卡,將若干硬盤做成一個(gè)或幾個(gè)陣列盤,提高了系統(tǒng)中磁盤I/O的性能,并且使磁盤系統(tǒng)具有容錯(cuò)的安全保護(hù)功能。 通過磁盤Cache的運(yùn)用,提高系統(tǒng)的存取速度, 結(jié)合SAF-TE (SCSI Access Fault Tolerant Enclosure)對(duì)磁盤陣列中的磁盤進(jìn)行監(jiān)控管理,管理的人機(jī)接口有,1)RAID卡本身的指示
11、報(bào)警; 2)具有SAF-TE功能的熱插拔背板; 3)操作系統(tǒng)上安裝的監(jiān)控軟件。,IDE RAID與SCSI RAID技術(shù)及應(yīng)用,RAID技術(shù)及應(yīng)用,SCSI RAID卡的結(jié)構(gòu),SCSI 控制器,RAID 處理器,Firmware,CACHE MEMORY,指示報(bào)警,電池,通 道 B,通 道 A,PCI 總 線,SCSI終結(jié)器,IDE RAID與SCSI RAID技術(shù)及應(yīng)用,RAID技術(shù)及應(yīng)用,磁盤CACHE,RAID卡提高磁盤讀寫性能的另一手段是:磁盤CACHE。,CPU,系統(tǒng)CACHE,Memory,Memory 控制器,RAID CPU,磁盤CACHE,SCSI控制器,SCSI硬盤,IDE
12、 RAID與SCSI RAID技術(shù)及應(yīng)用,RAID技術(shù)及應(yīng)用,磁盤CACHE的兩大工作:,磁盤I/O,從磁盤讀,寫入磁盤,首先從CACHE讀,首先往CACHE寫,無(wú)CACHE,有CACHE,預(yù)讀,回寫,IDE RAID與SCSI RAID技術(shù)及應(yīng)用,RAID技術(shù)及應(yīng)用,預(yù) 讀,Read Ahead,Pre-Fetch,預(yù)讀的兩種方式,CACHE預(yù)讀提高了計(jì)算機(jī)系統(tǒng)中的硬盤讀的功能,尤其是在讀取含有大量文件碎片的文件時(shí)。 具有良好預(yù)讀功能的RAID卡能在看起來(lái)很隨機(jī)的讀訪問中,識(shí)別出讀取磁盤的規(guī)律, 通過這個(gè)規(guī)律提前將系統(tǒng)要讀取的數(shù)據(jù)放在CACHE中。,IDE RAID與SCSI RAID技術(shù)及
13、應(yīng)用,RAID技術(shù)及應(yīng)用,Read ahead,Pre-Fetch,當(dāng)RAID卡發(fā)現(xiàn)系統(tǒng)要讀的是先前已經(jīng)讀過的數(shù)據(jù)時(shí),在這一次,便將這一個(gè)數(shù)據(jù)塊的數(shù)據(jù)寫到CACHE里。, 對(duì)于程序文件的讀取有利, 對(duì)于數(shù)據(jù)文件的讀取有利,特別是系統(tǒng)CPU的性能低時(shí).,由于硬盤數(shù)據(jù)經(jīng)常是以一族連續(xù)的硬盤扇區(qū)組織起來(lái)的,所以有時(shí)侯如把系統(tǒng)所請(qǐng)求的扇區(qū)隨后的一個(gè)扇區(qū)里的數(shù)據(jù)同時(shí)讀進(jìn)來(lái)是有價(jià)值的。,IDE RAID與SCSI RAID技術(shù)及應(yīng)用,RAID技術(shù)及應(yīng)用,回寫,回寫是通過暫時(shí)將數(shù)據(jù)存在CACHE里,從而推遲將數(shù)據(jù)寫到慢設(shè)備(如硬盤、磁帶機(jī))的一種工作方式。數(shù)據(jù)將在隨后的時(shí)間,硬盤閑置的時(shí)候?qū)懙接脖P中。寫的時(shí)
14、候也是統(tǒng)一將CACHE內(nèi)的尚未寫出的數(shù)據(jù)按照數(shù)據(jù)塊的在硬盤中的BLOCK序號(hào)寫入,這樣可以提高寫的效率。,IDE RAID與SCSI RAID技術(shù)及應(yīng)用,RAID技術(shù)及應(yīng)用,系統(tǒng),block7,block1,block5,block3,1,2,3,4,5,6,7,8,9,block1,block3,block5,block7,注:回寫需要加電池給CACHE供電,以免數(shù)據(jù)在寫到硬盤之前系統(tǒng)斷電導(dǎo)致硬盤數(shù)據(jù)丟失。,電梯式回寫,IDE RAID與SCSI RAID技術(shù)及應(yīng)用,RAID技術(shù)及應(yīng)用,通寫,通寫模式下,所有數(shù)據(jù)在以命令完成狀態(tài)返回到計(jì)算機(jī)之前,直接寫到硬盤。,IDE RAID與SCSI R
15、AID技術(shù)及應(yīng)用,RAID技術(shù)及應(yīng)用,磁盤Cache性能分析,容量 增加CACHE大小對(duì)于預(yù)讀來(lái)說(shuō),為系統(tǒng)提供了更多的來(lái)自CACHE的可供讀取的記錄。 對(duì)于回寫來(lái)說(shuō),允許控制卡保存更多的記錄留待后期寫磁盤。特別是對(duì)于電梯式回寫,使得連續(xù)的回寫段之間有更近的間隔,降低硬盤寫操作的平均訪時(shí)間并提高了吞吐率。,1、當(dāng)用戶數(shù)很多而且不是都訪問相同的數(shù)據(jù)。 2、當(dāng)數(shù)據(jù)文件很大時(shí)。,大容量cache,IDE RAID與SCSI RAID技術(shù)及應(yīng)用,RAID技術(shù)及應(yīng)用,磁盤CACHE的類型,EDO:工作頻率在33MHz,RAID處理器頻率低于100MHz時(shí) SDRAM:工作頻率在66MHz,RAID處理器頻
16、率高于100MHz時(shí) - 提高系統(tǒng)I/O的速度 ECC:對(duì)CACHE數(shù)據(jù)進(jìn)行校驗(yàn) Non-ECC:不對(duì)CACHE數(shù)據(jù)進(jìn)行校驗(yàn) - 提高系統(tǒng)I/O的可靠性,Mylex的RAID卡需要ECC的;Adaptec的RAID卡沒限定,磁盤Cache性能分析,IDE RAID與SCSI RAID技術(shù)及應(yīng)用,RAID技術(shù)及應(yīng)用,帶RAID卡SCSI系統(tǒng)硬件框圖,H O S T,RAID 處理器,Firmware,Cache Memory,SCSI主控制器 ID=7,SCSI ID=0,SCSI ID=5,終結(jié)器,終結(jié)器,SCSI 總線,背板 HSC ID=6,IDE RAID與SCSI RAID技術(shù)及應(yīng)用,
17、RAID技術(shù)及應(yīng)用,RAID 處理器,是一個(gè)PCI從設(shè)備,接受并執(zhí)行來(lái)自系統(tǒng)的命令。同時(shí)占用PCI中斷,代表SCSI磁盤子系統(tǒng)向系統(tǒng)。提出中斷請(qǐng)求,請(qǐng)求占用PCI總線,返回對(duì)系統(tǒng)。命令的響應(yīng),如輸送SCSI硬盤上的數(shù)據(jù)。 作為RAID卡的CPU,通過執(zhí)行閃存中的Firmware,控制SCSI控制器、Cache Memory以及指示報(bào)警電路,來(lái)實(shí)現(xiàn)RAID卡的功能,運(yùn)作流程如流程圖所示。,初始化RAID卡寄存器,發(fā)送配置提示、響應(yīng) HOST 命令進(jìn)入配置界面,提供配置菜單、將用戶提供的RAID卡參數(shù)、RAID參數(shù)存入NVRAM,根據(jù)RAID參數(shù),通過SCSI控制器對(duì)硬盤進(jìn)行初始化寫操作,完成配置
18、,讀取NVRAM內(nèi)的上次RAID參數(shù),與硬盤實(shí)際信息進(jìn)行比較,顯示結(jié)果,等待Host發(fā)出讀寫操作命令,處理器運(yùn)作流程簡(jiǎn)圖,RAID,IDE RAID與SCSI RAID技術(shù)及應(yīng)用,RAID技術(shù)及應(yīng)用,培訓(xùn)內(nèi)容,RAID術(shù)語(yǔ) RAID技術(shù)的實(shí)現(xiàn) IDE RAID與SCSI RAID技術(shù)及應(yīng)用 常用RAID卡產(chǎn)品介紹 問題與討論,RAID技術(shù)及應(yīng)用,SCSI RAID 卡產(chǎn)品介紹,Adaptec 2100S 單通道Ultra160 SCSI RAID i960RS/32-Bit/33MHz 3200S 雙通道Ultra160 SCSI RAID i960RN/64-Bit/33MHz 3210S
19、雙通道Ultra160 SCSI RAID IOP303/64-Bit/66MHz 3410S 四通道SCSI RAID IOP303/64-Bit/66MHz RAID 0, 1, 0/1, 5, 0/5 支持 Windows 2000,Windows NT, NetWare,SCO UNIX以及 Linux等多種操作系統(tǒng),常用RAID卡產(chǎn)品介紹,RAID技術(shù)及應(yīng)用,Mylex(IBM) AcceleRAID 160 單通道Ultra160 SCSI RAID i960RS/32-Bit/33MHz AcceleRAID 170 單通道Ultra160 SCSI RAID i960RM/32
20、-Bit/33MHz AcceleRAID 352 雙通道Ultra160 SCSI RAID i960RN/64-Bit/33MHz RAID 0, 1, 0+1, 3, 5, 10, 30, 50, JBOD 支持 Windows 2000,Windows NT, NetWare,Solaris,SCO UNIX等多種操作系統(tǒng),SCSI RAID 卡產(chǎn)品介紹,常用RAID卡產(chǎn)品介紹,RAID技術(shù)及應(yīng)用,SCSI RAID 卡產(chǎn)品介紹,AMI(LSI) Express 300(Series 490) 單通道U2W SCSI RAID i960RM/32-Bit/33MHz Express 5
21、00(Series 475) 單通道Ultra160 SCSI RAID i960RM /32-Bit/33MHz Elite 1600(Series 493) 雙通道Ultra160 SCSI RAID i960RN/64-Bit/66MHz RAID 0, 1, 3, 5, 10, 30, 50 支持 Windows 2000,Windows NT, NetWare,Solaris,SCO UNIX以及 Linux等多種操作系統(tǒng),常用RAID卡產(chǎn)品介紹,RAID技術(shù)及應(yīng)用,IDE RAID卡產(chǎn)品介紹,Promise FastTrak66 雙通道ATA/66 RAID 支持四顆硬盤 RAID 0, 1, 0+1, JBOD FaseTrak100 雙通道ATA/100 RAID 支持四顆硬盤 RAID 0, 1, 0+1, JBOD 支持 Windows 2000,Windows NT,NetWare以及 Linux等多種操作系統(tǒng),常用RAID卡產(chǎn)品介紹,RAID技術(shù)及應(yīng)用,機(jī)型,RAID卡,萬(wàn)全服務(wù)器機(jī)型與RAID卡對(duì)應(yīng)表,常用RAID卡產(chǎn)品介紹,RAID技術(shù)及應(yīng)用,培訓(xùn)內(nèi)容,RAID術(shù)
溫馨提示
- 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 2025年大學(xué)交通工程(交通工程設(shè)計(jì))試題及答案
- 2025年中職醫(yī)學(xué)檢驗(yàn)技術(shù)(檢驗(yàn)實(shí)操)試題及答案
- 2025年中職機(jī)電一體化技術(shù)(設(shè)備故障診斷)試題及答案
- 2025年大學(xué)(藝術(shù)設(shè)計(jì)學(xué))設(shè)計(jì)心理學(xué)期末試題及答案
- 2025年大學(xué)水污染防治管理應(yīng)用(應(yīng)用技術(shù))試題及答案
- 2025年中職(印刷技術(shù))平版印刷操作階段測(cè)試試題及答案
- 2025年中職(文秘)文書寫作試題及解析
- 2025年大學(xué)一年級(jí)(建筑學(xué))建筑設(shè)計(jì)階段測(cè)試題及答案
- 2025年高職食品質(zhì)量與安全(食品質(zhì)量安全)試題及答案
- 2025年高職心理健康教育(心理健康輔導(dǎo))試題及答案
- 比亞迪索賠培訓(xùn)課件
- 路基換填施工方案標(biāo)準(zhǔn)
- 關(guān)于怎樣展開督導(dǎo)的工作方案
- 中國(guó)數(shù)聯(lián)物流2026屆校園招聘50人考試題庫(kù)及答案1套
- 2025年大學(xué)網(wǎng)絡(luò)工程(網(wǎng)絡(luò)安全技術(shù))試題及答案
- 中國(guó)餐飲巨頭百勝集團(tuán)深度分析
- 2024-2025學(xué)年福建省廈門市雙十中七年級(jí)(上)期末英語(yǔ)試卷
- 胸鎖乳突肌區(qū)課件
- 2025年物業(yè)管理師《物業(yè)管理實(shí)務(wù)》真題及試題及答案
- 鋼結(jié)構(gòu)施工優(yōu)化策略研究
- 醫(yī)療質(zhì)量與安全管理小組活動(dòng)記錄
評(píng)論
0/150
提交評(píng)論