存儲管理課程目標(biāo)和學(xué)習(xí)要點(diǎn)掌握基本概念理解存儲管理的核心術(shù)語和基礎(chǔ)理論學(xué)習(xí)管理技術(shù)熟悉不同存儲管理方式的工作原理分析優(yōu)化策略存儲管理的基本概念存儲層次結(jié)構(gòu)從高速緩存到外部存儲的多級結(jié)構(gòu)存儲空間包括物理空間和邏輯空間存儲管理器操作系統(tǒng)負(fù)責(zé)內(nèi)存分配的核心組件存儲管理的目的和功能保護(hù)防止進(jìn)程訪問非授權(quán)內(nèi)存區(qū)域共享允許多個進(jìn)程安全共享內(nèi)存區(qū)域擴(kuò)充提供比物理內(nèi)存更大的地址空間分配與回收高效管理內(nèi)存資源的分配與釋放邏輯地址和物理地址邏輯地址程序生成的相對地址又稱虛擬地址用戶空間中的地址表示物理地址實(shí)際內(nèi)存中的絕對地址加載到內(nèi)存地址寄存器(MAR)中硬件可直接訪問的地址地址空間和地址映射邏輯地址空間程序視角的內(nèi)存空間地址映射機(jī)制MMU(內(nèi)存管理單元)物理地址空間實(shí)際可用的物理內(nèi)存內(nèi)存空間的分配與回收申請進(jìn)程請求內(nèi)存空間查找尋找合適的空閑區(qū)域分配將內(nèi)存分配給進(jìn)程回收進(jìn)程結(jié)束后釋放內(nèi)存連續(xù)分配管理方式1單一連續(xù)分配整個內(nèi)存僅分配給一個用戶程序2固定分區(qū)分配內(nèi)存劃分為固定大小的分區(qū)3動態(tài)分區(qū)分配根據(jù)需要動態(tài)創(chuàng)建分區(qū)固定分區(qū)分配等分分區(qū)所有分區(qū)大小相同不等分分區(qū)分區(qū)大小不同，滿足不同需求分區(qū)表記錄每個分區(qū)的起始地址和大小動態(tài)分區(qū)分配1分區(qū)大小可變按進(jìn)程需求分配大小不等的分區(qū)3主要分配算法首次適應(yīng)、最佳適應(yīng)、最壞適應(yīng)2空閑分區(qū)表記錄所有空閑分區(qū)信息可重定位動態(tài)分區(qū)分配內(nèi)存緊湊通過移動已分配區(qū)域，將所有空閑區(qū)合并重定位技術(shù)進(jìn)程運(yùn)行期間可改變其物理地址減少外部碎片提高內(nèi)存利用率非連續(xù)分配管理方式基本分頁存儲將內(nèi)存劃分為大小相等的頁框基本分段存儲按程序的邏輯結(jié)構(gòu)劃分段段頁式存儲結(jié)合分段和分頁的優(yōu)點(diǎn)基本分頁存儲管理方式頁面將邏輯地址空間等分成固定大小的塊頁框?qū)⑽锢韮?nèi)存等分成與頁面大小相同的塊頁表記錄頁面與頁框的映射關(guān)系頁面和頁表頁號頁框號存在位保護(hù)位041讀/寫171只讀221讀/寫地址變換機(jī)構(gòu)CPU生成邏輯地址由頁號和頁內(nèi)偏移組成頁表查詢通過頁號查找對應(yīng)的頁框號地址合成頁框號與頁內(nèi)偏移組合成物理地址兩級和多級頁表一級頁表頁表連續(xù)存放，占用空間大兩級頁表引入頁目錄，減少頁表占用空間多級頁表進(jìn)一步分層，適用于大地址空間基本分段存儲管理方式按邏輯劃分代碼段、數(shù)據(jù)段、堆棧段等大小不等段的長度取決于程序邏輯單元的長度段表記錄段號與物理地址的對應(yīng)關(guān)系分段系統(tǒng)的基本原理邏輯地址由段號和段內(nèi)偏移組成反映程序的邏輯結(jié)構(gòu)段表記錄段基址和段長度用于地址轉(zhuǎn)換和越界檢查地址轉(zhuǎn)換物理地址=段基址+段內(nèi)偏移需要驗(yàn)證偏移量不超過段長段頁式存儲管理方式分段先按程序邏輯結(jié)構(gòu)分段分頁再將每段劃分為固定大小的頁段表和頁表段表項(xiàng)指向?qū)?yīng)的頁表虛擬存儲器概述擴(kuò)充內(nèi)存容量提供比物理內(nèi)存更大的地址空間磁盤空間協(xié)作部分?jǐn)?shù)據(jù)暫存于外存按需調(diào)頁程序執(zhí)行時動態(tài)調(diào)入所需內(nèi)容對用戶透明用戶感知不到內(nèi)外存的交換過程虛擬存儲器的特征多次性無需一次性全部裝入內(nèi)存對換性內(nèi)存與外存間動態(tài)調(diào)度數(shù)據(jù)虛擬性用戶感知的內(nèi)存空間大于實(shí)際物理內(nèi)存獨(dú)立性進(jìn)程使用的地址空間相互獨(dú)立虛擬存儲器的實(shí)現(xiàn)方法請求分頁存儲管理按需調(diào)頁，頁面是基本調(diào)度單位請求分段存儲管理按需調(diào)段，段是基本調(diào)度單位請求段頁式存儲管理結(jié)合兩種方式的優(yōu)點(diǎn)請求分頁存儲管理1執(zhí)行指令CPU訪問邏輯地址頁表查詢檢查頁面是否在內(nèi)存缺頁中斷頁面不在內(nèi)存時觸發(fā)調(diào)頁從外存調(diào)入所需頁面頁面置換算法：OPT算法1最優(yōu)頁面置換算法理論上最佳的置換策略∞選擇原則置換最長時間不會被訪問的頁面0實(shí)現(xiàn)難度需要預(yù)知進(jìn)程的未來行為，實(shí)際無法實(shí)現(xiàn)頁面置換算法：FIFO算法進(jìn)入隊(duì)列新頁面加入隊(duì)尾等待頁面在隊(duì)列中逐漸前移置換需要置換時選擇隊(duì)首頁面頁面置換算法：LRU算法最近使用剛被訪問的頁面中等時間較長時間未訪問的頁面最久未使用最長時間未被訪問的頁面，優(yōu)先被置換頁面置換算法：Clock算法頁面訪問訪問頁面時，將訪問位置為1指針掃描需要置換時，指針順序掃描頁面檢查訪問位訪問位為0則選中置換重置訪問位訪問位為1則置0，繼續(xù)掃描請求分段存儲管理段的調(diào)度以段為單位在內(nèi)外存間調(diào)度根據(jù)程序邏輯結(jié)構(gòu)進(jìn)行調(diào)度缺段中斷訪問不在內(nèi)存的段時發(fā)生類似于缺頁中斷機(jī)制段的置換需要考慮段的大小不等特性置換策略更為復(fù)雜分段的共享與保護(hù)段級保護(hù)為每段設(shè)置訪問權(quán)限：只讀、讀寫等地址檢查確保段內(nèi)偏移不超過段長度段共享多個進(jìn)程的段表項(xiàng)指向同一物理段內(nèi)存保護(hù)機(jī)制界限寄存器限制進(jìn)程訪問的地址范圍保護(hù)鍵為存儲塊分配保護(hù)鍵，控制訪問權(quán)限存儲保護(hù)位在頁表或段表中設(shè)置保護(hù)位內(nèi)存共享技術(shù)共享代碼多進(jìn)程共享只讀程序代碼共享庫動態(tài)鏈接庫在多進(jìn)程間共享共享數(shù)據(jù)進(jìn)程間通信使用的共享內(nèi)存區(qū)域內(nèi)存空間的擴(kuò)充：覆蓋技術(shù)常駐區(qū)程序執(zhí)行過程中一直駐留在內(nèi)存中的部分覆蓋區(qū)1與其他覆蓋區(qū)互斥，按需調(diào)入內(nèi)存覆蓋區(qū)2不同時刻調(diào)入不同的覆蓋塊內(nèi)存空間的擴(kuò)充：交換技術(shù)1進(jìn)程A執(zhí)行占用內(nèi)存空間2交換出進(jìn)程A被換出到磁盤3進(jìn)程B執(zhí)行占用內(nèi)存空間4交換入進(jìn)程A再次被換入內(nèi)存內(nèi)存分配策略分配時機(jī)何時為進(jìn)程分配內(nèi)存空間分配對象確定分配內(nèi)存的基本單位分配位置在物理內(nèi)存中的具體位置分配方式連續(xù)分配還是非連續(xù)分配內(nèi)存分配算法算法名稱選擇策略優(yōu)點(diǎn)缺點(diǎn)首次適應(yīng)第一個足夠大的空閑區(qū)簡單快速容易產(chǎn)生外部碎片最佳適應(yīng)最小的足夠大空閑區(qū)節(jié)約空間查找開銷大最壞適應(yīng)最大的空閑區(qū)避免小碎片大空閑區(qū)迅速減少抖動現(xiàn)象及其解決方案抖動現(xiàn)象系統(tǒng)過多時間用于頁面調(diào)度進(jìn)程實(shí)際執(zhí)行時間占比極低CPU利用率急劇下降解決方案控制多道程序的數(shù)量采用局部置換策略增加物理內(nèi)存容量使用工作集模型工作集模型工作集窗口最近訪問的頁面集合工作集大小窗口中不同頁面的數(shù)量內(nèi)存分配根據(jù)工作集大小分配足夠的頁框局部性原理時間局部性最近訪問過的數(shù)據(jù)可能很快再次訪問空間局部性訪問某個數(shù)據(jù)后可能會訪問其附近數(shù)據(jù)循環(huán)局部性循環(huán)中的指令被重復(fù)多次執(zhí)行內(nèi)存映射文件文件映射請求進(jìn)程請求將文件映射到地址空間建立映射關(guān)系操作系統(tǒng)創(chuàng)建虛擬地址到文件的映射按需加載訪問時才將文件內(nèi)容加載到物理內(nèi)存同步更新修改后的內(nèi)容自動寫回文件虛擬內(nèi)存管理的硬件支持地址轉(zhuǎn)換硬件MMU（內(nèi)存管理單元）快表TLB（轉(zhuǎn)換后備緩沖器）頁表基址寄存器存儲頁表的起始地址狀態(tài)位存在位、修改位、訪問位等緩存存儲器管理CPU寄存器速度最快，容量最小高速緩存速度快，容量適中主存速度較慢，容量較大外存速度最慢，容量最大高速緩存（Cache）原理CPU請求數(shù)據(jù)發(fā)出內(nèi)存訪問請求緩存檢查查找數(shù)據(jù)是否在緩存中緩存命中數(shù)據(jù)在緩存中，直接返回緩存缺失數(shù)據(jù)不在緩存中，從內(nèi)存加載Cache映射方式直接映射每個內(nèi)存塊只能映射到特定緩存行全相聯(lián)映射內(nèi)存塊可映射到任意緩存行組相聯(lián)映射結(jié)合兩種方式的優(yōu)點(diǎn)Cache替換算法1隨機(jī)替換隨機(jī)選擇一個緩存行替換2先進(jìn)先出(FIFO)替換最早進(jìn)入緩存的數(shù)據(jù)3最近最少使用(LRU)替換最長時間未訪問的數(shù)據(jù)寫操作策略寫直達(dá)(Write-Through)同時寫入緩存和內(nèi)存保證數(shù)據(jù)一致性寫操作較慢寫回(Write-Back)僅寫入緩存，標(biāo)記臟位替換時才寫回內(nèi)存寫操作更快文件系統(tǒng)與存儲管理的關(guān)系文件系統(tǒng)管理外存上的文件組織與訪問緩沖區(qū)管理內(nèi)存中臨時存放文件數(shù)據(jù)內(nèi)存管理為文件操作分配內(nèi)存空間外存管理負(fù)責(zé)磁盤空間的分配與回收外存分配方式13連續(xù)分配文件占用連續(xù)的磁盤塊鏈接分配用指針鏈接不連續(xù)的磁盤塊索引分配通過索引表記錄文件的磁盤塊位置連續(xù)分配方式基本特點(diǎn)文件存儲在連續(xù)的磁盤塊中優(yōu)點(diǎn)支持順序訪問和隨機(jī)訪問，實(shí)現(xiàn)簡單缺點(diǎn)文件增長困難，產(chǎn)生外部碎片鏈接分配方式第一塊包含數(shù)據(jù)和下一塊指針第二塊指向下一個磁盤塊第三塊指向下一個磁盤塊最后一塊文件結(jié)束標(biāo)記索引分配方式索引表記錄文件的所有磁盤塊位置每個表項(xiàng)指向一個磁盤塊多級索引處理大文件的索引方案間接索引塊指向其他索引塊混合索引結(jié)合直接、間接和多級索引如UNIX的inode結(jié)構(gòu)文件存儲空間管理記錄空閑塊維護(hù)未分配磁盤塊的信息2分配空閑塊文件創(chuàng)建或擴(kuò)展時分配空閑塊3回收空閑塊文件刪除后回收磁盤空間磁盤碎片整理重組磁盤內(nèi)容以合并空閑空間空閑表法起始塊號連續(xù)空閑塊數(shù)12882561686432102464空閑鏈表法空閑塊1指向下一個空閑塊空閑塊2包含指針信息空閑塊3鏈接其他空閑塊空閑塊n鏈表結(jié)束標(biāo)記位示圖法成組鏈接法1超級塊存儲首組空閑塊的信息2組塊記錄下一組空閑塊的位置和數(shù)量3空閑塊可直接分配給文件使用新型存儲技術(shù)簡介固態(tài)硬盤(SSD)基于閃存，無機(jī)械部件，高速讀寫NVMe非易失性內(nèi)存快速接口標(biāo)準(zhǔn)云存儲基于網(wǎng)絡(luò)的彈性存儲服務(wù)持久內(nèi)存兼具內(nèi)存速度和存儲持久性SSD與NVM存儲技術(shù)SSD特性隨機(jī)訪問速度快無噪音、抗震動寫入壽命有限NVM特性非易失性存儲接近內(nèi)存訪問速度字節(jié)級尋址能力存儲管理影響傳統(tǒng)分配算法需要調(diào)整提供新的優(yōu)化空間模糊內(nèi)存與存儲界限存儲管理性能優(yōu)化訪問速度優(yōu)化緩存優(yōu)化、預(yù)取技術(shù)空間利用率優(yōu)化碎片整理、內(nèi)存