高級數(shù)據(jù)庫技術(shù)數(shù)據(jù)恢復(fù)技術(shù),范昭賦中山大學(xué)計算機科學(xué)系fanzhf,本課件由湯娜老師編制,系統(tǒng)篇,數(shù)據(jù)庫完整性數(shù)據(jù)庫恢復(fù)技術(shù)并發(fā)控制數(shù)據(jù)庫安全性,數(shù)據(jù)庫恢復(fù)技術(shù),1事務(wù)的基本概念2數(shù)據(jù)庫恢復(fù)概述3故障的種類4恢復(fù)的實現(xiàn)技術(shù)5恢復(fù)策略6具有檢查點的恢復(fù)技術(shù)7數(shù)據(jù)庫鏡像8小結(jié),事務(wù),事務(wù)(Transaction)是用戶定義的一個數(shù)據(jù)庫操作序列，這些操作要么全做，要么全不做，是一個不可分割的工作單位事務(wù)的ACID特性：原子性（Atomicity）一致性（Consistency）隔離性（Isolation）持續(xù)性（Durability）,事務(wù)的特性,保證事務(wù)ACID特性是事務(wù)處理的任務(wù)破壞事務(wù)ACID特性的因素多個事務(wù)并行運行時，不同事務(wù)的操作交叉執(zhí)行事務(wù)在運行過程中被強行停止,第七章數(shù)據(jù)庫恢復(fù)技術(shù),1事務(wù)的基本概念2數(shù)據(jù)庫恢復(fù)概述3故障的種類4恢復(fù)的實現(xiàn)技術(shù)5恢復(fù)策略6具有檢查點的恢復(fù)技術(shù)7數(shù)據(jù)庫鏡像8Oracle的恢復(fù)技術(shù)9小結(jié),2數(shù)據(jù)庫恢復(fù)概述,故障是不可避免的計算機硬件故障系統(tǒng)軟件和應(yīng)用軟件的錯誤操作員的失誤惡意的破壞故障的影響運行事務(wù)非正常中斷，但不會破壞數(shù)據(jù)庫破壞數(shù)據(jù)庫,數(shù)據(jù)庫恢復(fù)概述（續(xù)）,數(shù)據(jù)庫管理系統(tǒng)對故障的對策保證故障發(fā)生后，能把數(shù)據(jù)庫中的數(shù)據(jù)從錯誤狀態(tài)恢復(fù)到某種邏輯一致的狀態(tài)保證事務(wù)ACIDDBMS提供恢復(fù)子系統(tǒng)恢復(fù)技術(shù)是衡量系統(tǒng)優(yōu)劣的重要指標恢復(fù)算法正常事務(wù)處理時，采取措施保證有足夠的數(shù)據(jù)用于故障恢復(fù)故障發(fā)生后，將數(shù)據(jù)庫內(nèi)容恢復(fù)到某個保證數(shù)據(jù)庫一致性、原子性及持久性的狀態(tài),數(shù)據(jù)庫恢復(fù)技術(shù),1事務(wù)的基本概念2數(shù)據(jù)庫恢復(fù)概述3故障的種類4恢復(fù)的實現(xiàn)技術(shù)5恢復(fù)策略6具有檢查點的恢復(fù)技術(shù)7數(shù)據(jù)庫鏡像8小結(jié),3故障的種類,事務(wù)故障系統(tǒng)故障介質(zhì)故障,一、事務(wù)故障,什么是事務(wù)故障某個事務(wù)在運行過程中由于種種原因未運行至正常終止點就夭折了事務(wù)故障的常見原因輸入數(shù)據(jù)有誤運算溢出違反了某些完整性限制某些應(yīng)用程序出錯并行事務(wù)發(fā)生死鎖。,事務(wù)故障的恢復(fù),發(fā)生事務(wù)故障時，夭折的事務(wù)可能已把對數(shù)據(jù)庫的部分修改寫回磁盤處理方法預(yù)期故障：通過在程序中加判斷條件來實現(xiàn)。執(zhí)行回滾（ROLLBACK）語句來撤銷事務(wù)。非預(yù)期的故障：如由于死鎖、運算溢出而被迫撤銷的事務(wù)等，由系統(tǒng)來撤銷事務(wù)事務(wù)故障的恢復(fù)的本質(zhì)：撤消事務(wù)（UNDO）,3故障的種類,事務(wù)故障系統(tǒng)故障介質(zhì)故障,二、系統(tǒng)故障,什么是系統(tǒng)故障整個系統(tǒng)的正常運行突然被破壞所有正在運行的事務(wù)都非正常終止內(nèi)存中數(shù)據(jù)庫緩沖區(qū)的信息全部丟失外部存儲設(shè)備上的數(shù)據(jù)未受影響,系統(tǒng)故障的常見原因,操作系統(tǒng)或DBMS代碼錯誤操作員操作失誤特定類型的硬件錯誤（如CPU故障）突然停電,系統(tǒng)故障的恢復(fù),清除尚未完成的事務(wù)對數(shù)據(jù)庫的所有修改系統(tǒng)重新啟動時，恢復(fù)程序要強行撤消（UNDO）所有未完成事務(wù)將緩沖區(qū)中已完成事務(wù)提交的結(jié)果寫入數(shù)據(jù)庫系統(tǒng)重新啟動時，恢復(fù)程序需要重做（REDO）所有已提交的事務(wù),3故障的種類,事務(wù)故障系統(tǒng)故障介質(zhì)故障,三、介質(zhì)故障,硬件故障使存儲在外存中的數(shù)據(jù)部分丟失或全部丟失介質(zhì)故障比前兩類故障的可能性小得多，但破壞性大得多,介質(zhì)故障的常見原因,硬件故障磁盤損壞磁頭碰撞操作系統(tǒng)的某種潛在錯誤瞬時強磁場干擾,介質(zhì)故障的恢復(fù),裝入數(shù)據(jù)庫發(fā)生介質(zhì)故障前某個時刻的數(shù)據(jù)副本重做自此時始的所有成功事務(wù)，將這些事務(wù)已提交的結(jié)果重新記入數(shù)據(jù)庫,數(shù)據(jù)庫恢復(fù)技術(shù),1事務(wù)的基本概念2數(shù)據(jù)庫恢復(fù)概述3故障的種類4恢復(fù)的實現(xiàn)技術(shù)5恢復(fù)策略6具有檢查點的恢復(fù)技術(shù)7數(shù)據(jù)庫鏡像8小結(jié),恢復(fù)操作的基本原理,恢復(fù)操作的基本原理：冗余利用存儲在系統(tǒng)其它地方的冗余數(shù)據(jù)來重建數(shù)據(jù)庫中已被破壞或不正確的那部分數(shù)據(jù)恢復(fù)的實現(xiàn)技術(shù)：復(fù)雜一個大型數(shù)據(jù)庫產(chǎn)品，恢復(fù)子系統(tǒng)的代碼要占全部代碼的10%以上,4恢復(fù)的實現(xiàn)技術(shù),恢復(fù)機制涉及的關(guān)鍵問題1.如何建立冗余數(shù)據(jù)數(shù)據(jù)轉(zhuǎn)儲（backup）登錄日志文件（logging）2.如何利用這些冗余數(shù)據(jù)實施數(shù)據(jù)庫恢復(fù),4.1數(shù)據(jù)轉(zhuǎn)儲（備份）,一、什么是轉(zhuǎn)儲二、轉(zhuǎn)儲的用途三、轉(zhuǎn)儲方法,一、什么是轉(zhuǎn)儲,轉(zhuǎn)儲是指DBA將整個數(shù)據(jù)庫復(fù)制到磁帶或另一個磁盤上保存起來的過程。這些備用的數(shù)據(jù)文本稱為后備副本或后援副本。,二、轉(zhuǎn)儲方法,1靜態(tài)轉(zhuǎn)儲與動態(tài)轉(zhuǎn)儲2海量轉(zhuǎn)儲與增量轉(zhuǎn)儲3轉(zhuǎn)儲方法小結(jié),1靜態(tài)轉(zhuǎn)儲,在系統(tǒng)中無運行事務(wù)時進行轉(zhuǎn)儲轉(zhuǎn)儲開始時數(shù)據(jù)庫處于一致性狀態(tài)。轉(zhuǎn)儲期間不允許對數(shù)據(jù)庫的任何存取、修改活動優(yōu)點：實現(xiàn)簡單缺點：降低了數(shù)據(jù)庫的可用性轉(zhuǎn)儲必須等用戶事務(wù)結(jié)束新的事務(wù)必須等轉(zhuǎn)儲結(jié)束,動態(tài)轉(zhuǎn)儲,轉(zhuǎn)儲操作與用戶事務(wù)并發(fā)進行轉(zhuǎn)儲期間允許對數(shù)據(jù)庫進行存取或修改優(yōu)點不用等待正在運行的用戶事務(wù)結(jié)束不會影響新事務(wù)的運行動態(tài)轉(zhuǎn)儲的缺點不能保證副本中的數(shù)據(jù)正確有效,動態(tài)轉(zhuǎn)儲,利用動態(tài)轉(zhuǎn)儲得到的副本進行故障恢復(fù)需要把動態(tài)轉(zhuǎn)儲期間各事務(wù)對數(shù)據(jù)庫的修改活動登記下來，建立日志文件后備副本加上日志文件才能把數(shù)據(jù)庫恢復(fù)到某一時刻的正確狀態(tài),2海量轉(zhuǎn)儲與增量轉(zhuǎn)儲,海量轉(zhuǎn)儲:每次轉(zhuǎn)儲全部數(shù)據(jù)庫增量轉(zhuǎn)儲:只轉(zhuǎn)儲上次轉(zhuǎn)儲后更新過的數(shù)據(jù)海量轉(zhuǎn)儲與增量轉(zhuǎn)儲比較,3轉(zhuǎn)儲方法小結(jié),轉(zhuǎn)儲方法分類,3恢復(fù)的實現(xiàn)技術(shù),3.1數(shù)據(jù)轉(zhuǎn)儲3.2登記日志文件,3.2登記日志文件,一、日志文件的內(nèi)容三、登記日志文件的原則,一、日志文件的內(nèi)容,1.什么是日志文件日志文件(log)是用來記錄事務(wù)對數(shù)據(jù)庫的更新操作的文件2.日志文件的格式以記錄為單位的日志文件以數(shù)據(jù)塊為單位的日志文件,日志文件的內(nèi)容（續(xù)）,3.日志文件內(nèi)容各個事務(wù)的開始標記(BEGINTRANSACTION)各個事務(wù)的結(jié)束標記(COMMIT或ROLLBACK)各個事務(wù)的所有更新操作日志文件中的一個日志記錄(logrecord),4.基于記錄的日志文件,更新操作日志記錄的內(nèi)容事務(wù)標識操作類型（插入、刪除或修改）操作對象（記錄ID、BlockNO.）更新前數(shù)據(jù)的舊值（對插入操作而言，此項為空值）更新后數(shù)據(jù)的新值（對刪除操作而言,此項為空值）,二、登記日志文件的原則,為保證數(shù)據(jù)庫是可恢復(fù)的，登記日志文件時必須遵循兩條原則登記的次序嚴格按并行事務(wù)執(zhí)行的時間次序必須先寫日志文件，后寫數(shù)據(jù)庫寫日志文件操作：把表示這個修改的日志記錄寫到日志文件（在磁盤上）寫數(shù)據(jù)庫操作：把對數(shù)據(jù)的修改寫到數(shù)據(jù)庫中,登記日志文件的原則（續(xù)）,為什么要先寫日志文件寫數(shù)據(jù)庫和寫日志文件是兩個不同的操作在這兩個操作之間可能發(fā)生故障如果先寫了數(shù)據(jù)庫修改，而在日志文件中沒有登記下這個修改，則以后就無法恢復(fù)這個修改了如果先寫日志，但沒有修改數(shù)據(jù)庫，按日志文件恢復(fù)時只不過是多執(zhí)行一次不必要的UNDO操作，并不會影響數(shù)據(jù)庫的正確性,利用靜態(tài)轉(zhuǎn)儲副本進行恢復(fù),利用動態(tài)轉(zhuǎn)儲副本進行恢復(fù),第七章數(shù)據(jù)庫恢復(fù)技術(shù),1事務(wù)的基本概念2數(shù)據(jù)庫恢復(fù)概述3故障的種類4恢復(fù)的實現(xiàn)技術(shù)5恢復(fù)策略6具有檢查點的恢復(fù)技術(shù)7數(shù)據(jù)庫鏡像8小結(jié),5恢復(fù)策略,5.1事務(wù)故障的恢復(fù)5.2系統(tǒng)故障的恢復(fù)5.3介質(zhì)故障的恢復(fù),5.1事務(wù)故障的恢復(fù),事務(wù)故障：事務(wù)在運行至正常終止點前被中止恢復(fù)方法由恢復(fù)子系統(tǒng)應(yīng)利用日志文件撤消（UNDO）此事務(wù)已對數(shù)據(jù)庫進行的修改事務(wù)故障的恢復(fù)由系統(tǒng)自動完成，不需要用戶干預(yù),事務(wù)故障的恢復(fù)步驟,1.反向掃描文件日志（即從最后向前掃描日志文件），查找該事務(wù)的更新操作。2.對該事務(wù)的更新操作執(zhí)行逆操作。即將日志記錄中“更新前的值”（BeforImage,BI）寫入數(shù)據(jù)庫。插入操作，“更新前的值”為空，則相當于做刪除操作刪除操作，“更新后的值”為空，則相當于做插入操作若是修改操作，則用BI代替AI（AfterImage）3.繼續(xù)反向掃描日志文件，查找該事務(wù)的其他更新操作，并做同樣處理。4.如此處理下去，直至讀到此事務(wù)的開始標記，事務(wù)故障恢復(fù)就完成了。,5.2系統(tǒng)故障的恢復(fù),系統(tǒng)故障造成數(shù)據(jù)庫不一致狀態(tài)的原因一些未完成事務(wù)對數(shù)據(jù)庫的更新已寫入數(shù)據(jù)庫一些已提交事務(wù)對數(shù)據(jù)庫的更新還留在緩沖區(qū)沒來得及寫入數(shù)據(jù)庫恢復(fù)方法1.Undo故障發(fā)生時未完成的事務(wù)2.Redo已完成的事務(wù)系統(tǒng)故障的恢復(fù)由系統(tǒng)在重新啟動時自動完成，不需要用戶干預(yù),系統(tǒng)故障的恢復(fù)步驟,1.正向掃描日志文件（即從頭掃描日志文件）Redo隊列:在故障發(fā)生前已經(jīng)提交的事務(wù)T1,T3,T8.Undo隊列:故障發(fā)生時尚未完成的事務(wù)T2,T4,T5,T6,T7,T9.,系統(tǒng)故障的恢復(fù)步驟,2.對Undo隊列事務(wù)進行UNDO處理反向掃描日志文件，對每個UNDO事務(wù)的更新操作執(zhí)行逆操作T2,T4,T5,T6,T7,T93.對Redo隊列事務(wù)進行REDO處理正向掃描日志文件，對每個REDO事務(wù)重新執(zhí)行登記的操作T1,T3,T8.,5.3介質(zhì)故障的恢復(fù),1.重裝數(shù)據(jù)庫，使數(shù)據(jù)庫恢復(fù)到一致性狀態(tài)2.重做已完成的事務(wù),5.3介質(zhì)故障的恢復(fù),恢復(fù)步驟1.裝入最新的后備數(shù)據(jù)庫副本，使數(shù)據(jù)庫恢復(fù)到最近一次轉(zhuǎn)儲時的一致性狀態(tài)。對于靜態(tài)轉(zhuǎn)儲的數(shù)據(jù)庫副本，裝入后數(shù)據(jù)庫即處于一致性狀態(tài)對于動態(tài)轉(zhuǎn)儲的數(shù)據(jù)庫副本，還須同時裝入轉(zhuǎn)儲時刻的日志文件副本，才能將數(shù)據(jù)庫恢復(fù)到一致性狀態(tài)。,介質(zhì)故障的恢復(fù)（續(xù)）,2.裝入有關(guān)的日志文件副本，重做已完成的事務(wù)。首先掃描日志文件，找出故障發(fā)生時已提交的事務(wù)的標識，將其記入重做隊列。然后正向掃描日志文件，對重做隊列中的所有事務(wù)進行重做處理。即將日志記錄中“更新后的值”寫入數(shù)據(jù)庫。,介質(zhì)故障的恢復(fù)（續(xù)）,介質(zhì)故障的恢復(fù)需要DBA介入DBA的工作重裝最近轉(zhuǎn)儲的數(shù)據(jù)庫副本和有關(guān)的各日志文件副本執(zhí)行系統(tǒng)提供的恢復(fù)命令具體的恢復(fù)操作仍由DBMS完成,第七章數(shù)據(jù)庫恢復(fù)技術(shù),1事務(wù)的基本概念2數(shù)據(jù)庫恢復(fù)概述3故障的種類4恢復(fù)的實現(xiàn)技術(shù)5恢復(fù)策略6具有檢查點的恢復(fù)技術(shù)7數(shù)據(jù)庫鏡像8小結(jié),6具有檢查點的恢復(fù)技術(shù),一、問題的提出二、檢查點技術(shù)三、利用檢查點的恢復(fù)策略,一、問題的提出,兩個問題搜索整個日志將耗費大量的時間REDO處理：重新執(zhí)行，浪費了大量時間,解決方案,具有檢查點（checkpoint）的恢復(fù)技術(shù)在日志文件中增加檢查點記錄（checkpoint）增加重新開始文件恢復(fù)子系統(tǒng)在登錄日志文件期間動態(tài)地維護日志,二、檢查點技術(shù),檢查點記錄的內(nèi)容1.建立檢查點時刻所有正在執(zhí)行的事務(wù)清單2.這些事務(wù)最近一個日志記錄的地址重新開始文件的內(nèi)容記錄各個檢查點記錄在日志文件中的地址,在檢查點維護日志文件,1.將當前日志緩沖區(qū)中的所有日志記錄寫入磁盤的日志文件上。2.在日志文件中寫入一個檢查點記錄。3.將當前數(shù)據(jù)緩沖區(qū)的所有數(shù)據(jù)記錄寫入磁盤的數(shù)據(jù)庫中。4.把檢查點記錄在日志文件中的地址寫入一個重新開始文件。,建立檢查點,定期按照預(yù)定的一個時間間隔不定期按照某種規(guī)則，如日志文件已寫滿一半建立一個檢查點,三、利用檢查點的恢復(fù)策略,當事務(wù)T在一個檢查點之前提交T對數(shù)據(jù)庫所做的修改已寫入數(shù)據(jù)庫在進行恢復(fù)處理時，沒有必要對事務(wù)T執(zhí)行REDO操作,利用檢查點的恢復(fù)策略（續(xù)）,利用檢查點的恢復(fù)步驟,1.從重新開始文件中找到最后一個檢查點記錄在日志文件中的地址2由該地址在日志文件中找到最后一個檢查點記錄,利用檢查點的恢復(fù)策略（續(xù)）,2.由該檢查點記錄得到檢查點建立時刻所有正在執(zhí)行的事務(wù)清單ACTIVE-LIST建立兩個事務(wù)隊列UNDO-LISTREDO-LIST把ACTIVE-LIST暫時放入UNDO-LIST隊列，REDO隊列暫為空。,利用檢查點的恢復(fù)策略（續(xù)）,3.從檢查點開始正向掃描日志文件，直到日志文件結(jié)束如有新開始的事務(wù)Ti，把Ti暫時放入UNDO-LIST隊列如有提交的事務(wù)Tj，把Tj從UNDO-LIST隊列移到REDO-LIST隊列4.對UNDO-LIST中的每個事務(wù)執(zhí)行UNDO操作,對REDO-LIST中的每個事務(wù)執(zhí)行REDO操作,第七章數(shù)據(jù)庫恢復(fù)技術(shù),1事務(wù)的基本概念2數(shù)據(jù)庫恢復(fù)概述3故障的種類4恢復(fù)的實現(xiàn)技術(shù)5恢復(fù)策略6具有檢查點的恢復(fù)技術(shù)7數(shù)據(jù)庫鏡像8小結(jié),7數(shù)據(jù)庫鏡像,介質(zhì)故障是對系統(tǒng)影響最為嚴重的一種故障，嚴重影響數(shù)據(jù)庫的可用性介質(zhì)故障恢復(fù)比較費時為預(yù)防介質(zhì)故障，DBA必須周期性地轉(zhuǎn)儲數(shù)據(jù)庫提高數(shù)據(jù)庫可用性的解決方案數(shù)據(jù)庫鏡像（Mirror）,數(shù)據(jù)庫鏡像（續(xù)）,數(shù)據(jù)庫鏡像DBMS自動把整個數(shù)據(jù)庫或其中的關(guān)鍵數(shù)據(jù)復(fù)制到另一個磁盤上DBMS自動保證鏡像數(shù)據(jù)與主數(shù)據(jù)的一致性(圖5a),數(shù)據(jù)庫鏡像的用途,出現(xiàn)介質(zhì)故障時DBMS自動利用鏡像磁盤數(shù)據(jù)進行數(shù)據(jù)庫的恢復(fù)，不需要關(guān)閉系統(tǒng)和重裝數(shù)據(jù)庫副本(圖5b)沒有出現(xiàn)故障時可用于并發(fā)操作(圖5a)一個用戶對數(shù)據(jù)加排他鎖修改數(shù)據(jù)其他用戶可以讀鏡像數(shù)據(jù)庫上的數(shù)據(jù),數(shù)據(jù)庫鏡像（續(xù)）,數(shù)據(jù)庫鏡像（續(xù)）,由于采用復(fù)制數(shù)據(jù)實現(xiàn)鏡像，而頻繁復(fù)制會導(dǎo)致較低系統(tǒng)運行效率。因此實際應(yīng)用只針對關(guān)鍵數(shù)據(jù)和日志文件進行鏡像，而不是整個數(shù)據(jù)庫,第七章數(shù)據(jù)庫恢復(fù)技術(shù),1事務(wù)的基本概念2數(shù)據(jù)庫恢復(fù)概述3故障的種類4恢復(fù)的實現(xiàn)技術(shù)5恢復(fù)策略6具有檢查點的恢復(fù)技術(shù)7數(shù)據(jù)庫鏡像8小結(jié),8小結(jié),如果數(shù)據(jù)庫只包含成功事務(wù)提交的結(jié)果，就說數(shù)據(jù)庫處于一致性狀態(tài)。保證數(shù)據(jù)一致性是對數(shù)據(jù)庫的最基本的要求。事務(wù)是數(shù)據(jù)庫的邏輯工作單位DBMS保證系統(tǒng)中一切事務(wù)的原子性、一致性、隔離性和持續(xù)性,小結(jié)（續(xù)）,DBMS必須對事務(wù)故障、系統(tǒng)故障和介質(zhì)故障進行恢復(fù)恢復(fù)中最經(jīng)常使用的技術(shù)：數(shù)據(jù)庫轉(zhuǎn)儲和登記日志文件恢復(fù)的基本原理：利用存儲在后備副本、日志文件和數(shù)據(jù)庫鏡像中的冗余數(shù)據(jù)來重建數(shù)據(jù)庫,小結(jié)（續(xù)）,常用恢復(fù)技術(shù)事務(wù)故障的恢復(fù)按照日志文件對發(fā)生故障的事務(wù)所作的更新操作做UNDO。整個恢復(fù)過程由系統(tǒng)自動完成系統(tǒng)故障的恢復(fù)按照日志文件，對在系統(tǒng)故障發(fā)生時已經(jīng)提交的事務(wù)作REDO；對故障時還沒有提交的事務(wù)作UNDO。重新啟動計算機后，整個恢復(fù)過程由系