緩存穿透解決方案一、概述

緩存穿透是指查詢一個(gè)根本不存在的數(shù)據(jù)，導(dǎo)致請(qǐng)求直接落到數(shù)據(jù)庫(kù)上，從而可能造成數(shù)據(jù)庫(kù)壓力過(guò)大甚至宕機(jī)的問(wèn)題。緩存穿透的解決方案主要從緩存層面和數(shù)據(jù)庫(kù)層面進(jìn)行設(shè)計(jì)，以確保系統(tǒng)穩(wěn)定性和性能。本方案將詳細(xì)介紹緩存穿透的成因、影響及具體的解決方法。

二、緩存穿透成因與影響

（一）緩存穿透成因

1.惡意攻擊：攻擊者通過(guò)發(fā)送大量不存在的數(shù)據(jù)請(qǐng)求，試圖耗盡緩存和數(shù)據(jù)庫(kù)資源。

2.數(shù)據(jù)錯(cuò)誤：應(yīng)用層或數(shù)據(jù)層錯(cuò)誤導(dǎo)致頻繁查詢不存在的數(shù)據(jù)。

3.新上線數(shù)據(jù)：新上線的數(shù)據(jù)未及時(shí)同步到緩存，導(dǎo)致查詢時(shí)緩存命中率為零。

（二）緩存穿透影響

1.數(shù)據(jù)庫(kù)壓力增大：頻繁的數(shù)據(jù)庫(kù)查詢會(huì)導(dǎo)致數(shù)據(jù)庫(kù)負(fù)載增加，影響系統(tǒng)性能。

2.緩存資源浪費(fèi)：無(wú)效的緩存查詢會(huì)占用緩存空間，降低緩存利用率。

3.系統(tǒng)穩(wěn)定性下降：嚴(yán)重時(shí)可能導(dǎo)致數(shù)據(jù)庫(kù)宕機(jī)，影響整個(gè)系統(tǒng)的可用性。

三、緩存穿透解決方案

（一）布隆過(guò)濾器

1.原理：布隆過(guò)濾器是一種空間效率極高的概率型數(shù)據(jù)結(jié)構(gòu)，用于判斷一個(gè)元素是否存在于集合中。

2.應(yīng)用：在緩存查詢前，先通過(guò)布隆過(guò)濾器判斷數(shù)據(jù)是否存在，若不存在則直接返回，避免查詢數(shù)據(jù)庫(kù)。

3.優(yōu)點(diǎn)：空間效率高，查詢速度快。

4.缺點(diǎn)：存在誤判可能，即布隆過(guò)濾器認(rèn)為不存在但實(shí)際存在。

（二）緩存空對(duì)象

1.原理：當(dāng)查詢結(jié)果為空時(shí)，將空值緩存一定時(shí)間，后續(xù)相同查詢直接返回空值。

2.實(shí)現(xiàn)：

-(1)查詢數(shù)據(jù)庫(kù)，若結(jié)果為空，則緩存空對(duì)象，并設(shè)置過(guò)期時(shí)間。

-(2)后續(xù)查詢先檢查緩存，若命中空值則直接返回。

3.優(yōu)點(diǎn)：簡(jiǎn)單易實(shí)現(xiàn)，能有效減少數(shù)據(jù)庫(kù)壓力。

4.缺點(diǎn)：空值緩存會(huì)占用緩存空間。

（三）使用互斥鎖

1.原理：當(dāng)緩存和數(shù)據(jù)庫(kù)中均未命中數(shù)據(jù)時(shí)，使用互斥鎖確保只有一個(gè)請(qǐng)求去數(shù)據(jù)庫(kù)查詢，并將結(jié)果緩存。

2.實(shí)現(xiàn)：

-(1)請(qǐng)求進(jìn)入緩存，若緩存未命中，檢查互斥鎖。

-(2)若未鎖定，則加鎖并查詢數(shù)據(jù)庫(kù)，將結(jié)果緩存后解鎖。

-(3)若已鎖定，則等待鎖釋放或返回緩存空值。

3.優(yōu)點(diǎn)：能有效防止惡意攻擊。

4.缺點(diǎn)：可能造成請(qǐng)求延遲，影響系統(tǒng)響應(yīng)速度。

（四）熱點(diǎn)數(shù)據(jù)加防穿透機(jī)制

1.原理：對(duì)熱點(diǎn)數(shù)據(jù)進(jìn)行特殊處理，確保熱點(diǎn)數(shù)據(jù)始終有緩存。

2.實(shí)現(xiàn)：

-(1)對(duì)熱點(diǎn)數(shù)據(jù)設(shè)置較長(zhǎng)的緩存時(shí)間。

-(2)結(jié)合布隆過(guò)濾器或空對(duì)象緩存，防止穿透。

3.優(yōu)點(diǎn)：針對(duì)性強(qiáng)，能有效保護(hù)熱點(diǎn)數(shù)據(jù)。

4.缺點(diǎn)：需要額外維護(hù)熱點(diǎn)數(shù)據(jù)列表。

（五）監(jiān)控與告警

1.原理：監(jiān)控系統(tǒng)中的緩存命中率和數(shù)據(jù)庫(kù)查詢次數(shù)，及時(shí)發(fā)現(xiàn)異常。

2.實(shí)現(xiàn)：

-(1)設(shè)置監(jiān)控指標(biāo)，如緩存命中率、數(shù)據(jù)庫(kù)查詢QPS。

-(2)當(dāng)指標(biāo)異常時(shí)觸發(fā)告警，及時(shí)處理。

3.優(yōu)點(diǎn)：能及時(shí)發(fā)現(xiàn)并處理問(wèn)題。

4.缺點(diǎn)：需要額外的監(jiān)控資源。

四、總結(jié)

緩存穿透是系統(tǒng)中常見(jiàn)的問(wèn)題，通過(guò)布隆過(guò)濾器、緩存空對(duì)象、互斥鎖、熱點(diǎn)數(shù)據(jù)加防穿透機(jī)制及監(jiān)控告警等方法可以有效解決。在實(shí)際應(yīng)用中，可以根據(jù)具體場(chǎng)景選擇合適的解決方案或組合使用，以確保系統(tǒng)穩(wěn)定性和性能。

二、緩存穿透成因與影響

（一）緩存穿透成因

1.惡意攻擊：惡意用戶可能利用系統(tǒng)設(shè)計(jì)缺陷，通過(guò)發(fā)送大量結(jié)構(gòu)化、但實(shí)際不存在的查詢請(qǐng)求，試圖耗盡后端服務(wù)的資源。這種攻擊方式可能旨在試探系統(tǒng)極限，或通過(guò)間接方式（如提升服務(wù)器負(fù)載）達(dá)到破壞目的。攻擊者可能使用分布式爬蟲(chóng)或自動(dòng)化工具，針對(duì)系統(tǒng)中的查詢接口進(jìn)行高頻、大規(guī)模的無(wú)效請(qǐng)求。

2.數(shù)據(jù)錯(cuò)誤或缺失：在系統(tǒng)初始化、數(shù)據(jù)同步或更新過(guò)程中，可能存在數(shù)據(jù)不一致的情況。例如，某個(gè)查詢條件對(duì)應(yīng)的數(shù)據(jù)在數(shù)據(jù)庫(kù)中本應(yīng)存在，但在緩存中缺失，且數(shù)據(jù)庫(kù)的查詢本身是有效的。當(dāng)大量用戶或服務(wù)請(qǐng)求此類“理論上存在但當(dāng)前未命中”的數(shù)據(jù)時(shí)，就會(huì)導(dǎo)致請(qǐng)求穿透到數(shù)據(jù)庫(kù)。

3.新上線或邏輯變更數(shù)據(jù)：在系統(tǒng)上線新功能或數(shù)據(jù)結(jié)構(gòu)邏輯發(fā)生變更后，相關(guān)數(shù)據(jù)可能未能及時(shí)、完整地同步到緩存中。如果此時(shí)有外部系統(tǒng)或用戶根據(jù)舊邏輯或新邏輯查詢這些尚未緩存的數(shù)據(jù)，就會(huì)產(chǎn)生緩存穿透現(xiàn)象。

4.查詢范圍或條件錯(cuò)誤：應(yīng)用開(kāi)發(fā)或運(yùn)維人員在使用系統(tǒng)時(shí)，可能因操作失誤，輸入了錯(cuò)誤的查詢范圍或條件，導(dǎo)致請(qǐng)求的數(shù)據(jù)集在數(shù)據(jù)庫(kù)中不存在。如果此類錯(cuò)誤被頻繁觸發(fā)，也會(huì)構(gòu)成緩存穿透。

（二）緩存穿透影響

1.數(shù)據(jù)庫(kù)資源耗盡：每次緩存穿透的請(qǐng)求最終都會(huì)落到數(shù)據(jù)庫(kù)。大量的無(wú)效查詢會(huì)迅速消耗數(shù)據(jù)庫(kù)的CPU、內(nèi)存、I/O等資源，導(dǎo)致數(shù)據(jù)庫(kù)性能急劇下降，響應(yīng)時(shí)間變長(zhǎng)。

2.緩存命中率急劇下降：由于請(qǐng)求頻繁穿透到數(shù)據(jù)庫(kù)而無(wú)法在緩存中命中，導(dǎo)致緩存的實(shí)際利用率非常低。緩存資源未被有效利用，而數(shù)據(jù)庫(kù)卻承受了額外負(fù)擔(dān)。

3.系統(tǒng)整體性能下降：數(shù)據(jù)庫(kù)負(fù)載增加會(huì)拖累整個(gè)服務(wù)器的性能，影響其他正常業(yè)務(wù)的響應(yīng)速度。嚴(yán)重時(shí)，數(shù)據(jù)庫(kù)可能因負(fù)載過(guò)高而出現(xiàn)慢查詢、甚至宕機(jī)，引發(fā)雪崩效應(yīng)，導(dǎo)致服務(wù)不可用。

4.運(yùn)維成本增加：頻繁的緩存穿透可能需要運(yùn)維人員進(jìn)行緊急干預(yù)，如限流、熔斷，甚至手動(dòng)清理數(shù)據(jù)庫(kù)或調(diào)整緩存策略，增加了運(yùn)維的復(fù)雜度和成本。

5.網(wǎng)絡(luò)帶寬占用：大量的無(wú)效請(qǐng)求會(huì)在客戶端與服務(wù)器之間、以及服務(wù)器集群內(nèi)部產(chǎn)生不必要的網(wǎng)絡(luò)流量，占用有限的網(wǎng)絡(luò)帶寬資源。

三、緩存穿透解決方案

（一）布隆過(guò)濾器

1.原理：布隆過(guò)濾器是一種基于位數(shù)組的概率型數(shù)據(jù)結(jié)構(gòu)，用于測(cè)試一個(gè)元素是否是一個(gè)集合的成員。它允許有假陽(yáng)性（錯(cuò)誤地認(rèn)為元素存在），但絕不會(huì)產(chǎn)生假陰性（如果返回不存在，則元素一定不存在）。通過(guò)向布隆過(guò)濾器中添加元素，可以標(biāo)記這些元素“可能存在”。查詢時(shí)，先在布隆過(guò)濾器中進(jìn)行測(cè)試，如果過(guò)濾器返回“不存在”，則可以肯定數(shù)據(jù)庫(kù)中也不存在該數(shù)據(jù)，從而直接拒絕該請(qǐng)求；如果返回“可能存在”，則繼續(xù)向數(shù)據(jù)庫(kù)查詢確認(rèn)。

2.應(yīng)用：在用戶發(fā)起緩存查詢請(qǐng)求前，先將其鍵值輸入布隆過(guò)濾器進(jìn)行判斷。根據(jù)判斷結(jié)果決定是直接返回“不存在”或繼續(xù)查詢數(shù)據(jù)庫(kù)。布隆過(guò)濾器通常部署在緩存層之前，作為第一道防線。

3.優(yōu)點(diǎn)：

空間效率高：相比哈希表或其他數(shù)據(jù)結(jié)構(gòu)，布隆過(guò)濾器使用極少的內(nèi)存空間就能表示一個(gè)巨大的集合。

查詢速度快：布隆過(guò)濾器的查詢時(shí)間復(fù)雜度為O(1)，非常迅速。

可擴(kuò)展性好：易于在分布式系統(tǒng)中橫向擴(kuò)展。

4.缺點(diǎn)：

存在誤判：由于使用位數(shù)組和多個(gè)哈希函數(shù)，布隆過(guò)濾器可能會(huì)有誤判，即返回“存在”但實(shí)際上數(shù)據(jù)不存在。誤判率可以通過(guò)調(diào)整位數(shù)組大小和哈希函數(shù)數(shù)量來(lái)控制，但無(wú)法完全消除。

不支持刪除：布隆過(guò)濾器不支持精確刪除元素，因?yàn)閯h除一個(gè)元素需要同時(shí)修改多個(gè)哈希位的值，容易導(dǎo)致誤判。

參數(shù)調(diào)整復(fù)雜：需要根據(jù)預(yù)期的數(shù)據(jù)集大小和可接受的誤判率來(lái)精確計(jì)算位數(shù)組大小和哈希函數(shù)數(shù)量，調(diào)整不當(dāng)可能導(dǎo)致性能問(wèn)題。

（二）緩存空對(duì)象

1.原理：當(dāng)緩存和數(shù)據(jù)庫(kù)中均未命中查詢數(shù)據(jù)時(shí)，如果數(shù)據(jù)庫(kù)查詢結(jié)果為空（即該數(shù)據(jù)不存在），則將這個(gè)“空結(jié)果”及其對(duì)應(yīng)的鍵值對(duì)存入緩存，并設(shè)置一個(gè)合理的過(guò)期時(shí)間。后續(xù)對(duì)于同一鍵值的查詢，首先檢查緩存，如果命中了空結(jié)果，則直接返回一個(gè)空值或特定標(biāo)記，不再查詢數(shù)據(jù)庫(kù)。

2.實(shí)現(xiàn)：

(1)緩存查詢：收到查詢請(qǐng)求，先在緩存中查找。

(2)命中空緩存：如果緩存中存在該鍵，且存儲(chǔ)的值是一個(gè)明確表示“空”的特殊值（如`null`、`""`、特定對(duì)象或狀態(tài)碼），則直接返回空結(jié)果，并記錄此次空緩存命中率。

(3)未命中緩存：如果緩存中不存在該鍵，則向數(shù)據(jù)庫(kù)發(fā)起查詢。

(4)數(shù)據(jù)庫(kù)查詢?yōu)榭眨喝绻麛?shù)據(jù)庫(kù)查詢結(jié)果為空，則將鍵和特殊空值存入緩存，并設(shè)置過(guò)期時(shí)間（如5分鐘）后，返回空結(jié)果。

(5)數(shù)據(jù)庫(kù)查詢非空：如果數(shù)據(jù)庫(kù)查詢結(jié)果非空，則將實(shí)際結(jié)果存入緩存（或覆蓋空緩存），并設(shè)置正常過(guò)期時(shí)間，返回查詢結(jié)果。

3.優(yōu)點(diǎn)：

簡(jiǎn)單易實(shí)現(xiàn)：邏輯straightforward，易于在緩存系統(tǒng)中落地。

有效減少數(shù)據(jù)庫(kù)壓力：對(duì)于大量不存在的查詢，可以直接由緩存處理，顯著降低數(shù)據(jù)庫(kù)負(fù)載。

提高緩存命中率：即使是空數(shù)據(jù)，也能被緩存起來(lái)，減少對(duì)數(shù)據(jù)庫(kù)的無(wú)效訪問(wèn)。

4.缺點(diǎn)：

占用緩存空間：空對(duì)象同樣會(huì)占用緩存空間，如果系統(tǒng)中有大量不存在的數(shù)據(jù)，可能會(huì)浪費(fèi)較多緩存資源。

更新延遲：如果數(shù)據(jù)在數(shù)據(jù)庫(kù)中被創(chuàng)建或刪除，需要一段時(shí)間后才能通過(guò)緩存空對(duì)象的過(guò)期機(jī)制，使緩存狀態(tài)與數(shù)據(jù)庫(kù)保持一致。在此期間，其他用戶可能仍然會(huì)從緩存中獲取到舊的空結(jié)果。

空值判斷：需要明確區(qū)分“數(shù)據(jù)庫(kù)中不存在”和“數(shù)據(jù)庫(kù)中存在但當(dāng)前值為空”兩種情況，緩存策略需要能處理這種區(qū)分。

（三）使用互斥鎖（分布式鎖）

1.原理：為了防止多個(gè)并發(fā)請(qǐng)求在緩存和數(shù)據(jù)庫(kù)均未命中時(shí)，同時(shí)去數(shù)據(jù)庫(kù)查詢并寫(xiě)入空對(duì)象，可以使用互斥鎖（通常實(shí)現(xiàn)為分布式鎖）來(lái)保證對(duì)于同一個(gè)不存在的鍵，只有一個(gè)請(qǐng)求能執(zhí)行數(shù)據(jù)庫(kù)查詢和緩存空對(duì)象的操作。其他并發(fā)請(qǐng)求在嘗試獲取鎖失敗后，可以選擇等待或直接返回空結(jié)果。

2.實(shí)現(xiàn)：

(1)緩存查詢：收到查詢請(qǐng)求，先在緩存中查找。

(2)未命中緩存：記錄當(dāng)前請(qǐng)求的鍵值。

(3)嘗試獲取鎖：嘗試獲取一個(gè)與當(dāng)前鍵值關(guān)聯(lián)的分布式鎖。

(4)獲取鎖成功：

(a)再次緩存查詢（雙重檢查）：再次檢查緩存，防止在獲取鎖的過(guò)程中其他請(qǐng)求已經(jīng)緩存了空對(duì)象。

(b)數(shù)據(jù)庫(kù)查詢：如果緩存仍然未命中，則向數(shù)據(jù)庫(kù)發(fā)起查詢。

(c)數(shù)據(jù)庫(kù)查詢?yōu)榭眨喝绻麛?shù)據(jù)庫(kù)查詢結(jié)果為空，則將鍵和特殊空值存入緩存，并設(shè)置過(guò)期時(shí)間。

(d)數(shù)據(jù)庫(kù)查詢非空：如果數(shù)據(jù)庫(kù)查詢結(jié)果非空，則將實(shí)際結(jié)果存入緩存（或覆蓋空緩存），并設(shè)置正常過(guò)期時(shí)間。

(e)釋放鎖：釋放之前獲取的分布式鎖。

(f)返回結(jié)果：返回?cái)?shù)據(jù)庫(kù)查詢結(jié)果。

(5)獲取鎖失?。寒?dāng)前請(qǐng)求未能獲取鎖。

(a)選擇策略：

策略一（等待）：等待一段時(shí)間后重試緩存查詢或直接返回空結(jié)果。

策略二（直接返回空）：直接返回一個(gè)預(yù)設(shè)的空結(jié)果或錯(cuò)誤碼，提示數(shù)據(jù)不存在。這種方式犧牲了一定的準(zhǔn)確性，但能快速響應(yīng)。

3.優(yōu)點(diǎn)：

防止寫(xiě)入風(fēng)暴：能有效防止多個(gè)并發(fā)請(qǐng)求對(duì)同一個(gè)不存在的鍵進(jìn)行數(shù)據(jù)庫(kù)寫(xiě)入，避免不必要的緩存寫(xiě)入和網(wǎng)絡(luò)流量。

保證一致性（寫(xiě)入端）：確保只有一個(gè)請(qǐng)求為某個(gè)不存在的鍵寫(xiě)入空緩存，避免了重復(fù)寫(xiě)入。

4.缺點(diǎn)：

增加系統(tǒng)復(fù)雜度：需要引入分布式鎖機(jī)制，增加了系統(tǒng)的架構(gòu)復(fù)雜度和運(yùn)維成本。

可能造成請(qǐng)求延遲：請(qǐng)求需要等待鎖的釋放，在高并發(fā)場(chǎng)景下可能導(dǎo)致明顯的延遲增加。

鎖資源競(jìng)爭(zhēng)：如果系統(tǒng)中有大量不存在的數(shù)據(jù)，可能會(huì)產(chǎn)生大量的鎖競(jìng)爭(zhēng)，降低系統(tǒng)吞吐量。

死鎖風(fēng)險(xiǎn)：雖然概率較低，但不當(dāng)?shù)逆i使用可能導(dǎo)致死鎖問(wèn)題。

（四）熱點(diǎn)數(shù)據(jù)加防穿透機(jī)制

1.原理：系統(tǒng)中的數(shù)據(jù)通常存在訪問(wèn)頻率上的差異，某些數(shù)據(jù)（熱點(diǎn)數(shù)據(jù)）被頻繁訪問(wèn)。對(duì)于這些熱點(diǎn)數(shù)據(jù)，可以采取更積極的策略來(lái)確保其可訪問(wèn)性，并結(jié)合防穿透機(jī)制。即使發(fā)生穿透，由于是熱點(diǎn)數(shù)據(jù)，系統(tǒng)也更有意愿投入資源保證其快速響應(yīng)。

2.實(shí)現(xiàn)：

(1)識(shí)別熱點(diǎn)數(shù)據(jù)：通過(guò)監(jiān)控、日志分析或業(yè)務(wù)特性分析，識(shí)別出系統(tǒng)中的熱點(diǎn)數(shù)據(jù)集或高訪問(wèn)頻率的鍵值。

(2)優(yōu)先緩存熱點(diǎn)數(shù)據(jù)：對(duì)于識(shí)別出的熱點(diǎn)數(shù)據(jù)，設(shè)置非常長(zhǎng)的緩存過(guò)期時(shí)間（如幾小時(shí)甚至永久，根據(jù)業(yè)務(wù)場(chǎng)景定），并優(yōu)先加載到緩存中。

(3)結(jié)合防穿透機(jī)制：對(duì)熱點(diǎn)數(shù)據(jù)的查詢接口，結(jié)合使用布隆過(guò)濾器或緩存空對(duì)象策略。例如，對(duì)熱點(diǎn)數(shù)據(jù)查詢先過(guò)布隆過(guò)濾器，或者即使緩存未命中，也優(yōu)先考慮緩存空對(duì)象（因?yàn)闊狳c(diǎn)數(shù)據(jù)不應(yīng)頻繁為空）。

(4)特殊保護(hù)措施：對(duì)極其重要的熱點(diǎn)數(shù)據(jù)，可以結(jié)合互斥鎖機(jī)制，確保即使發(fā)生穿透，也能被妥善處理，避免對(duì)數(shù)據(jù)庫(kù)造成沖擊。

3.優(yōu)點(diǎn)：

保障核心業(yè)務(wù)：確保高頻訪問(wèn)的關(guān)鍵數(shù)據(jù)能夠快速響應(yīng)，提升用戶體驗(yàn)和系統(tǒng)穩(wěn)定性。

針對(duì)性防御：將資源優(yōu)先投入到最關(guān)鍵的部分，防穿透策略更具針對(duì)性。

4.缺點(diǎn)：

需要額外維護(hù)：需要額外的機(jī)制來(lái)識(shí)別和管理熱點(diǎn)數(shù)據(jù)，增加了維護(hù)成本。

資源分配：需要平衡熱點(diǎn)數(shù)據(jù)和非熱點(diǎn)數(shù)據(jù)的緩存資源和處理優(yōu)先級(jí)。

（五）監(jiān)控與告警

1.原理：建立完善的監(jiān)控體系，實(shí)時(shí)采集和分析緩存及數(shù)據(jù)庫(kù)的性能指標(biāo)和訪問(wèn)日志，以便及時(shí)發(fā)現(xiàn)異常情況并進(jìn)行告警。通過(guò)監(jiān)控，可以量化緩存穿透的發(fā)生頻率、影響范圍和趨勢(shì)，為優(yōu)化策略提供數(shù)據(jù)支持。

2.實(shí)現(xiàn)：

(1)監(jiān)控指標(biāo)：

緩存命中率：持續(xù)監(jiān)控各緩存模塊的命中率，特別是針對(duì)特定查詢模式或鍵空間的命中率。命中率異常下降可能指示緩存穿透。

數(shù)據(jù)庫(kù)慢查詢/錯(cuò)誤率：監(jiān)控?cái)?shù)據(jù)庫(kù)的慢查詢?nèi)罩竞湾e(cuò)誤率，特別是針對(duì)特定查詢模式的。錯(cuò)誤率或慢查詢量異常上升可能暗示緩存穿透導(dǎo)致數(shù)據(jù)庫(kù)壓力增大。

緩存空值命中率：如果采用了緩存空對(duì)象策略，監(jiān)控空值緩存命中率或空值查詢占比。

特定查詢請(qǐng)求量：監(jiān)控不存在的鍵值查詢請(qǐng)求的頻率和趨勢(shì)。

互斥鎖請(qǐng)求/阻塞情況：如果使用互斥鎖，監(jiān)控鎖的請(qǐng)求次數(shù)、獲取成功率、平均等待時(shí)間等。

(2)告警規(guī)則：基于上述指標(biāo)設(shè)置合理的告警閾值。例如，緩存命中率低于某個(gè)閾值、數(shù)據(jù)庫(kù)特定查詢的QPS（每秒查詢率）超過(guò)閾值、空值緩存命中率異常等。

(3)告警通知：當(dāng)監(jiān)控指標(biāo)觸發(fā)告警規(guī)則時(shí)，通過(guò)郵件、短信、釘釘/企業(yè)微信等即時(shí)通訊工具通知相關(guān)運(yùn)維或開(kāi)發(fā)人員。

(4)分析工具：使用APM（應(yīng)用性能管理）工具、日志分析平臺(tái)（如ELKStack）或數(shù)據(jù)庫(kù)監(jiān)控工具進(jìn)行數(shù)據(jù)采集、分析和可視化。

(5)自動(dòng)響應(yīng)（可選）：對(duì)于已知的、模式化的緩存穿透攻擊，可以考慮設(shè)置自動(dòng)限流或熔斷策略。

3.優(yōu)點(diǎn)：

主動(dòng)防御與快速響應(yīng)：變被動(dòng)應(yīng)對(duì)為主動(dòng)監(jiān)控，能及早發(fā)現(xiàn)問(wèn)題并采取措施。

量化分析：提供數(shù)據(jù)支持，幫助理解問(wèn)題嚴(yán)重程度和趨勢(shì)，指導(dǎo)優(yōu)化方向。

降低風(fēng)險(xiǎn)：及時(shí)發(fā)現(xiàn)并處理異常，避免問(wèn)題擴(kuò)大化。

4.缺點(diǎn)：

需要額外投入：需要配置監(jiān)控工具、設(shè)置告警規(guī)則，并投入人力進(jìn)行監(jiān)控和分析。

告警誤報(bào)：不合理的告警閾值可能導(dǎo)致誤報(bào)，增加運(yùn)維負(fù)擔(dān)；過(guò)于寬松則可能漏報(bào)。

無(wú)法直接解決問(wèn)題：監(jiān)控本身不能解決緩存穿透問(wèn)題，只是發(fā)現(xiàn)問(wèn)題。需要配合其他解決方案使用。

一、概述

緩存穿透是指查詢一個(gè)根本不存在的數(shù)據(jù)，導(dǎo)致請(qǐng)求直接落到數(shù)據(jù)庫(kù)上，從而可能造成數(shù)據(jù)庫(kù)壓力過(guò)大甚至宕機(jī)的問(wèn)題。緩存穿透的解決方案主要從緩存層面和數(shù)據(jù)庫(kù)層面進(jìn)行設(shè)計(jì)，以確保系統(tǒng)穩(wěn)定性和性能。本方案將詳細(xì)介紹緩存穿透的成因、影響及具體的解決方法。

二、緩存穿透成因與影響

（一）緩存穿透成因

1.惡意攻擊：攻擊者通過(guò)發(fā)送大量不存在的數(shù)據(jù)請(qǐng)求，試圖耗盡緩存和數(shù)據(jù)庫(kù)資源。

2.數(shù)據(jù)錯(cuò)誤：應(yīng)用層或數(shù)據(jù)層錯(cuò)誤導(dǎo)致頻繁查詢不存在的數(shù)據(jù)。

3.新上線數(shù)據(jù)：新上線的數(shù)據(jù)未及時(shí)同步到緩存，導(dǎo)致查詢時(shí)緩存命中率為零。

（二）緩存穿透影響

1.數(shù)據(jù)庫(kù)壓力增大：頻繁的數(shù)據(jù)庫(kù)查詢會(huì)導(dǎo)致數(shù)據(jù)庫(kù)負(fù)載增加，影響系統(tǒng)性能。

2.緩存資源浪費(fèi)：無(wú)效的緩存查詢會(huì)占用緩存空間，降低緩存利用率。

3.系統(tǒng)穩(wěn)定性下降：嚴(yán)重時(shí)可能導(dǎo)致數(shù)據(jù)庫(kù)宕機(jī)，影響整個(gè)系統(tǒng)的可用性。

三、緩存穿透解決方案

（一）布隆過(guò)濾器

1.原理：布隆過(guò)濾器是一種空間效率極高的概率型數(shù)據(jù)結(jié)構(gòu)，用于判斷一個(gè)元素是否存在于集合中。

2.應(yīng)用：在緩存查詢前，先通過(guò)布隆過(guò)濾器判斷數(shù)據(jù)是否存在，若不存在則直接返回，避免查詢數(shù)據(jù)庫(kù)。

3.優(yōu)點(diǎn)：空間效率高，查詢速度快。

4.缺點(diǎn)：存在誤判可能，即布隆過(guò)濾器認(rèn)為不存在但實(shí)際存在。

（二）緩存空對(duì)象

1.原理：當(dāng)查詢結(jié)果為空時(shí)，將空值緩存一定時(shí)間，后續(xù)相同查詢直接返回空值。

2.實(shí)現(xiàn)：

-(1)查詢數(shù)據(jù)庫(kù)，若結(jié)果為空，則緩存空對(duì)象，并設(shè)置過(guò)期時(shí)間。

-(2)后續(xù)查詢先檢查緩存，若命中空值則直接返回。

3.優(yōu)點(diǎn)：簡(jiǎn)單易實(shí)現(xiàn)，能有效減少數(shù)據(jù)庫(kù)壓力。

4.缺點(diǎn)：空值緩存會(huì)占用緩存空間。

（三）使用互斥鎖

1.原理：當(dāng)緩存和數(shù)據(jù)庫(kù)中均未命中數(shù)據(jù)時(shí)，使用互斥鎖確保只有一個(gè)請(qǐng)求去數(shù)據(jù)庫(kù)查詢，并將結(jié)果緩存。

2.實(shí)現(xiàn)：

-(1)請(qǐng)求進(jìn)入緩存，若緩存未命中，檢查互斥鎖。

-(2)若未鎖定，則加鎖并查詢數(shù)據(jù)庫(kù)，將結(jié)果緩存后解鎖。

-(3)若已鎖定，則等待鎖釋放或返回緩存空值。

3.優(yōu)點(diǎn)：能有效防止惡意攻擊。

4.缺點(diǎn)：可能造成請(qǐng)求延遲，影響系統(tǒng)響應(yīng)速度。

（四）熱點(diǎn)數(shù)據(jù)加防穿透機(jī)制

1.原理：對(duì)熱點(diǎn)數(shù)據(jù)進(jìn)行特殊處理，確保熱點(diǎn)數(shù)據(jù)始終有緩存。

2.實(shí)現(xiàn)：

-(1)對(duì)熱點(diǎn)數(shù)據(jù)設(shè)置較長(zhǎng)的緩存時(shí)間。

-(2)結(jié)合布隆過(guò)濾器或空對(duì)象緩存，防止穿透。

3.優(yōu)點(diǎn)：針對(duì)性強(qiáng)，能有效保護(hù)熱點(diǎn)數(shù)據(jù)。

4.缺點(diǎn)：需要額外維護(hù)熱點(diǎn)數(shù)據(jù)列表。

（五）監(jiān)控與告警

1.原理：監(jiān)控系統(tǒng)中的緩存命中率和數(shù)據(jù)庫(kù)查詢次數(shù)，及時(shí)發(fā)現(xiàn)異常。

2.實(shí)現(xiàn)：

-(1)設(shè)置監(jiān)控指標(biāo)，如緩存命中率、數(shù)據(jù)庫(kù)查詢QPS。

-(2)當(dāng)指標(biāo)異常時(shí)觸發(fā)告警，及時(shí)處理。

3.優(yōu)點(diǎn)：能及時(shí)發(fā)現(xiàn)并處理問(wèn)題。

4.缺點(diǎn)：需要額外的監(jiān)控資源。

四、總結(jié)

緩存穿透是系統(tǒng)中常見(jiàn)的問(wèn)題，通過(guò)布隆過(guò)濾器、緩存空對(duì)象、互斥鎖、熱點(diǎn)數(shù)據(jù)加防穿透機(jī)制及監(jiān)控告警等方法可以有效解決。在實(shí)際應(yīng)用中，可以根據(jù)具體場(chǎng)景選擇合適的解決方案或組合使用，以確保系統(tǒng)穩(wěn)定性和性能。

二、緩存穿透成因與影響

（一）緩存穿透成因

1.惡意攻擊：惡意用戶可能利用系統(tǒng)設(shè)計(jì)缺陷，通過(guò)發(fā)送大量結(jié)構(gòu)化、但實(shí)際不存在的查詢請(qǐng)求，試圖耗盡后端服務(wù)的資源。這種攻擊方式可能旨在試探系統(tǒng)極限，或通過(guò)間接方式（如提升服務(wù)器負(fù)載）達(dá)到破壞目的。攻擊者可能使用分布式爬蟲(chóng)或自動(dòng)化工具，針對(duì)系統(tǒng)中的查詢接口進(jìn)行高頻、大規(guī)模的無(wú)效請(qǐng)求。

2.數(shù)據(jù)錯(cuò)誤或缺失：在系統(tǒng)初始化、數(shù)據(jù)同步或更新過(guò)程中，可能存在數(shù)據(jù)不一致的情況。例如，某個(gè)查詢條件對(duì)應(yīng)的數(shù)據(jù)在數(shù)據(jù)庫(kù)中本應(yīng)存在，但在緩存中缺失，且數(shù)據(jù)庫(kù)的查詢本身是有效的。當(dāng)大量用戶或服務(wù)請(qǐng)求此類“理論上存在但當(dāng)前未命中”的數(shù)據(jù)時(shí)，就會(huì)導(dǎo)致請(qǐng)求穿透到數(shù)據(jù)庫(kù)。

3.新上線或邏輯變更數(shù)據(jù)：在系統(tǒng)上線新功能或數(shù)據(jù)結(jié)構(gòu)邏輯發(fā)生變更后，相關(guān)數(shù)據(jù)可能未能及時(shí)、完整地同步到緩存中。如果此時(shí)有外部系統(tǒng)或用戶根據(jù)舊邏輯或新邏輯查詢這些尚未緩存的數(shù)據(jù)，就會(huì)產(chǎn)生緩存穿透現(xiàn)象。

4.查詢范圍或條件錯(cuò)誤：應(yīng)用開(kāi)發(fā)或運(yùn)維人員在使用系統(tǒng)時(shí)，可能因操作失誤，輸入了錯(cuò)誤的查詢范圍或條件，導(dǎo)致請(qǐng)求的數(shù)據(jù)集在數(shù)據(jù)庫(kù)中不存在。如果此類錯(cuò)誤被頻繁觸發(fā)，也會(huì)構(gòu)成緩存穿透。

（二）緩存穿透影響

1.數(shù)據(jù)庫(kù)資源耗盡：每次緩存穿透的請(qǐng)求最終都會(huì)落到數(shù)據(jù)庫(kù)。大量的無(wú)效查詢會(huì)迅速消耗數(shù)據(jù)庫(kù)的CPU、內(nèi)存、I/O等資源，導(dǎo)致數(shù)據(jù)庫(kù)性能急劇下降，響應(yīng)時(shí)間變長(zhǎng)。

2.緩存命中率急劇下降：由于請(qǐng)求頻繁穿透到數(shù)據(jù)庫(kù)而無(wú)法在緩存中命中，導(dǎo)致緩存的實(shí)際利用率非常低。緩存資源未被有效利用，而數(shù)據(jù)庫(kù)卻承受了額外負(fù)擔(dān)。

3.系統(tǒng)整體性能下降：數(shù)據(jù)庫(kù)負(fù)載增加會(huì)拖累整個(gè)服務(wù)器的性能，影響其他正常業(yè)務(wù)的響應(yīng)速度。嚴(yán)重時(shí)，數(shù)據(jù)庫(kù)可能因負(fù)載過(guò)高而出現(xiàn)慢查詢、甚至宕機(jī)，引發(fā)雪崩效應(yīng)，導(dǎo)致服務(wù)不可用。

4.運(yùn)維成本增加：頻繁的緩存穿透可能需要運(yùn)維人員進(jìn)行緊急干預(yù)，如限流、熔斷，甚至手動(dòng)清理數(shù)據(jù)庫(kù)或調(diào)整緩存策略，增加了運(yùn)維的復(fù)雜度和成本。

5.網(wǎng)絡(luò)帶寬占用：大量的無(wú)效請(qǐng)求會(huì)在客戶端與服務(wù)器之間、以及服務(wù)器集群內(nèi)部產(chǎn)生不必要的網(wǎng)絡(luò)流量，占用有限的網(wǎng)絡(luò)帶寬資源。

三、緩存穿透解決方案

（一）布隆過(guò)濾器

1.原理：布隆過(guò)濾器是一種基于位數(shù)組的概率型數(shù)據(jù)結(jié)構(gòu)，用于測(cè)試一個(gè)元素是否是一個(gè)集合的成員。它允許有假陽(yáng)性（錯(cuò)誤地認(rèn)為元素存在），但絕不會(huì)產(chǎn)生假陰性（如果返回不存在，則元素一定不存在）。通過(guò)向布隆過(guò)濾器中添加元素，可以標(biāo)記這些元素“可能存在”。查詢時(shí)，先在布隆過(guò)濾器中進(jìn)行測(cè)試，如果過(guò)濾器返回“不存在”，則可以肯定數(shù)據(jù)庫(kù)中也不存在該數(shù)據(jù)，從而直接拒絕該請(qǐng)求；如果返回“可能存在”，則繼續(xù)向數(shù)據(jù)庫(kù)查詢確認(rèn)。

2.應(yīng)用：在用戶發(fā)起緩存查詢請(qǐng)求前，先將其鍵值輸入布隆過(guò)濾器進(jìn)行判斷。根據(jù)判斷結(jié)果決定是直接返回“不存在”或繼續(xù)查詢數(shù)據(jù)庫(kù)。布隆過(guò)濾器通常部署在緩存層之前，作為第一道防線。

3.優(yōu)點(diǎn)：

空間效率高：相比哈希表或其他數(shù)據(jù)結(jié)構(gòu)，布隆過(guò)濾器使用極少的內(nèi)存空間就能表示一個(gè)巨大的集合。

查詢速度快：布隆過(guò)濾器的查詢時(shí)間復(fù)雜度為O(1)，非常迅速。

可擴(kuò)展性好：易于在分布式系統(tǒng)中橫向擴(kuò)展。

4.缺點(diǎn)：

存在誤判：由于使用位數(shù)組和多個(gè)哈希函數(shù)，布隆過(guò)濾器可能會(huì)有誤判，即返回“存在”但實(shí)際上數(shù)據(jù)不存在。誤判率可以通過(guò)調(diào)整位數(shù)組大小和哈希函數(shù)數(shù)量來(lái)控制，但無(wú)法完全消除。

不支持刪除：布隆過(guò)濾器不支持精確刪除元素，因?yàn)閯h除一個(gè)元素需要同時(shí)修改多個(gè)哈希位的值，容易導(dǎo)致誤判。

參數(shù)調(diào)整復(fù)雜：需要根據(jù)預(yù)期的數(shù)據(jù)集大小和可接受的誤判率來(lái)精確計(jì)算位數(shù)組大小和哈希函數(shù)數(shù)量，調(diào)整不當(dāng)可能導(dǎo)致性能問(wèn)題。

（二）緩存空對(duì)象

1.原理：當(dāng)緩存和數(shù)據(jù)庫(kù)中均未命中查詢數(shù)據(jù)時(shí)，如果數(shù)據(jù)庫(kù)查詢結(jié)果為空（即該數(shù)據(jù)不存在），則將這個(gè)“空結(jié)果”及其對(duì)應(yīng)的鍵值對(duì)存入緩存，并設(shè)置一個(gè)合理的過(guò)期時(shí)間。后續(xù)對(duì)于同一鍵值的查詢，首先檢查緩存，如果命中了空結(jié)果，則直接返回一個(gè)空值或特定標(biāo)記，不再查詢數(shù)據(jù)庫(kù)。

2.實(shí)現(xiàn)：

(1)緩存查詢：收到查詢請(qǐng)求，先在緩存中查找。

(2)命中空緩存：如果緩存中存在該鍵，且存儲(chǔ)的值是一個(gè)明確表示“空”的特殊值（如`null`、`""`、特定對(duì)象或狀態(tài)碼），則直接返回空結(jié)果，并記錄此次空緩存命中率。

(3)未命中緩存：如果緩存中不存在該鍵，則向數(shù)據(jù)庫(kù)發(fā)起查詢。

(4)數(shù)據(jù)庫(kù)查詢?yōu)榭眨喝绻麛?shù)據(jù)庫(kù)查詢結(jié)果為空，則將鍵和特殊空值存入緩存，并設(shè)置過(guò)期時(shí)間（如5分鐘）后，返回空結(jié)果。

(5)數(shù)據(jù)庫(kù)查詢非空：如果數(shù)據(jù)庫(kù)查詢結(jié)果非空，則將實(shí)際結(jié)果存入緩存（或覆蓋空緩存），并設(shè)置正常過(guò)期時(shí)間，返回查詢結(jié)果。

3.優(yōu)點(diǎn)：

簡(jiǎn)單易實(shí)現(xiàn)：邏輯straightforward，易于在緩存系統(tǒng)中落地。

有效減少數(shù)據(jù)庫(kù)壓力：對(duì)于大量不存在的查詢，可以直接由緩存處理，顯著降低數(shù)據(jù)庫(kù)負(fù)載。

提高緩存命中率：即使是空數(shù)據(jù)，也能被緩存起來(lái)，減少對(duì)數(shù)據(jù)庫(kù)的無(wú)效訪問(wèn)。

4.缺點(diǎn)：

占用緩存空間：空對(duì)象同樣會(huì)占用緩存空間，如果系統(tǒng)中有大量不存在的數(shù)據(jù)，可能會(huì)浪費(fèi)較多緩存資源。

更新延遲：如果數(shù)據(jù)在數(shù)據(jù)庫(kù)中被創(chuàng)建或刪除，需要一段時(shí)間后才能通過(guò)緩存空對(duì)象的過(guò)期機(jī)制，使緩存狀態(tài)與數(shù)據(jù)庫(kù)保持一致。在此期間，其他用戶可能仍然會(huì)從緩存中獲取到舊的空結(jié)果。

空值判斷：需要明確區(qū)分“數(shù)據(jù)庫(kù)中不存在”和“數(shù)據(jù)庫(kù)中存在但當(dāng)前值為空”兩種情況，緩存策略需要能處理這種區(qū)分。

（三）使用互斥鎖（分布式鎖）

1.原理：為了防止多個(gè)并發(fā)請(qǐng)求在緩存和數(shù)據(jù)庫(kù)均未命中時(shí)，同時(shí)去數(shù)據(jù)庫(kù)查詢并寫(xiě)入空對(duì)象，可以使用互斥鎖（通常實(shí)現(xiàn)為分布式鎖）來(lái)保證對(duì)于同一個(gè)不存在的鍵，只有一個(gè)請(qǐng)求能執(zhí)行數(shù)據(jù)庫(kù)查詢和緩存空對(duì)象的操作。其他并發(fā)請(qǐng)求在嘗試獲取鎖失敗后，可以選擇等待或直接返回空結(jié)果。

2.實(shí)現(xiàn)：

(1)緩存查詢：收到查詢請(qǐng)求，先在緩存中查找。

(2)未命中緩存：記錄當(dāng)前請(qǐng)求的鍵值。

(3)嘗試獲取鎖：嘗試獲取一個(gè)與當(dāng)前鍵值關(guān)聯(lián)的分布式鎖。

(4)獲取鎖成功：

(a)再次緩存查詢（雙重檢查）：再次檢查緩存，防止在獲取鎖的過(guò)程中其他請(qǐng)求已經(jīng)緩存了空對(duì)象。

(b)數(shù)據(jù)庫(kù)查詢：如果緩存仍然未命中，則向數(shù)據(jù)庫(kù)發(fā)起查詢。

(c)數(shù)據(jù)庫(kù)查詢?yōu)榭眨喝绻麛?shù)據(jù)庫(kù)查詢結(jié)果為空，則將鍵和特殊空值存入緩存，并設(shè)置過(guò)期時(shí)間。

(d)數(shù)據(jù)庫(kù)查詢非空：如果數(shù)據(jù)庫(kù)查詢結(jié)果非空，則將實(shí)際結(jié)果存入緩存（或覆蓋空緩存），并設(shè)置正常過(guò)期時(shí)間。

(e)釋放鎖：釋放之前獲取的分布式鎖。

(f)返回結(jié)果：返回?cái)?shù)據(jù)庫(kù)查詢結(jié)果。

(5)獲取鎖失?。寒?dāng)前請(qǐng)求未能獲取鎖。

(a)選擇策略：

策略一（等待）：等待一段時(shí)間后重試緩存查詢或直接返回空結(jié)果。

策略二（直接返回空）：直接返回一個(gè)預(yù)設(shè)的空結(jié)果或錯(cuò)誤碼，提示數(shù)據(jù)不存在。這種方式犧牲了一定的準(zhǔn)確性，但能快速響應(yīng)。

3.優(yōu)點(diǎn)：

防止寫(xiě)入風(fēng)暴：能有效防止多個(gè)并發(fā)請(qǐng)求對(duì)同一個(gè)不存在的鍵進(jìn)行數(shù)據(jù)庫(kù)寫(xiě)入，避免不必要的緩存寫(xiě)入和網(wǎng)絡(luò)流量。

保證一致性（寫(xiě)入端）：確保只有一個(gè)請(qǐng)求為某個(gè)不存在的鍵寫(xiě)入空緩存，避免了重復(fù)寫(xiě)入。

4.缺點(diǎn)：

增加系統(tǒng)復(fù)雜度：需要引入分布式鎖機(jī)制，增加了系統(tǒng)的架構(gòu)復(fù)雜度和運(yùn)維成本。

可能造成請(qǐng)求延遲：請(qǐng)求需要等待鎖的釋放，在高并發(fā)場(chǎng)景下可能導(dǎo)致明顯的延遲增加。

鎖資源競(jìng)爭(zhēng)：如果系統(tǒng)中有大量不存在的數(shù)據(jù)，可能會(huì)產(chǎn)生大量的鎖競(jìng)爭(zhēng)，降低系統(tǒng)吞吐量。

死鎖風(fēng)險(xiǎn)：雖然概率較低，但不當(dāng)?shù)逆i使用可能導(dǎo)致死鎖問(wèn)題。

（四）熱點(diǎn)數(shù)據(jù)加防穿透機(jī)制

1.原理：系統(tǒng)中的數(shù)據(jù)通常存在訪問(wèn)頻率上的差異，某些數(shù)據(jù)（熱點(diǎn)數(shù)據(jù)）被頻繁訪問(wèn)。對(duì)于這些熱點(diǎn)數(shù)據(jù)，可以采取更積極的策略來(lái)確保其可訪問(wèn)性，并結(jié)合防穿透機(jī)制。即使發(fā)生穿透，由于是熱點(diǎn)數(shù)據(jù)，系統(tǒng)也更有意愿投入資源保證其快速響應(yīng)。

2.實(shí)現(xiàn)：

(1)識(shí)別熱點(diǎn)數(shù)據(jù)：通過(guò)監(jiān)控、日志分析或業(yè)務(wù)特性分析，識(shí)別出系統(tǒng)中的熱點(diǎn)數(shù)據(jù)集或高訪問(wèn)頻率的鍵值。

(2)優(yōu)先緩存熱點(diǎn)數(shù)據(jù)：對(duì)于識(shí)別出的熱點(diǎn)數(shù)據(jù)，設(shè)置非常長(zhǎng)的緩存過(guò)期時(shí)間（如幾小時(shí)甚至永久，根據(jù)業(yè)務(wù)場(chǎng)景定），并優(yōu)先加載到緩存中。