深信服超融合HCI產(chǎn)品技術(shù)白皮書密級：公開文檔版本01（2022-08-29）深信服超融合HCI技術(shù)白皮書產(chǎn)品版本HCI6.8.1文檔版本1.0發(fā)布日期2023.02.13深信服科技股份有限公司版權(quán)聲明版權(quán)所有?深信服科技股份有限公司2022。保留一切權(quán)利（包括但不限于修訂、最終解釋權(quán)）。除非深信服科技股份有限公司（以下簡稱“深信服公司”）另行聲明或授權(quán)，否則本文件及本文件的相關(guān)內(nèi)容所包含或涉及的文字、圖像、圖片、照片、音頻、視頻、圖表、色彩、版面設(shè)計等的所有知識產(chǎn)權(quán)（包括但不限于版權(quán)、商標權(quán)、專利權(quán)、商業(yè)秘密等）及相關(guān)權(quán)利，均歸深信服公司或其關(guān)聯(lián)公司所有。未經(jīng)深信服公司書面許可，任何人不得擅自對本文件及其內(nèi)容進行使用（包括但不限于復制、轉(zhuǎn)載、摘編、修改、或以其他方式展示、傳播等）。特別提示您購買的產(chǎn)品、服務(wù)或特性等應(yīng)受深信服科技股份有限公司商業(yè)合同和條款的約束，本文檔中描述的全部或部分產(chǎn)品、服務(wù)或特性可能不在您的購買或使用范圍之內(nèi)。除非合同另有約定，深信服科技股份有限公司對本文檔內(nèi)容不做任何明示或默示的聲明或保證。由于產(chǎn)品版本升級或其他原因，本文檔內(nèi)容會不定期進行更新，如有變更，恕不另行通知。除非另有約定，本文檔僅作為使用指導，本文檔中的所有陳述、信息和建議不構(gòu)成任何明示或暗示的擔保，深信服科技股份有限公司不對本文檔中的遺漏、變更及錯誤所導致的損失和損害承擔任何責任。聯(lián)系我們售前咨詢熱線：400-806-6868售后服務(wù)熱線：400-630-6430（中國大陸）深信服科技官網(wǎng)：

文檔說明本文檔是深信服超融合HCI產(chǎn)品介紹材料，包括產(chǎn)品架構(gòu)、主要功能、典型應(yīng)用場景等介紹，旨在幫助一線銷售、售前、技術(shù)支持等人員了解產(chǎn)品，達成熟悉產(chǎn)品和應(yīng)用場景的效果。修訂記錄修訂記錄累積了每次文檔更新的說明。最新版本的文檔包含以前所有文檔版本的更新內(nèi)容。日期文檔版本備注2023-02-13V1.0符號說明在本文中可能出現(xiàn)下列標志，它們所代表的含義如下。圖形文字使用原則危險若用戶忽略危險標志，可能會因誤操作發(fā)生危害人身安全、環(huán)境安全等嚴重后果。警告該標志后的注釋需給予格外的關(guān)注，不當?shù)牟僮骺赡軙o人身造成傷害。小心若用戶忽略警告標志，可能會因誤操作發(fā)生嚴重事故（如損壞設(shè)備）或人身傷害。注意提醒操作中應(yīng)注意的事項，不當?shù)牟僮骺赡軙е略O(shè)置無法生效、數(shù)據(jù)丟失或者設(shè)備損壞。。說明對操作內(nèi)容的描述進行必要的補充和說明。在本文中會出現(xiàn)圖形界面格式，它們所代表的含義如下。文字描述代替符號舉例窗口名、菜單名等方括號“[]”彈出[新建用戶]窗口。選擇[系統(tǒng)設(shè)置/接口配置]。按鈕名、鍵名尖括號“<>”單擊<確定>按鈕。目錄1. 產(chǎn)品概述 91.1. 超融合介紹 91.2. 深信服超融合演進 102. 客戶價值 113. 超融合整體架構(gòu)設(shè)計 123.1. 架構(gòu)設(shè)計原理 123.1.1. 分層設(shè)計 123.1.2. 組件解耦和服務(wù)化 133.1.3. 服務(wù)云原生容器化 153.2. 功能架構(gòu)設(shè)計 153.3. VDI和HCI融合架構(gòu) 163.3.1. 融合部署場景 173.3.2. 桌面即服務(wù)（DaaS）場景 183.4. 產(chǎn)品兼容性 194. 超融合關(guān)鍵技術(shù) 204.1. 計算虛擬化aSV 204.1.1. 技術(shù)概述 204.1.2. 功能/特性架構(gòu)圖 264.1.3. 資源管理 274.1.4. 數(shù)據(jù)保護 374.1.5. 故障預防與處理 514.1.6. 性能優(yōu)化 614.1.7. 業(yè)務(wù)部署 654.2. 存儲虛擬化aSAN 784.2.1. 技術(shù)概述 784.2.2. aSAN產(chǎn)品架構(gòu) 784.2.3. 數(shù)據(jù)存儲流程 814.2.4. 高性能 824.2.5. 高可靠 984.2.6. 智能運維 1264.2.7. 存儲高級特性 1344.2.8. 延伸集群 1444.3. 網(wǎng)絡(luò)虛擬化aNET 1504.3.1. 技術(shù)概述 1504.3.2. aNET架構(gòu)設(shè)計 1514.3.3. 多集群大二層網(wǎng)絡(luò) 1634.3.4. 網(wǎng)絡(luò)部署能力 1644.3.5. 虛擬網(wǎng)元設(shè)備 1804.3.6. 網(wǎng)絡(luò)流量轉(zhuǎn)發(fā)功能 1834.3.7. 網(wǎng)絡(luò)可視化 1954.3.8. 流量鏡像 1964.3.9. 網(wǎng)絡(luò)運維功能 1984.4. 安全虛擬化aSEC 2034.4.1. 技術(shù)概述 2034.4.2. 安全防護架構(gòu) 2044.4.3. 云安全中心（內(nèi)建安全） 2074.4.4. NFV組件 2144.4.5. 東西向分布式防火墻 2214.5. 超融合管理 2234.5.1. 超融合管理概述 2234.5.2. 集群管理 2244.5.3. 運維管理 2284.5.4. 集群升級 2344.5.5. 平臺管理安全 2374.5.6. 開放性支持 2454.6. 災備技術(shù)架構(gòu) 2464.6.1. 容災方案總述 2474.6.2. 容災流程 2484.6.3. 業(yè)務(wù)可靠性分級 2534.6.4. 容災技術(shù)特性 2554.6.5. 云備份 2594.6.6. 異構(gòu)災備 2614.7. 云管平臺SCP 2625. 信創(chuàng)架構(gòu)關(guān)鍵技術(shù) 2645.1. ARM和X86同架構(gòu) 2645.2. 產(chǎn)品性能增強 2655.2.1. 網(wǎng)絡(luò)親和調(diào)度優(yōu)化 2655.2.2. 內(nèi)存讀緩存 2665.2.3. CPU調(diào)度負載均衡優(yōu)化 2675.2.4. 網(wǎng)卡隊列和中斷綁定優(yōu)化 2685.2.5. PAT優(yōu)化 2695.3. 產(chǎn)品可靠性增強 2705.3.1. 通用IO處理增強 2705.3.2. 文件系統(tǒng)優(yōu)化增強 2715.3.3. 內(nèi)核核心模塊增強 2725.3.4. 增強型功能合入 2735.3.5. 外設(shè)驅(qū)動適配增強 2755.4. 平滑升級能力 2765.4.1. C86架構(gòu)平滑升級 2766. 超融合解決方案 2796.1. 業(yè)務(wù)場景解決方案概述 2796.2. 信創(chuàng)國產(chǎn)化解決方案 2796.2.1. 業(yè)務(wù)場景與挑戰(zhàn) 2796.2.2. 解決方案架構(gòu) 2806.2.3. 客戶價值 2816.3. 數(shù)據(jù)中心解決方案 2826.3.1. 業(yè)務(wù)場景與挑戰(zhàn) 2826.3.2. 解決方案架構(gòu)及優(yōu)勢 2826.3.3. 客戶價值 2846.4. 容災解決方案 2846.4.1. 業(yè)務(wù)場景與挑戰(zhàn) 2846.4.2. 解決方案架構(gòu)及優(yōu)勢 2856.4.3. 客戶價值 2866.5. 數(shù)據(jù)庫管理解決方案 2866.5.1. 業(yè)務(wù)場景與挑戰(zhàn) 2866.5.2. 解決方案架構(gòu)及優(yōu)勢 2876.5.3. 客戶價值 2886.6. 虛擬化替換解決方案 2896.6.1. 業(yè)務(wù)場景與挑戰(zhàn) 2896.6.2. 解決方案架構(gòu) 2906.6.3. 客戶價值 2916.7. GPU場景解決方案 2926.7.1. 業(yè)務(wù)場景與挑戰(zhàn) 2926.7.2. 解決方案架構(gòu)及優(yōu)勢 2926.7.3. 客戶價值 2936.8. VDI場景解決方案 2946.8.1. 業(yè)務(wù)場景與挑戰(zhàn) 2946.8.2. 解決方案架構(gòu)及優(yōu)勢 2956.8.3. 客戶價值 2967. 附錄：縮略語與名詞 297產(chǎn)品概述超融合介紹在傳統(tǒng)IT環(huán)境下，應(yīng)用和資源是緊耦合的，使得底層架構(gòu)缺乏彈性，業(yè)務(wù)轉(zhuǎn)型帶來業(yè)務(wù)數(shù)量增加、用戶數(shù)量快速遞增，IT資源無法快速靈活的隨之增長；業(yè)務(wù)部署緩慢，傳統(tǒng)數(shù)據(jù)中心整體架構(gòu)復雜、設(shè)備種類多，新業(yè)務(wù)從方案設(shè)計、集成部署到最終的運營上線，需要長則數(shù)月的時間；運維管理困難也是一直存在的挑戰(zhàn)，數(shù)據(jù)中心設(shè)備繁雜、品牌不一，使得IT部門很難對基礎(chǔ)設(shè)施執(zhí)行統(tǒng)一監(jiān)控和管理；當前IT資源的利用率普遍較低，多數(shù)設(shè)備資源利用率不足20%，除部分數(shù)據(jù)中心應(yīng)用了計算虛擬化，存儲、網(wǎng)絡(luò)、安全仍采用物理設(shè)備部署，導致建設(shè)成本高昂。最重要的是，IT部門將大部分精力投入到基礎(chǔ)架構(gòu)的維護中，而無法過多的關(guān)注信息化和業(yè)務(wù)結(jié)合的創(chuàng)新，失去了在業(yè)務(wù)轉(zhuǎn)型過程中的核心價值。深信服緊密圍繞客戶價值需求，推出超融合解決方案，首先在基礎(chǔ)架構(gòu)層面，我們以超融合管理和分布式存儲等軟件能力為核心，實現(xiàn)了只用通用的X86服務(wù)器和二三層交換機，通過完全軟件定義的方式實現(xiàn)云基礎(chǔ)架構(gòu)；進一步的，我們?yōu)闃I(yè)界首家構(gòu)建了云內(nèi)建安全的能力，實現(xiàn)了業(yè)務(wù)上線即安全。在管理層面，我們通過云管平臺實現(xiàn)底層云基礎(chǔ)架構(gòu)和上層應(yīng)用的緊密融合。因此，深信服超融合解決方案是數(shù)據(jù)中心基礎(chǔ)設(shè)施簡易交付、高效運維、向云化演進的最佳路徑。深信服超融合云平臺產(chǎn)品架構(gòu)包括虛擬化產(chǎn)品、超融合HCI、云管理平臺SCP，其中超融合產(chǎn)品由計算虛擬化aSV、存儲虛擬化aSAN、網(wǎng)絡(luò)虛擬化aNET、安全虛擬化aSEC組成，云管理平臺搭建在超融合平臺之上，承載多HCI集群的管理運維工作，并具有可靠中心、安全中心、監(jiān)控中心、納管第三方資源等高級運維功能。深信服超融合不斷圍繞穩(wěn)定可靠、性能卓越、安全有效和智能便捷四個方面打造產(chǎn)品，能夠承載用戶數(shù)字化轉(zhuǎn)型過程中的各種類型業(yè)務(wù)，可滿足不同客戶數(shù)據(jù)中心建設(shè)和管理需求。隨著信息技術(shù)應(yīng)用創(chuàng)新產(chǎn)業(yè)的不斷發(fā)展和推進，越來越多的客戶在構(gòu)建自主可控的IT基礎(chǔ)設(shè)施，深信服超融合作為面向下一代數(shù)據(jù)中心的軟件定義基礎(chǔ)架構(gòu)，從一開始就立足自主研發(fā)，打造全棧自主可控的超融合架構(gòu)。通過軟件定義的方式實現(xiàn)ARM和C86架構(gòu)的資源池化，提供計算、存儲、網(wǎng)絡(luò)和云內(nèi)安全等資源，提高了資源的利用率與靈活性。兼容飛騰/鯤鵬/海光等8款國產(chǎn)CPU，與50多家國產(chǎn)服務(wù)器/數(shù)據(jù)庫/中間件/應(yīng)用系統(tǒng)廠商進行廣泛適配與方案開發(fā)，打造完善的信創(chuàng)生態(tài)。深信服超融合演進超融合系統(tǒng)正在成為多云世界的“支柱”，與混合云的需求保持一致?，F(xiàn)代融合解決方案允許組織利用標準化、軟件定義和高度自動化的數(shù)據(jù)中心基礎(chǔ)設(shè)施。超融合是無縫多云世界的“本地支柱”，存儲、網(wǎng)絡(luò)和計算的基礎(chǔ)設(shè)施孤島已不能滿足云時代和數(shù)字化轉(zhuǎn)型的需求。深信服正著力打造線上線下一朵云，產(chǎn)品演進將沿著以下路徑進行：云端智能大腦：通過AI智能預測潛在隱患，對于發(fā)現(xiàn)的嚴重風險自動推送工單給深信服認證工程師，深信服認證工程師根據(jù)云端智能大腦的處置建議進行處置。后續(xù)還會往自動巡檢和調(diào)優(yōu)的方向進行演進。線下到線上容災（DRaaS）：將本地數(shù)據(jù)中心的業(yè)務(wù)容災到線上托管云上，避免本地數(shù)據(jù)中心出現(xiàn)災難時導致業(yè)務(wù)長時間中斷甚至數(shù)據(jù)丟失。DRaaS最短可實現(xiàn)秒級RPO，同時支持不停機容災演練等。業(yè)務(wù)混合部署：打造業(yè)務(wù)混合部署，將彈性業(yè)務(wù)上云，實現(xiàn)本地高可靠，云上高保障。同時云上提供完備的安全和等保服務(wù)，保障客戶業(yè)務(wù)的安全合規(guī)。同構(gòu)融合云：向同構(gòu)融合云演進，對于線上線下資源統(tǒng)一管理，統(tǒng)一安全策略，真正實現(xiàn)線上線下一朵云。圖1.2SEQ圖\*ARABIC\s11超融合演進過程客戶價值穩(wěn)定可靠當超融合承載了越來越多的核心業(yè)務(wù)，超融合平臺的穩(wěn)定可靠變得尤為重要。深信服超融合平臺從多個維度構(gòu)建整體的穩(wěn)定可靠。首先云管理平臺及超融合集群本身基于分布式架構(gòu)構(gòu)建以保證在單節(jié)點故障的情況下云管理平臺的穩(wěn)定；其次，針對不可避免的硬件靜默錯誤云管理平臺通過完善的監(jiān)測與屏蔽機制保障業(yè)務(wù)不受其影響；再次，云管理平臺可以提供災備能力，以及基于災備能力的災備管理功能。性能卓越隨著超融合被越來越多的用于承載核心業(yè)務(wù)系統(tǒng)，對超融合的性能要求越來越高。深信服超融合的高性能設(shè)計覆蓋計算、存儲、網(wǎng)絡(luò)、管理多個維度。以分布式存儲為例，自研的存儲引擎經(jīng)過8年的性能調(diào)優(yōu)積累大量的技術(shù)，如IO條帶化/IO本地化/IO無鎖流水線/跨NUMA智能調(diào)度等，3節(jié)通用服務(wù)器+NVMeSDD可達百萬IOPS的存儲能力，數(shù)據(jù)庫承載場景性能超越業(yè)內(nèi)分布式存儲30%以上，媲美高端存儲陣列。安全有效 安全已成為繼計算、網(wǎng)絡(luò)、存儲之后的第四大基礎(chǔ)設(shè)施。深信服為業(yè)內(nèi)首家構(gòu)建云平臺內(nèi)建安全能力，通過內(nèi)建安全可以實現(xiàn)業(yè)務(wù)上線即安全，避免復雜的安全管理或由于失誤導致的安全風險。而且內(nèi)建安全具備“上帝視角”，可以清晰的感知流量走向和業(yè)務(wù)間的安全關(guān)系，安全效果更好。智能便捷深信服超融合的智能便捷，不是僅優(yōu)化某一個功能，而是面向客戶平臺管理的整個流程做到省心便捷。深信服超融合提供全生命周期的省心便捷能力，從業(yè)務(wù)遷移到超融合、業(yè)務(wù)上線配置、業(yè)務(wù)運行監(jiān)控可視化、各類故障排障、平滑擴容的全業(yè)務(wù)流程提供優(yōu)化機制，減輕客戶覆蓋，提高管理效率。同時深信服超融合提供云端智能大腦，幫助用戶快速發(fā)現(xiàn)風險并及時處置，降低風險對客戶業(yè)務(wù)的影響。自主可信通過深信服自主研發(fā)打造的基于ARM和X86超融合架構(gòu)，幫忙客戶構(gòu)建全棧自主可信的數(shù)據(jù)中心IT基礎(chǔ)設(shè)施。利用深信服全面構(gòu)筑的從CPU、操作系統(tǒng)、到數(shù)據(jù)庫、中間件、行業(yè)應(yīng)用等豐富信創(chuàng)生態(tài)，幫助客戶建設(shè)自主可信的業(yè)務(wù)數(shù)字化承載平臺。超融合整體架構(gòu)設(shè)計云計算以其服務(wù)化、平臺化的理念獲得了越來越多客戶的青睞，對數(shù)據(jù)本地化有嚴格要求的客戶會選擇私有云模式建設(shè)云平臺，要求支持大型規(guī)模的資源池，兼容管理傳統(tǒng)IT硬件以及原有虛擬化資源，以及支持開放接口對接客戶現(xiàn)有的管理運維系統(tǒng)，對高可靠性和容災要求也非常高。同時公有云的云服務(wù)模式可以大幅減少客戶IT運維成本，用戶的IT基礎(chǔ)設(shè)施托付給云服務(wù)廠商負責，用戶可以更多的聚焦在業(yè)務(wù)創(chuàng)新和研發(fā)上，云服務(wù)資源支持靈活、快速、按需擴展，支持質(zhì)量更優(yōu)的帶寬接入，并且能夠更加方便的獲得各類高階服務(wù)如數(shù)據(jù)庫、數(shù)據(jù)分析、平臺即服務(wù)、以及人工智能服務(wù)等。深信服超融合架構(gòu)全面擁抱云戰(zhàn)略，支持中大規(guī)模的云資源池建設(shè)，從2臺節(jié)點到數(shù)百臺節(jié)點靈活擴展，支持全局性的資源管理和高級服務(wù)如HA、容災等等；同時，以同一套成熟架構(gòu)支持深信服托管云-云服務(wù)模式，支持客戶以自助服務(wù)的模式在云上快速構(gòu)建基礎(chǔ)設(shè)施以及建立高安全基線平臺，統(tǒng)一架構(gòu)支持混合云架構(gòu)演進，并且隨著各類高階服務(wù)的增強，不斷助力客戶的數(shù)字化轉(zhuǎn)型。架構(gòu)設(shè)計原理分層設(shè)計在設(shè)計“軟件定義數(shù)據(jù)中心”時，可以將數(shù)據(jù)中心的架構(gòu)分為幾個層次，分層設(shè)計的好處在于每一層的服務(wù)和架構(gòu)，雖然依賴于下一層的設(shè)施，但是均是以共同或業(yè)界標準接口來交互，因此可以做到依賴卻又獨立。這種“松耦合”的IT架構(gòu)，在更新迭代上可以更加彈性，也避免因為技術(shù)更新，而造成必須摒棄所有設(shè)備，重復投資。同時也可以將資源集中成為資源池，服務(wù)集中成為服務(wù)平臺，有效避免傳統(tǒng)分散化架構(gòu)所導致的數(shù)據(jù)、資源、服務(wù)無法有效共享、效率低下的問題。因此，在構(gòu)建軟件定義數(shù)據(jù)中心時，為了能滿足上層類型多樣化的應(yīng)用，以及中間平臺服務(wù)層的穩(wěn)定可靠需求，基礎(chǔ)設(shè)施層的選擇至關(guān)重要。深信服超融合從架構(gòu)上分為三層，分層架構(gòu)示意圖如下：圖3.11超融合演進過程物理硬件層：包括計算、存儲、網(wǎng)絡(luò)設(shè)備，一體機、外置設(shè)備等等。虛擬化層：包括計算虛擬化aSV、存儲虛擬化aSAN、網(wǎng)絡(luò)虛擬化aNET、安全虛擬化aSEC。資源服務(wù)層：包括虛機、存儲卷、網(wǎng)絡(luò)單元等虛擬化資源的生命周期管理。 后續(xù)章節(jié)將對計算虛擬化aSV、存儲虛擬化aSAN、網(wǎng)絡(luò)虛擬化aNET、安全虛擬化aSEC進行介紹。組件解耦和服務(wù)化超融合平臺在不斷發(fā)展的過程中，可能會遇到下面幾種情況：數(shù)據(jù)到處都有：如果系統(tǒng)彼此獨立，那么相同或類似的數(shù)據(jù)會分散存儲。系統(tǒng)體積龐大：如果功能都集中在一個系統(tǒng)中，那么這個系統(tǒng)將擁有太多的功能，造成項目代碼過多，維護、迭代、發(fā)布也會變得困難。代碼到處拷貝：相同邏輯的代碼，會分布在多個系統(tǒng)中；更嚴重的是代碼與數(shù)據(jù)的耦合度太高，不易于擴展。代碼質(zhì)量無法保障，系統(tǒng)/模塊之間相互影響，不利于升級維護。通過組件服務(wù)化設(shè)計，把高度相關(guān)的功能單獨做一個系統(tǒng)，并且把相關(guān)的操作通過接口的方式暴露出來。這種設(shè)計的好處是：業(yè)務(wù)邏輯集中、可復用。一個功能，只需要一處實現(xiàn)，其他系統(tǒng)只需要調(diào)用接口。如果是RPC的方式實現(xiàn)，就像調(diào)用本地的一個方法一樣。調(diào)用方不需要關(guān)心具體業(yè)務(wù)邏輯是如何實現(xiàn)的。屏蔽了底層復雜度。用不用緩存，數(shù)據(jù)的具體存儲，對調(diào)用方來說，都是黑盒。超融合內(nèi)部組件服務(wù)化實質(zhì)是將獨立的場景通過標準服務(wù)的方式進行設(shè)計和維護，主要原理見下圖：圖3.12組件服務(wù)化過程服務(wù)拆分的過程實際上是從業(yè)務(wù)耦合的部分出發(fā)，將計算、存儲和網(wǎng)絡(luò)相互之間的依賴通過各自新增的服務(wù)接口來實現(xiàn)去耦合，好處就是接口規(guī)范化后，組件間相互獨立演進、獨立升級和維護，不影響其他組件工作，這一點在熱升級的場景尤為關(guān)鍵。基于上圖的思路，超融合的服務(wù)劃分架構(gòu)如下圖所示。圖3.13超融合服務(wù)架構(gòu)這里的服務(wù)接口是通過接口描述語言描述的一組操作及其參數(shù)的集合，同時兼顧分層設(shè)計，將接口暴露劃分等級。具體如下：PublicAPI：為超融合底層提供服務(wù)給上層應(yīng)用，包括：Web界面、CLI。其他場景服務(wù)如VDC、SCP的邊界，通過超融合內(nèi)置的API網(wǎng)關(guān)提供服務(wù)。PrivateAPI：主要服務(wù)于組件之間的依賴和業(yè)務(wù)組合，便于基于接口設(shè)計和快速原型化場景等。InternalAPI：專門在組件內(nèi)部起作用，支持組件自身的架構(gòu)和功能演進。服務(wù)云原生容器化服務(wù)容器化主要是將各個組件及其模塊按照各自獨立的容器鏡像進行打包，利用容器一次打包、到處運行的好處，保證開發(fā)、測試和交付的一致性。此外，因為容器鏡像成為拆分服務(wù)的粒度，利于像部署和升級這樣的復雜場景可以基于啟停、編排容器來完成。因為各容器的運行時是相互隔離的，杜絕了共享母鏡像的沖突和依賴，在服務(wù)層屏蔽了內(nèi)部實現(xiàn)。包括依賴庫、代碼都可以做到不同容器之間相互不影響。超融合底層服務(wù)容器化借助容器生命周期管理、容器本地壓縮鏡像管理來支撐組件的管理。對于超融合軟件，根據(jù)服務(wù)容器化粒度可以簡單地劃分為如下圖：圖3.14服務(wù)容器化架構(gòu)架構(gòu)設(shè)計根據(jù)計算、存儲和網(wǎng)絡(luò)組件自身服務(wù)特性，采取如上圖羅列的容器化粒度。在集群架構(gòu)中，計算、存儲和網(wǎng)絡(luò)采用類似的集群管控面、節(jié)點管控面和節(jié)點數(shù)據(jù)面的劃分。它們?nèi)咧饕菑牟渴鸸?jié)點的類型和承擔的服務(wù)角色不同來劃分的。功能架構(gòu)設(shè)計HCI由aSAN存儲虛擬化、aSV計虛擬化、aNET網(wǎng)絡(luò)虛擬化組件構(gòu)成。從邏輯架構(gòu)上，各個組件可分為管控層和數(shù)據(jù)層，在邏輯上有一個統(tǒng)一的管控層，包括：配置管理、資源管理、監(jiān)控服務(wù)、以及高級功能等主要功能。向上支持通過API與云管理對接，實現(xiàn)云化數(shù)據(jù)中心的管理。配置管理：提供對aSV、aSAN、aNET組件的配置轉(zhuǎn)化和配置下發(fā)，如：拓撲計算、異?；謴汀?shù)據(jù)存儲、分布框架、讀寫路徑等。資源管理：提供對aSV、aSAN、aNET組件的的資源管理，如：節(jié)點管理、存儲容量、網(wǎng)絡(luò)設(shè)備、虛擬機、安全組、角色、用戶的管理等。。監(jiān)控服務(wù)：提供對組件的監(jiān)控服務(wù)，包括：運維監(jiān)控、報表數(shù)據(jù)、告警通知、信息采集、狀態(tài)中心、日志中心等。高級功能：提供如調(diào)度中心、安全中心、容災備份、內(nèi)建安全等能力。管控層分層的好處，能夠提高管理面的管理性能，能夠避免在每個節(jié)點都部署管理層，減少節(jié)點的資源消耗和消息交互。圖3.2-1超融合功能架構(gòu)VDI和HCI融合架構(gòu)VDI和HCI融合場景本質(zhì)上是將虛機桌面的虛擬化管理平臺和HCI超融合平臺做了一次合并，通過開放接口的方式支持虛擬桌面業(yè)務(wù)場景和虛擬化場景的融合。融合架構(gòu)帶來的優(yōu)勢是一個平臺支持兩種業(yè)態(tài)，還能保證各自場景的性價比，從整體上考慮到用戶業(yè)務(wù)混合和場景切換的需求。在架構(gòu)方面同時考慮到私有化部署和托管云上部署這兩個線上和線下場景，在方案上為場景打通提供架構(gòu)保障。融合部署場景在VDI和HCI融合場景下，根據(jù)客戶使用VDI的規(guī)模不同，通常有以下兩種部署場景。1.HCI和VDI不同資源池當客戶VDI用戶規(guī)模大，同時沒有VDI和虛擬機業(yè)務(wù)需要復用GPU等這類需求時，建議VDI和HCI規(guī)劃不同的資源池。典型的場景如三甲醫(yī)院VDI規(guī)模可能上千用戶，HCI和VDI資源的管理員一般是一個，通過采用HCI和VDI不同資源池，上層由SCP云管平臺統(tǒng)一管理，分別提供虛擬機和VDI。這種部署方式帶來的好處就是用戶使用同一個HCI的底座，可以方便的實現(xiàn)統(tǒng)一運維管理，比如升級、擴容等。圖3.31HCI和VDI不同資源池2.HCI和VDI共享資源池當客戶同時存在HCI和VDI需求，并且規(guī)模都不是很大的情況下，建議HCI和VDI共享資源池，提高資源利用率和管理效率。典型的應(yīng)用場景包括：融合辦公場景、GPU資源分時復用場景、專業(yè)測繪場景等。以融合辦公場景為例：企業(yè)辦公虛擬桌面業(yè)務(wù)與業(yè)務(wù)應(yīng)用系統(tǒng)部署在同一個超融合集群，VDI虛擬機與OA、應(yīng)用數(shù)據(jù)庫、文件共享服務(wù)器、企業(yè)門戶服務(wù)器等內(nèi)部業(yè)務(wù)共享計算、存儲與網(wǎng)絡(luò)資源，既實現(xiàn)內(nèi)部業(yè)務(wù)性能優(yōu)化、體驗更流暢，又實現(xiàn)內(nèi)部IT資源的統(tǒng)一運維管理。比如用戶需要30個VDI場景，同時還需要承載10個業(yè)務(wù)系統(tǒng)，使用二合一版本之后，3節(jié)點的服務(wù)器就可滿足要求，成本更低。圖3.32HCI和VDI共享資源池VDC為虛擬桌面控制器，負責在通過SCP云管平臺獲取授權(quán)后，與底層HCI超融合獲取用戶、策略、資源并管理模板和桌面虛擬機。VDI的客戶端則通過這些管理員的配置信息完成終端接入。用戶在使用VDI時的內(nèi)部交互流程如下圖所示。圖3.33融合部署場景下的交互流程SRAP協(xié)議：為深信服自主研發(fā)的高效、安全桌面?zhèn)鬏攨f(xié)議。這里的VDC可以通過虛機部署也可以通過物理機部署，主要看業(yè)務(wù)場景的規(guī)模和性能要求。桌面即服務(wù)（DaaS）場景桌面即服務(wù)DaaS(DesktopasaService)是一種云計算服務(wù)，DaaS的本質(zhì)也是桌面云，只是后端落地方式、交付方式不同。DaaS通過將后端的虛擬桌面基礎(chǔ)架構(gòu)（VDI）托管于第三方云提供商，最終用戶以訂閱付費的形式獲得相關(guān)服務(wù)使用許可，從而向云提供商請求并使用虛擬桌面和虛擬應(yīng)用程序相關(guān)服務(wù)。桌面即服務(wù)(DaaS)方案適用于客戶常規(guī)業(yè)務(wù)與網(wǎng)絡(luò)傳輸、本地業(yè)務(wù)關(guān)聯(lián)性較低的場景，如普通辦公、安全辦公場景。例如，很多中小客戶有桌面上云的需求，但是一般需求不多，單獨采購成本較高，且一次性投入成本很大，用戶難以接受。此外，在競爭激烈的業(yè)務(wù)環(huán)境中，用戶需求不斷變化，工作不再局限于某個場所，而是采用一種“移動化、隨時隨地”的工作方式，員工希望通過任意設(shè)備隨時隨地訪問數(shù)據(jù)和應(yīng)用程序，從而提高工作效率與響應(yīng)速度。桌面即服務(wù)(DaaS)場景與融合部署稍有不同，如下圖所示。圖3.34DaaS場景下的交互流程DaaS作為一個應(yīng)用插件集成在SCP內(nèi)部，二者在用戶資源上有區(qū)分映射，場景的管理入口在托管云上。此外，客戶可能為內(nèi)網(wǎng)與云端桌面服務(wù)的連通性增加專門的AD服務(wù)。產(chǎn)品兼容性為了給客戶提供一體化的服務(wù)體驗，深信服超融合提供各種系列的一體機，包括但不限于：2U/4U服務(wù)器、低中高多檔服務(wù)器、以及適配業(yè)務(wù)需求的全閃存和GPU服務(wù)器等。深信服超融合也廣泛兼容主流服務(wù)器硬件設(shè)備和操作系統(tǒng)。目前支持主流的X86、ARM架構(gòu)CPU，支持600+類型的服務(wù)器；支持Tesla、Quadro、GeForce、TITAN、Ampere等超過20種顯卡類型；超融合上承載的虛擬機支持10多種類型的操作系統(tǒng)。超融合產(chǎn)品具體的兼容性可以登錄信服云兼容性平臺查詢獲取。超融合關(guān)鍵技術(shù)超融合關(guān)鍵技術(shù)主要包括：計算虛擬化aSV、存儲虛擬化aSAN、網(wǎng)絡(luò)虛擬化aNET、安全虛擬化aSEC四大部分，本章后續(xù)內(nèi)容將展開進行介紹。計算虛擬化aSV深信服計算虛擬化aSV采用了裸金屬架構(gòu)的LinuxKVM技術(shù)，在此基礎(chǔ)上，aSV開發(fā)更多高級計算功能，為客戶提供更加實用便捷、自運維、穩(wěn)定可靠、高性能的計算平臺。技術(shù)概述aSV的關(guān)鍵技術(shù)包括：自主研發(fā)的SFFS文件集群系統(tǒng)、內(nèi)核安全加固、以及資源隔離技術(shù)等，為超融合平臺提供可靠安全的基石。Hypervisor架構(gòu)深信服的aSV采用了裸金屬型Hypervisor架構(gòu)中的LinuxKVM虛擬化。圖4.11Hypervisor架構(gòu)KVM是基于硬件虛擬化擴展（Intel

VT）和

QEMU的修改版，KVM屬于Linux內(nèi)核的一個模塊，可以用命令modprobe去加載KVM模塊。加載了該模塊后，才能進一步通過工具創(chuàng)建虛擬機。但是僅有KVM模塊是不夠的。因為用戶無法直接控制內(nèi)核去做事情，還必須有一個運行在用戶空間的工具才行。這個用戶空間的工具，我們選擇了已經(jīng)成型的開源虛擬化軟件QEMU，QEMU也是一個虛擬化軟件，它的特點是可虛擬不同的CPU，比如說在X86的CPU上可虛擬一個power的CPU，并可利用它編譯出可運行在power上的程序。QEMU工作在用戶態(tài)（Usermode、cpuring3），提供外設(shè)的模擬、vCPU模擬、主控邏輯、IO收發(fā)等，當GuestOS需要發(fā)送IO請求或者網(wǎng)絡(luò)包時，都需要調(diào)用vm_exit讓QEMU協(xié)助實現(xiàn)。一個普通的linux進程有兩種運行模式：內(nèi)核模式和用戶模式。內(nèi)核模式（KernelMode）一般運行在Ring0上，用戶模式（UserMode）一般運行在Ring3上。對于一個Linux系統(tǒng)來說，Linux內(nèi)核為內(nèi)核模式程序，它可以直接管理所有的物理設(shè)備、外設(shè)；而Linux系統(tǒng)上的服務(wù)，如Apache，則為用戶模式程序，它需要使用內(nèi)核提供的接口，才能提供服務(wù)。KVM使用了QEMU的一部分，并稍加改造，就成了可控制KVM的用戶空間工具了；這就是KVM和QEMU的關(guān)系。如下圖：圖4.12KVM與QEMUKVM在內(nèi)核和用戶模式上增加了第三種模式：客戶模式（有自己的內(nèi)核和用戶模式），在KVM模型中，每一個虛擬機都是由linux調(diào)度程序管理的標準進程。總體來說，KVM由兩個部分組成：一個是管理虛擬硬件的設(shè)備驅(qū)動，該驅(qū)動使用字符設(shè)備/dev/kvm作為管理接口；另一個是模擬PC硬件的用戶空間組件，這是一個稍作修改的QEMU進程。SFFS文件集群系統(tǒng) 超融合架構(gòu)下，一個集群由多臺物理主機構(gòu)成，要保障業(yè)務(wù)的高可用，需支持用戶使用SAN存儲進行數(shù)據(jù)存儲，因此需要選擇合適的文件系統(tǒng)針對這些外置存儲進行容量管理。SFFS文件系統(tǒng)全稱Sangforfilesystem，是深信服針對虛擬化場景主要用于保存虛擬機鏡像文件和虛擬機配置文件研發(fā)的特殊集群文件系統(tǒng)，不作為通用文件系統(tǒng)。SFFS的整體結(jié)構(gòu)如圖所示：圖4.13SFFS文件系統(tǒng)結(jié)構(gòu)1.SFFS有以下幾個主要特點：多個主機可以同時掛載同一個共享磁盤，同時使用。2個主機之間是平等的，不需要主控。能自動檢測掛載主機掉線，并釋放該主機占用的資源。支持文件系統(tǒng)在線擴充。和主機的集群無關(guān)。2.SFFS的特殊限制：文件系統(tǒng)大小——(2^64-1)Bytes單文件大小——單文件大小最大256TB文件名長度——單級文件名最大長度為100字節(jié)。支持的文件類型——常規(guī)文件、目錄和軟鏈接3種類型的文件。目錄下文件數(shù)量——8192個文件（包括"."和".."）。SFFS文件系統(tǒng)的優(yōu)點：在多個主機之間建立集群文件系統(tǒng)，確保多主機可以同時訪問外置存儲，而不會相互影響。相對于本地文件系統(tǒng)（如ext3、ntfs），SFFS可以保證多個主機在訪問外置存儲的時候提供鎖保護機制。內(nèi)核安全加固超融合HCI底層系統(tǒng)平臺使用Linux系統(tǒng)，為保證設(shè)備的安全，必須對Linux操作系統(tǒng)進行基礎(chǔ)的安全配置，基礎(chǔ)安全配置的主要內(nèi)容如下：最小化服務(wù)：禁用多余或危險的系統(tǒng)后臺進程和服務(wù)，如郵件代理、圖形桌面、telnet、編譯工具等。服務(wù)加固：對SSH等常用服務(wù)進行安全加固。內(nèi)核參數(shù)調(diào)整：修改內(nèi)核參數(shù)，增強操作系統(tǒng)安全性，如禁用IP轉(zhuǎn)發(fā)。文件目錄權(quán)限設(shè)置：結(jié)合業(yè)界加固規(guī)范及應(yīng)用要求，保證文件權(quán)限最小化。帳號口令安全：啟動口令復雜度檢查、密碼有效期、登錄失敗重試次數(shù)等。系統(tǒng)認證和授權(quán)：root用戶采用平臺admin管理員賬號結(jié)合廠商授權(quán)碼綁定的方案，任何人需要登錄HCI后臺都必須同時獲得廠商和用戶的共同授權(quán)。日志和審計：記錄服務(wù)、內(nèi)核進程運行日志，在HCI后臺均有黑匣子進行記錄，需要時候，可以通過黑匣子回溯系統(tǒng)發(fā)生的一切行為。通過上述加固，平臺以最小功能集合運行，保證整個平臺安全可信賴、過程可追溯。虛擬機之間資源隔離超融合HCI采用多種技術(shù)對數(shù)據(jù)進行隔離，包含：虛擬機網(wǎng)絡(luò)通信層面、虛擬機運行內(nèi)存層面、數(shù)據(jù)IO和鏡像層面的隔離。虛擬機網(wǎng)絡(luò)通信層面虛擬機發(fā)出的網(wǎng)絡(luò)數(shù)據(jù)包，會經(jīng)過vSwitch（虛擬交換機）進行數(shù)據(jù)轉(zhuǎn)發(fā)，vSwitch具有完備的數(shù)據(jù)隔離和防護機制。虛擬機運行內(nèi)存層面超融合HCI的計算虛擬化技術(shù)基于QEMU-KVM架構(gòu)進行開發(fā)，平臺底層操作系統(tǒng)為SangforOS系統(tǒng)，該系統(tǒng)是基于社區(qū)的linux系統(tǒng)，運行邏輯如下圖：圖4.14虛擬機運行邏輯架構(gòu)虛擬機對于宿主機（HostOS）而言是一個QEMU進程，與其他普通的linuxapplication一樣有獨立的進程空間，結(jié)合linux（HostOS）的進程隔離機制和X86服務(wù)器提供的內(nèi)存頁表映射（VT-X/EPT）訪問機制（VT-X/EPT直接在硬件上支持虛擬機內(nèi)存的邏輯地址->虛擬機內(nèi)存的物理地址->物理服務(wù)器內(nèi)存的物理地址的兩次轉(zhuǎn)換），從宿主機操作系統(tǒng)和底層硬件機制上，保證各虛擬機只能訪問自己空間內(nèi)的內(nèi)存地址，從而實現(xiàn)了各虛擬機的空間隔離。虛擬機IO和鏡像層面與虛擬機的內(nèi)存隔離實現(xiàn)機制類似，每個虛擬機進程在宿主機（HostOS）層面都有對應(yīng)的虛擬機鏡像文件存在，這些虛擬機鏡像以QCOW2格式存放于服務(wù)器的磁盤中，彼此之間相互獨立、隔離。圖4.15虛擬機運行邏輯圖-IO與鏡像服務(wù)進程內(nèi)存隔離超融合平臺上運行有平臺管理服務(wù)、存儲服務(wù)、網(wǎng)絡(luò)服務(wù)和計算服務(wù)。服務(wù)進程內(nèi)存隔離機制用于隔離這些服務(wù)，避免在內(nèi)存資源上相互影響。例如，當計算服務(wù)內(nèi)存超額配置的情況下，當其運行過程中超過了限額，則不能再使用其他的內(nèi)存資源，保障其他服務(wù)和平臺的穩(wěn)定性不會受到影響。實現(xiàn)原理內(nèi)存隔離基于Linuxcgroups機制，對主機資源進行抽象，形成資源組（一組資源的集合，包括CPU、內(nèi)存、IO等），共分為平臺資源組、存儲資源組、網(wǎng)絡(luò)資源組、計算資源組，通過資源組對相應(yīng)各類服務(wù)進行內(nèi)存資源管理，進而可以限制和保障相應(yīng)服務(wù)的內(nèi)存資源供應(yīng)。圖4.16服務(wù)資源組注意事項內(nèi)存隔離支持計算內(nèi)存超額配置，即允許開啟更多的虛擬機，同時不影響平臺的穩(wěn)定運行。但是過多的虛擬機，會導致虛擬機內(nèi)存競爭，虛擬機內(nèi)存性能降低，導致業(yè)務(wù)卡慢。虛擬機超配大量使用swap且頻繁讀寫場景下，會繼續(xù)導致系統(tǒng)卡慢，此時需要關(guān)閉部分虛擬機來解決。說明：當前僅支持對內(nèi)存的隔離，CPU、網(wǎng)絡(luò)、存儲IO的隔離暫未實現(xiàn)。低版本升級至該功能版本或以上版本后，內(nèi)存管理相關(guān)的高級功能（重要虛擬機內(nèi)存資源保障、內(nèi)存不足告警通知），需要在升級后重啟主機后才能生效。功能/特性架構(gòu)圖aSV的功能特性包括：性能優(yōu)化、故障預防與處理、資源管理、數(shù)據(jù)保護、應(yīng)用部署等5大部分。整個功能模塊如下圖所示：圖4.17asv功能架構(gòu)資源管理為了保證業(yè)務(wù)順利運行，aSV支持豐富的資源管理手段提高業(yè)務(wù)可靠性和資源的有效利用率，主要包括：系統(tǒng)資源自保障、資源預留、DRS、DRX、內(nèi)存氣泡技術(shù)、虛擬機熱遷移等。資源超配在超融合架構(gòu)上，各虛擬機業(yè)務(wù)并非所有時刻占用資源，虛擬機資源使用狀態(tài)是動態(tài)的，空閑狀態(tài)下原先分配的資源是可以被忙碌狀態(tài)的虛擬機所占用；因此，計算資源是支持超配的（超配是指虛擬機分配資源之和大于宿主機可提供資源）。需要注意：宿主機上大量虛擬機的負載都很高時，會嚴重影響虛擬機性能，甚至引起卡頓；因此，超配值需要在合適的額度內(nèi)。CPU超配推薦vCPU數(shù)量不要配置超過2倍CPU線程數(shù)（注意：線程數(shù)不是物理核數(shù)，通常服務(wù)器開啟超線程之后，線程數(shù)是物理核心的2倍）。內(nèi)存超配超融合平臺支持用戶自定義每個物理主機內(nèi)存超配比，推薦是內(nèi)存不超配或者低于120%的超配比，客戶可根據(jù)業(yè)務(wù)實際情況最多超配2倍。圖4.18內(nèi)存超配設(shè)置內(nèi)存超配原理：假設(shè)給虛擬機分配32G內(nèi)存，虛擬機實際占用只了24G，理論上8G（32G-24G=8G）是可以回收的，這回收的部分理論上可以給其他虛擬機用。虛擬的內(nèi)存超配就是在此前提下，借助KSM技術(shù)（沒有安裝VMtools時）或者氣泡內(nèi)存技術(shù)（安裝VMtools時）實現(xiàn)的。物理主機虛擬內(nèi)存包含：物理內(nèi)存（內(nèi)存條）+SWAP分區(qū)（硬盤分區(qū)）；物理內(nèi)存不夠時，系統(tǒng)會根據(jù)配置使用SWAP分區(qū)（超融合平臺上默認設(shè)置“盡量不用SWAP”的策略）。平臺在標準的硬盤情況下大約占用32GB左右內(nèi)存（具體要看配置，詳細參見《資源占用文檔》），主機物理內(nèi)存剩余的可分給虛擬機使用。虛擬機占用內(nèi)存分為兩塊：QEMU進程（約占幾十兆）占用+虛擬機GuestOS占用（虛擬機配置內(nèi)存大?。Ｐ枰⒁?，Linux和Windows內(nèi)存管理的差異：當虛擬機系統(tǒng)為Windows的時候，系統(tǒng)開機時全部“寫零”操作一次。Linux開機不會內(nèi)存置零動作，而有這操作默認是需要用的時候才觸發(fā)分配（所以默認情況下，剛啟動階段linux實際占用內(nèi)存會比windows?。?。說明：內(nèi)存超配的上限是物理內(nèi)存+SWAP大小，此時即使設(shè)置比例也無法超出該上限。系統(tǒng)資源自保障由于超融合平臺自身會占用一定的計算資源，為了保證平臺承載業(yè)務(wù)時的穩(wěn)定和性能，超融合平臺提供系統(tǒng)資源自保障機制：在系統(tǒng)啟動階段，會強制保留平臺運行所需的最基本計算和內(nèi)存資源，避免虛擬機資源過多擠占系統(tǒng)資源，導致整個超融合系統(tǒng)出現(xiàn)異常；根據(jù)用戶開通的超融合平臺組件情況，自適應(yīng)地調(diào)整強制保留的系統(tǒng)資源。系統(tǒng)資源自保障通過資源過載保護機制實現(xiàn)，典型場景為：當超融合平臺運行過多虛擬機時，產(chǎn)生資源過載。資源過載保護機制可以保障在過載場景下，平臺的正常運行和管理。圖4.19資源過載保護機制資源過載保護是基于Linuxcgroups機制，對主機資源進行抽象，形成資源組（一組資源的集合，包括CPU、內(nèi)存、IO等），共分為平臺資源組、存儲資源組、網(wǎng)絡(luò)資源組、計算資源組，通過資源組對相應(yīng)各類服務(wù)進行內(nèi)存資源管理，進而可以限制和保障相應(yīng)服務(wù)的內(nèi)存資源供應(yīng)。

內(nèi)存氣泡 當超融合平臺的內(nèi)存資源被虛擬機占用過多時，需要將非重要虛擬機的空閑內(nèi)存回收，不僅讓內(nèi)存資源利用率更高，還能保證重要業(yè)務(wù)有足夠的內(nèi)存使用，保證了業(yè)務(wù)的連續(xù)性、穩(wěn)定性，以及足夠的性能保護。通常而言，要改變虛擬機占用的內(nèi)存，是要先關(guān)閉虛擬機，修改虛擬機內(nèi)存配置，然后重啟虛擬機才能實現(xiàn)。而超融合平臺內(nèi)存的ballooning（氣泡）技術(shù)可以在虛擬機運行時動態(tài)地調(diào)整它所占用的物理主機內(nèi)存資源，而不需要關(guān)閉虛擬機。該技術(shù)通過給每個虛擬機內(nèi)部分配一個內(nèi)存“氣泡”；被“氣泡”占用的內(nèi)存不能供該虛擬機訪問和使用，但可以被平臺重新分配給其他進程（或者其他虛擬機）使用，內(nèi)存氣泡變大意味著平臺可用內(nèi)存變大；于是平臺就可通過調(diào)整“氣泡”的大小，進行內(nèi)存回收和內(nèi)存分配操作。平臺會綜合考慮內(nèi)存資源回收與虛擬機性能之間的平衡，根據(jù)系統(tǒng)剩余內(nèi)存情況執(zhí)行相應(yīng)的內(nèi)存回收策略。當系統(tǒng)剩余內(nèi)存低于40%時，開始觸發(fā)內(nèi)存回收，每小時進行虛擬機內(nèi)存回收；當系統(tǒng)剩余內(nèi)存低于15%時，每半小時進行虛擬機內(nèi)存回收；當系統(tǒng)剩余內(nèi)存低于5%時，每10分鐘進行虛擬機內(nèi)存回收。內(nèi)存回收過程host機可用內(nèi)存較少，內(nèi)存使用緊張，此時VM1存在空閑內(nèi)存；host機向VM1下發(fā)回收內(nèi)存指令，VM1接收到內(nèi)存回收指令，將空閑內(nèi)存釋放出來，此時VM1的內(nèi)存氣泡吸收這部分內(nèi)存充氣變大，host機可用內(nèi)存增大。圖4.110內(nèi)存氣泡示意圖-內(nèi)存回收內(nèi)存分配過程VM2內(nèi)存不足，請求host分配內(nèi)存，此時壓縮VM2的內(nèi)存氣球，釋放出內(nèi)存氣球中的部分內(nèi)存，讓虛擬機使用更多的內(nèi)存。圖4.111內(nèi)存氣泡示意圖-內(nèi)存釋放使用相對于開源社區(qū)的“氣泡內(nèi)存”方案，aSV平臺還做了如下的優(yōu)化增加安全保護機制在內(nèi)存回收過程中不斷檢查Guest系統(tǒng)剩余內(nèi)存，當剩余內(nèi)存不足100M時，就主動停止回收操作，保障Guest系統(tǒng)的正常運行。增加了自動化回收機制自動化回收機制不再需要Hypervisor的監(jiān)控和處理，實現(xiàn)機制大幅簡化，解決了原方案大規(guī)模場景下Hypervisor調(diào)度壓力大控制策略復雜的問題，能夠適應(yīng)大規(guī)模的部署場景。提高了回收內(nèi)存的效率優(yōu)化了內(nèi)存回收的算法，將內(nèi)存的回收效率提高30倍以上。用戶透明用戶感受不到虛擬機內(nèi)存的變化，即內(nèi)存氣球膨脹和壓縮過程，為用戶提供優(yōu)質(zhì)體驗；解決了原方案中用戶可直接看到虛擬機內(nèi)存突然上升或下降，誤以為系統(tǒng)出現(xiàn)問題，給客戶造成困擾的問題。內(nèi)存頁合并當多個虛擬機并行運行一個業(yè)務(wù)時，存在多虛擬機共享同一個內(nèi)存頁，每個虛擬機開辟一塊內(nèi)存空間存放這部分數(shù)據(jù)，將造成內(nèi)存的極大消耗和浪費。超融合平臺提供內(nèi)核同頁合并KSM（KernelSamePageMerging），即共享內(nèi)存或相同頁內(nèi)存合并技術(shù)，把相同的內(nèi)存頁合并，減少內(nèi)存的浪費，讓物理主機跑更多的虛擬機。KSM讓內(nèi)核定期掃描檢查正在運行中的程序并比較它們的內(nèi)存，如果發(fā)現(xiàn)他們有內(nèi)存區(qū)域或內(nèi)存頁是完全相同的，就將多個相同的內(nèi)存合并為一個單一的內(nèi)存頁，并將其標記為“寫時復制”，這樣可以起到節(jié)省系統(tǒng)內(nèi)存使用量的作用。之后，如果有進程試圖去修改被標識為“寫時復制”的合并的內(nèi)存頁時，就為該進程復制出一個新的內(nèi)存頁供其使用。圖4.112內(nèi)存同頁合并KSM技術(shù)原理如上圖所示，SangforKSM為超融合平臺的KSM處理模塊，它定期掃描虛擬機進程的內(nèi)存頁（圖中privatepage），當發(fā)現(xiàn)有虛擬機進程（圖中的VM）內(nèi)存頁完全相同時就會合并這些內(nèi)存頁面，使他們指向一塊共享的內(nèi)存區(qū)域（圖中的Sharedpages），從而可以釋放出一些內(nèi)存供其他虛擬機使用。通用的KSM技術(shù)在內(nèi)存合并掃描頁面、識別出可合并的頁面的過程會浪費太多時間，相比之下，超融合平臺用了全新的哈希掃描算法，能夠以極快的速度掃描，并合并冗余數(shù)據(jù)，其頁面合并的速度，最高可比原生的KSM快20倍以上。這樣極大提高了工作效率，在提高主機內(nèi)存利用率的同時，還能減少對主機CPU的消耗。動態(tài)資源調(diào)度當虛擬機業(yè)務(wù)壓力激增，導致其運行的物理主機可提供的資源，不足以承載虛擬機業(yè)務(wù)的正常運行時，aSV提供動態(tài)資源調(diào)度DRS（Dynamic

ResourceScheduler）功能，通過監(jiān)控集群中資源池的使用情況，對整個集群的資源情況進行動態(tài)的運算，將資源過載服務(wù)器上的虛擬機熱遷移到資源充足的服務(wù)器上運行，保障集群中業(yè)務(wù)的健康運行狀態(tài)，均衡集群中的主機負載情況。圖4.113動態(tài)資源調(diào)度流程DRS技術(shù)原理：通過跨越集群之間的心跳機制，定時監(jiān)測集群內(nèi)主機的CPU和內(nèi)存等計算資源的利用率，當資源使用情況滿足用戶設(shè)定的閾值、且集群內(nèi)有充分資源的物理主機時，DRS會將該主機上的虛擬機遷移到其他主機上運行。主機資源過載的基準線由用戶自定義，包括CPU過載、內(nèi)存過載的范圍，過載持續(xù)時間，避免造成因DRS導致的業(yè)務(wù)來回切換震蕩，并且用戶可選擇手動和自動進行資源調(diào)度?？蛻艨筛鶕?jù)需求自定義動態(tài)資源調(diào)度策略：調(diào)度方式+衡量因素+敏感度。自動調(diào)度：系統(tǒng)根據(jù)資源負載規(guī)則，自動進行調(diào)度，節(jié)省管理員運維工作量。手動調(diào)度：系統(tǒng)根據(jù)資源負載規(guī)則，給出調(diào)度建議，管理員手動執(zhí)行調(diào)度建議。衡量因素：包括“CPU”和“內(nèi)存”兩種，需要設(shè)置“閾值”。敏感度：有“保守”、“激進”兩種，分別對應(yīng)10分鐘、3分鐘。當主機衡量因素超過閾值的持續(xù)時間達敏感度設(shè)置的時長時，頁面上會出現(xiàn)告警，并提示“負載失衡”，并根據(jù)配置的調(diào)度方式進行下一步的動作：自動調(diào)度或者提供調(diào)度建議。動態(tài)資源擴展對虛擬機而言，如果前期配置資源（vCPU、vMEM）不充足、或者隨著業(yè)務(wù)量的增加導致原有資源緊張，aSV提供動態(tài)資源擴展DRX（Dynamic

ResourceeXtension）功能可以自動擴充虛擬機的資源，以保證業(yè)務(wù)的持續(xù)運行。圖4.114動態(tài)資源擴展示意圖資源動態(tài)添加的實現(xiàn)原理：系統(tǒng)實時監(jiān)控業(yè)務(wù)虛擬機的內(nèi)存、CPU等計算資源的消耗，當資源消耗達到自定義閥值的時候?qū)I(yè)務(wù)所在主機剩余資源進行校驗。如果發(fā)現(xiàn)虛擬機所在的物理主機資源剩余量比較充足的時候，會對業(yè)務(wù)虛擬機進行不中斷業(yè)務(wù)地添加虛擬資源(vMEM、vCPU)；如果所在物理主機剩余資源不足，則不會進行任何資源調(diào)整操作，這樣可以避免影響該主機上的其他業(yè)務(wù)。虛擬機熱遷移虛擬機熱遷移（也稱在線遷移）技術(shù)是指業(yè)務(wù)幾乎不中斷地把虛擬機從一臺物理服務(wù)器遷移到另一臺物理服務(wù)器上。設(shè)備維護時，可通過熱遷移將應(yīng)用遷移至另一臺服務(wù)器，維護結(jié)束后再遷回來，中間應(yīng)用不停機，保障業(yè)務(wù)連續(xù)性；當集群主機負載不均衡時，可以人工調(diào)整某些虛擬機的運行位置和存儲位置，同時保障業(yè)務(wù)不中斷。圖4.115虛擬機熱遷移熱遷移過程會涉及到三種運行時數(shù)據(jù)的遷移，包括：虛擬機的內(nèi)存數(shù)據(jù)、虛擬機的磁盤數(shù)據(jù)(可選，跨存儲熱遷移時需要)、虛擬機的硬件狀態(tài)數(shù)據(jù)(CPU、網(wǎng)卡、顯卡等)。在虛擬機遷移前，超融合平臺會在目標端主機上啟動虛擬機與源端虛擬機建立TCP連接，用于傳輸源端虛擬機的內(nèi)存數(shù)據(jù)、磁盤數(shù)據(jù)、硬件狀態(tài)數(shù)據(jù)等。

遷移過程中的數(shù)據(jù)傳輸分為三個階段：全量數(shù)據(jù)傳輸，增量數(shù)據(jù)傳輸、停機切換。源端與目標端之間的數(shù)據(jù)經(jīng)過多倫迭代傳輸，使差異數(shù)據(jù)越來越少。當剩余的數(shù)據(jù)量達到閾值時，會暫停源端虛擬機將剩余數(shù)據(jù)一次性遷移到目標端。虛擬機熱遷移的主要技術(shù)點如下：自研Sangfor4高效壓縮算法原生QEMU熱遷移壓縮算法效率低，采用Sangfor4高效壓縮算法，提高數(shù)據(jù)遷移效率速率提升7倍以上，CPU消耗降低80%。縮小記錄臟數(shù)據(jù)的數(shù)據(jù)塊粒度熱遷移的總數(shù)據(jù)量包括內(nèi)存臟頁和磁盤臟頁兩部分。針對磁盤熱遷移臟數(shù)據(jù)放大影響性能導致無法熱遷移完成的情況，通過縮小記錄臟數(shù)據(jù)的數(shù)據(jù)塊粒度，磁盤臟數(shù)據(jù)放大率降低90%以上。優(yōu)化CPU節(jié)流策略原生QEMU的CPU節(jié)流算法導致業(yè)務(wù)性能受影響時間較長：進入到增量迭代遷移階段后，如果內(nèi)存臟數(shù)據(jù)的生成速率大于遷移速率時候，遷移任務(wù)就有可能無法完成。通過優(yōu)化CPU節(jié)流策略，在熱遷移過程中引入直接節(jié)流和階段式節(jié)流兩種方式，大幅度縮短切換停機時間到2s以內(nèi)。GPU虛擬化圖像處理場景、AI場景需要使用GPU應(yīng)用，為了支持用戶GPU應(yīng)用的數(shù)字化轉(zhuǎn)型以及滿足業(yè)務(wù)統(tǒng)一管理的需求，超融合平臺支持GPU顯卡直通和vGPU顯卡切分兩種方案。GPU直通（pass-through）GPU直通方案將顯卡上的單個物理核心透傳給虛擬機使用，采用DMA+VFIO技術(shù)。DMA技術(shù)會從超融合系統(tǒng)的內(nèi)核中分配一段地址空間給硬件設(shè)備（GPU顯卡），當上層應(yīng)用確定使用這個硬件設(shè)備（GPU顯卡），將直接把數(shù)據(jù)放入對應(yīng)的地址空間中直接交給硬件設(shè)備（GPU顯卡）處理，避免CPU中轉(zhuǎn)和調(diào)度的資源消耗。VFIO技術(shù)是一種IO調(diào)度的保護機制，能夠保障IO上下傳輸時的可靠性，使用該機制可增強IO傳輸?shù)目煽啃?。KVMhost識別顯卡的物理核心，將物理核心1:1映射給虛擬機，成為VirtualMachine上的虛擬硬件，而后被GuestOS使用。圖4.116GPU直通GPU切分（NVIDIAvGPU）vGPU顯卡切分方案與GPU直通方案類似，但該節(jié)點上的顯卡在KVMhost層會被NVIDIAvGPUhost驅(qū)動接管，NVIDIAvGPUhost驅(qū)動可對數(shù)據(jù)中心級顯卡（一般為Tesla、Quadro系列）進行狀態(tài)監(jiān)控、資源切分等管理。GPU經(jīng)過NVIDIAvGPUhost驅(qū)動切分后，在VirtualMachine層會有多個vGPU，每個vGPU可分配給一個VM使用。以英偉達TeslaP40為例，單個顯卡最多可以虛擬化出24個vGPU，支持24個用戶同時使用。還可以根據(jù)不同場景和負載的需求，虛擬出不同規(guī)格的vGPU，并能支持GPU虛擬機在GPU服務(wù)器之間遷移，這些都是新一代顯卡虛擬化比較突出的特色功能。同時英偉達在新的硬件虛擬化技術(shù)里也增加了軟件授權(quán)的費用。圖4.117GPU切分GPU調(diào)度GPU調(diào)度充分考慮了底層GPU資源的利用率，能夠自動調(diào)整GPU顯卡配置。GPU調(diào)度支持性能調(diào)度模式和密度調(diào)度模式。GPU性能調(diào)度模式：通過將GPU虛擬機調(diào)度到GPU空閑的機器上，確保GPU云主機均衡地使用不同GPU顯卡資源，盡可能保障每一臺GPU云主機性能最佳。例如在深度學習、視頻渲染、科學計算等對GPU性能要求高的場景。GPU密度調(diào)度模式：將GPU虛擬機調(diào)度到已被分配的GPU上，使GPU云主機優(yōu)先運行在已經(jīng)運行了GPU云主機的物理主機上，確保GPU資源能夠被充分利用。例如，教育行業(yè)的人工智能學院AI實訓場景、通用辦公場景等。數(shù)據(jù)保護 深信服計算虛擬化aSV提供邏輯故障時的虛擬機快照，物理故障時的快速備份、定期全量備份、歸檔壓縮和持續(xù)數(shù)據(jù)保護CDP，以及故障恢復時的快速恢復功能，機密數(shù)據(jù)的數(shù)據(jù)一鍵清除功能，實現(xiàn)數(shù)據(jù)保護。虛擬機快照aSV提供基于QCOW2文件的虛擬機快照功能，當對虛擬機使用該功能時，能夠記錄下快照時刻的數(shù)據(jù)狀態(tài)；管理員可以通過回滾快照的方式，把數(shù)據(jù)恢復到快照時刻的狀態(tài)。使用場景存儲快照是一種數(shù)據(jù)保護措施，可以對業(yè)務(wù)數(shù)據(jù)進行一定程度的保護。存儲快照常用于軟件或操作系統(tǒng)升級、數(shù)據(jù)中心設(shè)備替換等場景，在進行這些操作之前對虛擬機進行快照，若操作失敗，將快照進行回滾，可將數(shù)據(jù)恢復到操作前的狀態(tài)。圖4.118存儲快照流程圖如上圖，假設(shè)在t0時刻，虛擬機有一份完整的源數(shù)據(jù)，我們在t1時刻為該虛擬機創(chuàng)建一次快照。在t2時刻，由于誤操作或系統(tǒng)錯誤等原因?qū)е略磾?shù)據(jù)被修改或損毀，可以通過快照回滾操作，將虛擬機數(shù)據(jù)恢復至快照創(chuàng)建時的狀態(tài)（即t1時刻）。實現(xiàn)原理存儲快照基于ROW（RedirectOnWrite，重定向?qū)懀┘夹g(shù)實現(xiàn)?？煺蘸?，數(shù)據(jù)寫入過程在對虛擬機創(chuàng)建快照時，系統(tǒng)會將所有虛擬磁盤置為只讀，并生成對應(yīng)數(shù)量的新磁盤文件（即快照空間）?？煺談?chuàng)建完成后，該虛擬機的所有新增數(shù)據(jù)和源數(shù)據(jù)修改數(shù)據(jù)都將寫入到新生成的快照空間，并將源虛擬磁盤和快照空間邏輯地址的對應(yīng)關(guān)系寫入映射表。創(chuàng)建快照后，數(shù)據(jù)寫入流程如下：圖4.119快照后數(shù)據(jù)寫入流程虛擬機寫入數(shù)據(jù)，期望將數(shù)據(jù)“c”修改為數(shù)據(jù)“E”。數(shù)據(jù)E被重定向?qū)懭氲娇煺湛臻g對應(yīng)的邏輯地址“ii”中。系統(tǒng)將原虛擬磁盤和快照空間的邏輯地址對應(yīng)關(guān)系寫入映射表，記錄原地址“2”的數(shù)據(jù)對應(yīng)為快照地址“ii”的數(shù)據(jù)?？煺蘸?，數(shù)據(jù)讀取過程快照創(chuàng)建后，虛擬機對數(shù)據(jù)的讀取存在兩種情況：若讀取的數(shù)據(jù)是快照創(chuàng)建之前寫入的，且創(chuàng)建快照后未進行修改，則從源虛擬磁盤中讀取。若讀取的數(shù)據(jù)是快照創(chuàng)建后新寫入的數(shù)據(jù)，或?qū)υ刺摂M磁盤的修改數(shù)據(jù)，則從快照空間讀取。創(chuàng)建快照后，數(shù)據(jù)讀取流程如下：圖4.120快照后數(shù)據(jù)讀取流程虛擬機下發(fā)數(shù)據(jù)讀取命令。讀取原地址“1”對應(yīng)的數(shù)據(jù)，是創(chuàng)建快照之前的數(shù)據(jù)，地址“1”不存在于映射表中，直接從原虛擬磁盤中讀取返回數(shù)據(jù)“a”。讀取原地址“2”對應(yīng)的數(shù)據(jù)，是創(chuàng)建快照之后寫入過的數(shù)據(jù)區(qū)域，則查詢映射表，從快照地址“ii”中讀取返回數(shù)據(jù)“E”?？煺栈貪L在存儲快照中由于源虛擬磁盤中保存著快照創(chuàng)建前的數(shù)據(jù)，快照創(chuàng)建后，新增的業(yè)務(wù)數(shù)據(jù)和對源虛擬磁盤的改動數(shù)據(jù)都寫入到了新分配的快照空間中。因此將虛擬機回滾恢復到快照時間點的數(shù)據(jù)狀態(tài)，即取消讀映射的過程，直接從源虛擬磁盤讀寫數(shù)據(jù)。一致性組快照一致性組快照主要應(yīng)用于由多個虛擬機組成的業(yè)務(wù)場景，這些虛擬機之間強關(guān)聯(lián)，對這類業(yè)務(wù)進行快照保護時，必須要保證組成該業(yè)務(wù)的多個虛擬機的快照時刻點的一致性。例如：由2個或更多的虛擬機組成的OracleRAC數(shù)據(jù)庫、由多個虛擬機組成的分布式應(yīng)用、由“app虛擬機+中間件+數(shù)據(jù)庫”3個虛擬機組成的典型業(yè)務(wù)。超融合支持將多個虛擬機加入到一致性組中，對一致性組進行快照操作時，該組內(nèi)的所有虛擬機創(chuàng)建快照時刻的數(shù)據(jù)時間點是一致的，保證后續(xù)進行快照回滾和快照克隆時的業(yè)務(wù)可用性。圖4.121快照一致性組產(chǎn)品示意圖定時快照策略超融合支持對業(yè)務(wù)虛擬機創(chuàng)建定時快照策略和快照保留策略，超過保留時間期限的快照將自動刪除，釋放存儲空間。定時快照實現(xiàn)對虛擬機的定期保護，在虛擬機出現(xiàn)邏輯性錯誤時，比如中毒等事件，可以回滾到未中毒時刻的快照點，恢復業(yè)務(wù)虛擬機，降低損失。定時快照和定時備份是對業(yè)務(wù)的兩種數(shù)據(jù)保護方式，存在以下差異：表4-1定時備份與定時快照對比表定時備份定時快照首次全量數(shù)據(jù)保護首次全量備份，空間占用與原虛擬機占用的空間大小相同原鏡像設(shè)為只讀模式，不需要對數(shù)據(jù)進行拷貝或移動處理，不需要占用額外的空間增量數(shù)據(jù)僅對新增或刪改數(shù)據(jù)進行增量備份新增或刪改數(shù)據(jù)寫入到快照空間中備份/快照速度首次備份拷貝原鏡像全部數(shù)據(jù)的時間+后續(xù)拷貝增量數(shù)據(jù)的時間秒級完成快照恢復/回滾速度分鐘級拉起虛擬機后，持續(xù)將備份數(shù)據(jù)回拷秒級回滾至快照時刻的狀態(tài)故障容忍能力可容忍邏輯性故障（中毒/誤刪除）備份至異地可容忍本地集群物理性故障，備份至本地集群則不可以可容忍邏輯性故障（中毒/誤刪除）無法容忍本地集群物理性故障性能影響備份過程有一定性能影響備份完成后對業(yè)務(wù)性能無影響快照過程對性能無影響快照后性能小幅下降，后續(xù)逐漸恢復快速備份對于業(yè)務(wù)數(shù)據(jù)的邏輯類故障（發(fā)生在虛擬機內(nèi)部的故障，如虛擬機內(nèi)誤刪數(shù)據(jù)、勒索病毒）,僅僅依賴業(yè)務(wù)服務(wù)器自身的可靠性建設(shè)（存儲雙活、多副本、HA、系統(tǒng)故障自動重啟）是無法避免的，因為邏輯故障將直接損壞數(shù)據(jù)源，進而對副本數(shù)據(jù)也造成數(shù)據(jù)損壞。比如，近來瘋狂的勒索病毒，會導致業(yè)務(wù)系統(tǒng)內(nèi)部的數(shù)據(jù)自身遭到破壞，即便采用多副本，其每個副本數(shù)據(jù)都會被破壞。針對此類故障，超融合平臺提供快速備份機制來應(yīng)對。技術(shù)上采用首次全量備份+非首次增量備份+bitmap技術(shù)（bitmap的方式標記了QCOW2文件的變化的位置，也稱臟數(shù)據(jù)位置）實現(xiàn)快速備份，下面將詳細介紹快速備份的實現(xiàn)原理：圖4.122備份流程對虛擬機進行備份時，首先進行全量備份（如果已經(jīng)有全量備份則直接進行增量備份）。全量備份后業(yè)務(wù)持續(xù)寫入新數(shù)據(jù)（G和H），用bitmap標記，此時新數(shù)據(jù)可以在QCOW2文件的原位置直接寫入，下次備份時只增量備份修改處的數(shù)據(jù)；備份結(jié)束后重新將bitmap置0，以此進行每一次的備份操作。在原位置寫入新數(shù)據(jù)時可直接寫入，不會發(fā)生寫時拷貝，不會造成QCOW2文件與數(shù)據(jù)位置的映射亂序，因此不會對QCOW2鏡像造成任何性能上的影響；增量備份方式減少每次備份的數(shù)據(jù)量，進而提高備份速度。刪除增備文件，數(shù)據(jù)向后合并，保證每個保留的備份數(shù)據(jù)都是完整可用的，以此快速釋放空間，節(jié)約備份存儲資源。圖4.123備份文件刪除合并流程說明：刪除操作導致沒有增備文件2的恢復點，但增備1，增備3及之后的增備點的數(shù)據(jù)都是完整正確可恢復的。當一個虛擬機的多個磁盤鏡像、或者多個虛擬機的磁盤鏡像有相關(guān)性時，快速備份還提供多磁盤數(shù)據(jù)一致性檢查，比如在數(shù)據(jù)庫的應(yīng)用場景中，數(shù)據(jù)庫（SQLServer、Oracle）的數(shù)據(jù)盤、日志盤，必須保持備份時刻的一致性，否則當恢復備份時，會由于不一致導致恢復的Oracle系統(tǒng)仍然不可用，而通過深信服的快速備份可保障數(shù)據(jù)庫數(shù)據(jù)的多個磁盤在恢復時，保持數(shù)據(jù)的一致性。在超融合平臺上備份操作非常簡單：通過向?qū)牟郊茨苄略鲆粋€符合用戶業(yè)務(wù)特征的備份策略。支持按周、按天、按小時的自動備份周期，根據(jù)實際業(yè)務(wù)需求靈活配置。同時提供自動清理備份功能，最大限度節(jié)省備份存儲空間。此外無須安裝插件，簡單易用?？焖賯浞菪阅軋D4.124快速備份性能變化從上圖可以看到，快速備份在首次全量備份、第二次增量備份的過程中，原始基于QCOW2的備份只出現(xiàn)少許性能下降，而在備份結(jié)束后，即迅速恢復到了初始水平。備份文件清理策略：客戶可以根據(jù)業(yè)務(wù)情況自定義備份文件保留策略，時間粒度從天到年，相較之前保留策略更加靈活?？焖倩謴?當業(yè)務(wù)系統(tǒng)出現(xiàn)故障不可用時，如果此前開啟數(shù)據(jù)備份保護，可以通過查找備份文件恢復虛擬機到最近的業(yè)務(wù)正常運行點實現(xiàn)業(yè)務(wù)恢復。備份恢復一般做法如下：遷移備份數(shù)據(jù)至運行位置，等待數(shù)據(jù)遷移完后，在運行位置拉起虛擬機恢復業(yè)務(wù)。如果業(yè)務(wù)數(shù)據(jù)量大，數(shù)據(jù)遷移時間長，就會導致業(yè)務(wù)恢復的RTO很大。為此，對備份恢復功能進一步進行優(yōu)化?？焖倩謴椭饕獌?yōu)化點新增一種恢復方式，即“生成全新虛擬機”方式。優(yōu)化前僅支持對原虛擬機覆蓋性恢復，這就導致了無法驗證備份數(shù)據(jù)是否正?？捎镁透采w了原來的虛擬機數(shù)據(jù)，有了“生成全新虛擬機”的恢復方式后很好地解決這個問題。在滿足一條限制條件的情況下，可以快速恢復虛擬機備份，僅需幾分鐘時間便可完成備份恢復并開機；通過先拉起虛擬機實現(xiàn)業(yè)務(wù)快速恢復，業(yè)務(wù)運行的同時遷移備份數(shù)據(jù)至目標存儲的方式實現(xiàn)業(yè)務(wù)快速恢復上線?？焖倩謴驮砣缦拢簣D4.125快速恢復快速恢復步驟快速拉起虛擬機運行業(yè)務(wù)在業(yè)務(wù)恢復位置上新建空白鏡像，QEMU進程會通過該空白鏡像拉起虛擬機，此時業(yè)務(wù)可正常運行。如圖恢復位置中的第一行，形成一個空白鏡像。業(yè)務(wù)讀數(shù)據(jù)優(yōu)先恢復位置業(yè)務(wù)運行過程中，優(yōu)先從恢復位置讀取數(shù)據(jù)，如果恢復位置沒有該數(shù)據(jù)，需要從備份文件池中將該位置數(shù)據(jù)遷移到恢復位置中，然后進行數(shù)據(jù)讀取。如圖恢復位置中的第二行，業(yè)務(wù)需要讀取位置1的K和位置3的M數(shù)據(jù)。業(yè)務(wù)寫數(shù)據(jù)位置為恢復位置業(yè)務(wù)運行過程中，虛擬機新產(chǎn)生的數(shù)據(jù)，則直接寫入新鏡像中。如圖恢復位置中第三行和第四行，分別在位置3和位置1寫入O和P。備份數(shù)據(jù)不斷從備份文件池遷移至恢復位置在恢復虛擬機進行業(yè)務(wù)運行的同時，虛擬機QEMU進程中還會有一個默默在后臺持續(xù)將備份恢復池的數(shù)據(jù)搬運到恢復位置上的虛擬機鏡像中，我們稱之為備份數(shù)據(jù)整理，數(shù)據(jù)整理完成后，該虛擬機恢復為普通虛擬機。如圖恢復位置的第三行和第四行，在第三行狀態(tài)時，QEMU發(fā)現(xiàn)恢復位置中的鏡像文件中位置2和沒有數(shù)據(jù)，此時將這位置2的數(shù)據(jù)從備份文件池遷移至恢復位置，當所有數(shù)據(jù)遷移完成后，如恢復位置的第四行狀態(tài)，意味著虛擬機完全恢復，成為一個普通虛擬機。業(yè)務(wù)快速回復時的數(shù)據(jù)放丟失機制快速恢復首先通過在恢復位置新建空白鏡像快速拉起虛擬機，實現(xiàn)業(yè)務(wù)快速恢復；其次優(yōu)先恢復業(yè)務(wù)運行的熱數(shù)據(jù)，在短時間內(nèi)提高業(yè)務(wù)運行性能，然后以不影響主業(yè)務(wù)運行的速度遷移備份文件池中其他數(shù)據(jù)（冷數(shù)據(jù)）到恢復位置中。定期全備，壓縮歸檔，備份復制默認情況下aSV提供的備份功能是首次全量備份、后續(xù)增量備份的形式，某些合規(guī)性要求除了增量備份，系統(tǒng)還需要做定期的全量備份和二級的數(shù)據(jù)歸檔功能。aSV也提供了滿足合規(guī)要求的全量備份和壓縮歸檔方案。其流程如下圖所示：用戶配置了1周1次的自動備份頻率；1月1次全量備份；一月一次的歸檔備份。每月初就會根據(jù)用戶配置，進行一次全量的拷貝（直接從原始鏡像拷貝，而不是基于前一次的增量鏡像合并而言），以此保證全量備份的數(shù)據(jù)可靠性，然后基于此鏡像在進行后續(xù)是三周的增量備份。月末會基于最后一次備份的增量，從備份存儲上合并生成一個新的鏡像，并拷貝到歸檔存儲完成歸檔。注意：歸檔并不會從原始鏡像（生產(chǎn)存儲）上直接拷貝，而是從備份存儲上完成數(shù)據(jù)的歸檔，以此減少對原始生產(chǎn)環(huán)境的影響。考慮到歸檔存儲的訪問頻次和空間利用率，aSV提供了壓縮功能，以減少對存儲資源的占用。圖4.126定期全備對于歸檔存儲需要滿足兩個條件：不能與歸檔時的備份存儲一致。不能為虛擬存儲。而對于某些特殊行業(yè)的關(guān)鍵業(yè)務(wù)數(shù)據(jù)，對于安全及可靠性有極高的強制性要求，常規(guī)的全備與歸檔無法滿足此類特殊的合規(guī)要求。基于此類需求，aSV提供備份復制功能，可將1個備份及其多個備份副本分別存儲在不同的存儲位置，可同時滿足在線存儲、異地存儲和離線存儲需求。備份復制策略可配置源存儲、目的存儲、復制頻率、復制速率限制等，策略定期自動執(zhí)行，將虛擬機源存儲上的備份復制到目的存儲，也支持手動進行備份復制。其注意項如下：備份復制的目的存儲不支持為本地存儲。備份復制的源存儲和目的存儲不支持為同一個存儲。備份副本無數(shù)量限制。例如備份需要三副本，可添加一個備份策略和兩個備份復制策略，備份復制策略可以不斷添加。持續(xù)數(shù)據(jù)保護通常普通備份為小時級，意味著業(yè)務(wù)故障恢復時至少丟失一小時的數(shù)據(jù)，這對用戶的一些關(guān)鍵業(yè)務(wù)而言是不可接受的；某些重要業(yè)務(wù)系統(tǒng)需要實現(xiàn)更細粒度的備份，RPO的需求為分鐘或秒級，為了滿足這種需求，就需要對業(yè)務(wù)系統(tǒng)進行持續(xù)數(shù)據(jù)保護（ContinuousDataProtection，CDP）。CDP持續(xù)數(shù)據(jù)保護是IO秒級別的高級備份技術(shù)，記錄客戶的每一次數(shù)據(jù)改動，可通過零丟失的數(shù)據(jù)恢復實現(xiàn)業(yè)務(wù)保護。超融合平臺對CDP技術(shù)進行優(yōu)化，將CDP模塊做到虛擬機的QCOW2文件層，相較于傳統(tǒng)CDP軟件只是以代理方式嵌入到GuestOS層，我們能更好為客戶提供CDP數(shù)據(jù)保護，為客戶提供了一種低成本、易部署、高價值、更適合虛擬機業(yè)務(wù)使用的CDP解決方案。CDP實現(xiàn)原理CDP本質(zhì)仍然是一種備份技術(shù)，包括數(shù)據(jù)備份和恢復兩個步驟，下面將從備份和恢復的實現(xiàn)原理來講述CDP的實現(xiàn)原理。實現(xiàn)原理-備份CDP備份數(shù)據(jù)由RP日志文件和BP備份文件組成，備份實現(xiàn)原理主要為BP點和RP點的生成原理。圖4.127CDP備份流程啟動虛擬機時，同時開啟業(yè)務(wù)（QEMU）和CDP功能（cdp_worker），并為該虛擬機開辟一塊內(nèi)存（默認2G），作為主業(yè)務(wù)和CDP模塊的共享緩存區(qū)（sharedbuffer）。CDP模塊（cdp_worker）位于虛擬機的QCOW2文件層，可直接下發(fā)備份指令，對QCOW2文件進行備份形成全備和增備BP，首次開啟CDP功能，需要進行一次全備生成基準點，后續(xù)根據(jù)設(shè)置的定期備份頻率（小時級別），定期生成BP點；BP點以備份文件的形式存在CDP數(shù)據(jù)存儲區(qū)。采用旁路架構(gòu)+IO分流技術(shù)，經(jīng)過共享緩存區(qū)，實現(xiàn)從主業(yè)務(wù)異步復制IO到CDP日志存儲區(qū)（IO倉庫）,以IO日志的形式存在；根據(jù)設(shè)置的IO日志間隔時間（RPO=1s/5s），定期生成RP點，單獨利用RP并不能夠恢復數(shù)據(jù)，所有的RP均依賴于對應(yīng)的BP。對生成的BP點和RP點均標記上時間戳，便于故障時定位恢復點。說明：1）IO日志存儲區(qū)和CDP數(shù)據(jù)存儲區(qū)可為同一位置或不同位置。2）如果該虛擬機曾使用普通備份功能,生成的備份點可直接被作為CDP的BP點支持多磁盤數(shù)據(jù)一致性檢測，保證每個恢復點都是有效的。一致性備份CDP存儲有3個磁盤，每個IO寫入并形成id標識的RP點，3個磁盤上的id相同的RP點則認為屬于同個一致性RP。id為3的RP點在3個vdisk上都存在，因此RP3是一個有效的一致性RP，可以展現(xiàn)在頁面上，用于恢復虛擬機。id為6的RP在vdisk2中缺失了，因此RP6不是一個有效的一致性RP，不能展現(xiàn)在頁面上，不能用于恢復虛擬機。圖4.128一致性CDP備份對多磁盤上存儲數(shù)據(jù)做一致性檢測，保證每個恢復點數(shù)據(jù)正確有效。實現(xiàn)原理-恢復當業(yè)務(wù)發(fā)生故障（病毒，誤刪除等）需要通過CDP備份文件進行虛擬機恢復時，可根據(jù)時間點查找對應(yīng)備份文件，通過增量備份和IO倉庫創(chuàng)新設(shè)計，支持快速瀏覽備份文件，實現(xiàn)文件級和業(yè)務(wù)級恢復。圖4.129CDP備份恢復如圖所示：CDP備份文件包括3個BP備份文件（BP、BP1和BP2)和8個RP日志文件（RP1到RP8）；當選擇某個RP點進行恢復時，需要將目標恢復點之前的所有BP點和最近一個BP點至目標恢復點的所有RP點進行數(shù)據(jù)合并和業(yè)務(wù)恢復。以RP5進行業(yè)務(wù)恢復為例，關(guān)鍵步驟如下：終端界面提出瀏覽14：00：20生成的IO日志（即RP5）的請求。從QCOW2備份文件中提取該恢復點之前的全部備份文件，即全量BP和增量BP1。從IO倉庫中提取從最近備份點至目標恢復點的所有RP點，即RP4和RP5。將獲取到相關(guān)備份文件和RP點文件進行合并，得到該恢復點的最終結(jié)果。客戶可通過找回文件恢復特定文檔，或者直接恢復該時刻的整個虛擬機。此外，深信服CDP故障中斷不會影響業(yè)務(wù)。圖4.130CDP故障以金蝶ERP系統(tǒng)CDP備份和故障恢復舉例：首次全量備份生產(chǎn)基準點，記錄每個IO形成RP點，定期形成增量BP。在形成RP4之后CDP功能發(fā)生故障中斷，業(yè)務(wù)正常運行。在生成RP6之后CDP功能恢復，立即生成一個備份點（增量BP2），保證后續(xù)備份數(shù)據(jù)正確。說明：此時會丟失恢復點RP5和RP6，其他恢復點完整有效。超融合平臺的CDP的功能與特點記錄每一個IO，不丟失任何數(shù)據(jù)，可從任意一個IO日志記錄點中恢復虛擬機，RPO=5秒/1秒（可設(shè)置）。CDP服務(wù)與虛擬機QEMU獨立，采用異步緩存機制，IO復制過程對業(yè)務(wù)性能基本無影響，對業(yè)務(wù)穩(wěn)定性無影響。提供虛擬機多磁盤的數(shù)據(jù)一致性檢測，保護備份數(shù)據(jù)完整可靠。CDP在虛擬機啟動時，不需要等待CDP數(shù)據(jù)同步完成，就可以開啟業(yè)務(wù)，同時進行虛擬機IO數(shù)據(jù)的備份。支持快速瀏覽備份文件和進行文件，方便用戶快速的從CDP備份中獲取數(shù)據(jù)文件；同時具有詳細的審計日志和權(quán)限控制，保障該功能的安全性。集成于平臺中，融合交付，無須安裝第三方軟件和插件，是虛擬機級別的CDP方案。使用靈活，可指定虛擬機開啟CDP功能，可在平臺進行動態(tài)的開啟和關(guān)閉CDP。例如，對正在運行的虛擬機，不需要重啟或中斷業(yè)務(wù)，就可以開啟CDP。易用簡單，無學習成本，幫助客戶完成穩(wěn)定可靠的IT創(chuàng)新。數(shù)據(jù)一鍵清除超融合HCI平臺提供殘余數(shù)據(jù)保護功能，用戶可以自定義開啟，以保障數(shù)據(jù)的完全刪除與數(shù)據(jù)安全性。并支持設(shè)置擦除速率和刪除次數(shù)設(shè)置，實際擦除速率會根據(jù)存儲IO和繁忙程度動態(tài)調(diào)整。故障預防與處理 深信服計算虛擬化aSV提供進程看門狗、黑匣子技術(shù)、虛擬機異常重啟、高可用HA、亞健康主機、主機維護模式、系統(tǒng)盤安全更換、跨主機USB映射、UPS掉電保護、系統(tǒng)文件備份恢復進行故障預防與處理。虛擬機異常重啟虛擬機Guest系統(tǒng)出現(xiàn)應(yīng)用層不調(diào)度（藍屏、黑屏）也是常見的業(yè)務(wù)中斷問題；比如藍屏，可以說是Windows用戶最常見的應(yīng)用層不調(diào)度問題，它往往由硬盤故障、驅(qū)動錯誤、CPU超頻過度、BIOS設(shè)置、軟件中毒等原因引起，當發(fā)生時，Windows為了保護電腦數(shù)據(jù)，會中止所有業(yè)務(wù)，系統(tǒng)崩潰并彈出藍屏提示；比如黑屏，由于顯卡驅(qū)動、盜版軟件、軟件病毒等問題，業(yè)務(wù)操作系統(tǒng)也會出現(xiàn)黑屏之類不可自動恢復的業(yè)務(wù)系統(tǒng)故障。以上故障Windows并不會自動重啟，而是需要管理員介入手動重啟業(yè)務(wù)，不僅業(yè)務(wù)中斷的時間不可控，還增加了管理員的運維工作量。若是沒有管理員值守，那么業(yè)務(wù)恢復的時間將不受控制，對于業(yè)務(wù)連續(xù)性敏感的企業(yè)來說，是不可接受的故障損失。超融合平臺提供了虛擬機異常重啟功能來解決此問題，幫助管理員進行自動化運維，更好地提供了虛擬機業(yè)務(wù)連續(xù)性的支持，通過在虛擬機中安裝深信服的性能優(yōu)化工具，該工具每隔幾秒向虛擬機運行所在主機發(fā)送心跳，主機根據(jù)虛擬機發(fā)出的心跳、磁盤IO、網(wǎng)絡(luò)流量狀態(tài)，判斷是否虛擬機的Guest系統(tǒng)應(yīng)用層不調(diào)度，持續(xù)數(shù)分鐘后，可認為該虛擬機發(fā)生了黑屏或者藍屏，關(guān)機并重啟。虛擬機高可用對于外部環(huán)境故障（比如主機網(wǎng)線斷了，所在存儲不能訪問等）和虛擬機Guest系統(tǒng)故障兩種情況導致的業(yè)務(wù)中斷問題，深信服的超融合平臺都提供了成熟可靠的HA機制保障業(yè)務(wù)不中斷或短暫中斷。虛擬機高可用HA（HighAvailability高可用性集群)，通常需要兩個或者兩個以上的主機節(jié)點組成集群，當啟用了HA功能的虛擬機所在節(jié)點發(fā)生意外（主機掉電、斷網(wǎng)等）時，集群心跳機制偵測到后，將選擇一臺資源充足的節(jié)點自動重啟該虛擬機，從而實現(xiàn)業(yè)務(wù)的不中斷或短暫中斷。圖4.131HA機制集群心跳機制，通過輪詢的機制，每隔5s檢測一次虛擬機狀態(tài)是否異常，當發(fā)現(xiàn)異常并持續(xù)時長達到客戶設(shè)置的故障檢測敏感度時（比如5分鐘，最高敏感度為10s），切換HA虛擬機到其他主機運行。如下圖所示，當云主機存儲不能正常訪問時，必定會啟動HA機制，其他故障場景HA機制可根據(jù)需要自由配置。圖4.132HA機制配置通過aSV的HA技術(shù)，對業(yè)務(wù)系統(tǒng)提供了高可用性，極大縮短了由于各種主機物理或者鏈路故障引起的業(yè)務(wù)中斷時間。HA流程概述：主機都正常時，通過比較虛擬機的電源狀態(tài)和運行狀態(tài)，電源打開而虛擬機未運行時，則認為此虛擬機異常掛掉了，需要重新拉起。主機離線時，集群會根據(jù)所有在線主機的負載情況，選擇一臺或多臺合適的在線主機拉起離線節(jié)點上的所有虛擬機。檢測運行在本節(jié)點的啟用了HA的虛擬機，業(yè)務(wù)口不通并且持續(xù)一段時間后，關(guān)掉此虛擬機然后由1重新拉起。當前HA流程圖如下：圖4.133HA流程HA拉起時間=敏感度檢測時間+虛擬機拉起時間（進入BIOS）主機離線故障場景下，虛擬機從故障到拉起在30s內(nèi)完成（進入BIOS），無需敏感度檢測。其他故障HA場景，可自定義敏感度，因此