第8章

華為云數據庫服務組編華為技術有限公司華為云計算技術與應用8.1傳統(tǒng)數據庫8.2云數據庫服務8.3華為云數據庫服務學習要點8.4華為云數據庫實踐8.1.1 數據庫技術概念如圖所示，數據庫技術包含5個相關概念，即數據、數據庫、數據庫管理系統(tǒng)、數據庫系統(tǒng)，以及數據庫應用，下面將分別對其進行介紹。數據庫技術是應數據管理任務的需要而產生的。數據庫技術是進行數據庫管理的有效技術，它主要研究如何對數據進行科學、高效的管理，從而為人們提供可共享的、安全的、可靠的數據。8.1.2 數據如圖所示，“88”這個數據既可以是一個部門的人數，也可以是某人一門課的考試成績，沒有語義的存在，數據的含義就會變得混亂，無法具體體現一個數據。數據（Data）是數據庫中存儲的基本對象，是用于描述事物的符號記錄。描述事物的符號可以是數字，也可以是文字、圖形、圖像、音頻、視頻等，數據有多種表現形式，但它們都可以在經過數字化后存入計算機?，F代計算機系統(tǒng)的數據概念是廣義的，僅有數據的值并不能完全表達數據的具體內容，因此需要一個新的描述性數據來對數據進行描述。數據的描述性數據，稱為語義，也就是數據的含義，數據與其語義是不可分割的。8.1.2 數據記錄示例在日常生活中，人們可以直接用自然語言（如漢語）來描述事物。記錄是計算機中表示和存儲數據的一種格式或方法。這里的學生記錄就是描述學生的數據，通過這樣一條記錄就具體描述了一個實際的學生。這樣的數據是有結構的。日常描述（李明,男,2000-06,江蘇省南京市,計算機系,2020），即把學生的姓名、性別、出生年月、出生地、所在院系、入學時間等組織在一起，構成一條記錄。某校計算機系一位同學的基本情況：2020級計算機系的李明同學，性別為男，2000年6月出生于江蘇省南京市。計算機中的描述8.1.3 數據庫

數據庫（Database），顧名思義是存放數據的倉庫。嚴格地講，數據庫是長期儲存在計算機內的有組織的、可共享的大量數據的集合。數據庫中儲存的數據具有以下3個基本特點。可共享數據庫中的數據是可為各種用戶或程序共享使用的，而不是為某個用戶或程序專有的。各個用戶或程序可以通過統(tǒng)一的數據接口訪問數據庫，并依據特定的協議規(guī)范獲取數據。長期存儲數據庫提供數據長期存儲的可靠機制，數據一旦被存儲在數據庫中，就不會因為時間導致丟失，同時在系統(tǒng)發(fā)生故障后能夠進行數據恢復，從而保證數據庫中的數據完整。有組織數據庫中的數據按一定的數據模型組織、描述和存儲，具有較小的冗余度（Redundancy）、較高的數據獨立性（DataIndependence）和易擴展性（Scalability）。0203018.1.4 數據庫管理系統(tǒng)

數據庫管理系統(tǒng)（DBMS）是一個能夠科學地組織和存儲數據、高效地獲取和維護數據的系統(tǒng)軟件，是位于用戶與操作系統(tǒng)之間的數據管理軟件，其主要功能如下。數據定義功能數據組織、存儲和管理功能數據操縱功能數據庫的事務管理和運行管理功能數據庫的建立和維護功能12345提供數據定義語言，用戶通過該語言可以方便地對數據庫中的數據對象的組成與結構進行定義，方便用戶對數據進行管理。數據組織是指需要確定通過何種文件結構和存取方式來組織這些數據;數據存儲是指針對不同的數據應該存儲哪些內容；數據管理功能是指為數據提供多種存取方法。數據庫管理系統(tǒng)提供數據操縱語言（DML），用戶可以使用該語言來操縱數據，實現對數據庫的基本操作，如查詢、插入、刪除和修改等。數據庫在建立、運行和維護時由數據庫管理系統(tǒng)統(tǒng)一管理和控制，以保證事務的正確運行，保證數據的安全性、完整性等。主要包括數據庫初始數據的輸入和轉換功能，數據庫的轉儲、恢復功能，數據庫的重組織功能和性能監(jiān)視、分析功能等。其他功能6包括數據庫管理系統(tǒng)與網絡中其他軟件系統(tǒng)的通信功能，一個數據庫管理系統(tǒng)與另一個數據庫管理系統(tǒng)或文件系統(tǒng)的數據轉換功能等。8.1.5 數據庫系統(tǒng)

如圖所示為數據庫系統(tǒng)架構，其中的應用程序、數據庫管理系統(tǒng)、數據庫和數據庫管理員為數據庫系統(tǒng)的主要模塊。操作系統(tǒng)不屬于數據庫系統(tǒng)，它只是提供了一個數據操作協議的統(tǒng)一接口。數據庫管理系統(tǒng)是一類系統(tǒng)軟件，它和操作系統(tǒng)一樣，是計算機系統(tǒng)的基礎軟件。數據庫系統(tǒng)是由數據庫、數據庫管理系統(tǒng)（及應用開發(fā)工具）、應用程序和數據庫管理員（DataBaseAdministrator，DBA）等組成的存儲、管理、處理和維護數據的系統(tǒng)。在不引起混淆的情況下，通常把數據庫系統(tǒng)簡稱為數據庫。8.1.6 數據庫應用

數據庫作為一種管理數據的技術，主要用于承載數據、管理數據，并基于上層邏輯提供增刪改查的數據接口，衍生出了如MySQL、Oracle、SQLServer等傳統(tǒng)關系數據庫產品；同時，在數據類型多樣性、業(yè)務復雜性的大背景下，還衍生出了如Redis、HBase等非關系數據庫產品。這些數據庫產品各有特點，并在各自的領域中大放光彩。除數據庫技術本身衍生的數據庫上層應用以外，還有一類常見的應用是數據庫工具應用，包括數據庫管理工具和數據庫遷移工具。數據庫管理工具雖然數據庫本身也提供命令端用于管理數據，但這種方式對用戶而言操作難度大、便捷性差，因此，各個數據庫廠商都會研發(fā)對應的數據庫管理工具，如MySQL的Workbench等。數據庫遷移工具同構數據庫（如MySQL與MySQL）之間的數據是可以直接遷移使用的，只需進行適配即可，無須耗費過多的時間。但異構數據庫（如MySQL與Oracle）之間因語法、數據存儲定義等的差異，無法直接進行數據調用，需要基于底層的SQL協議進行數據互通。8.1傳統(tǒng)數據庫8.2云數據庫服務8.3華為云數據庫服務學習要點8.4華為云數據庫實踐8.2.1 云數據庫服務概念及特征數據庫也是數據庫，在語法使用上與傳統(tǒng)數據庫沒有差異，只不過在部署方式、形態(tài)和運維方面與傳統(tǒng)數據庫不同，在操作層面上帶來了全新的體驗，使用起來更加便捷和高效。云數據庫服務是構建在云服務模型之上的數據庫解決方案，即數據庫即服務（DataBaseasaService，DBaaS）。從歸屬角度上來看，DBaaS運行在IaaS之上，屬于PaaS的子類。云數據庫天然具備云的靈活性（即開即用、彈性伸縮），能夠提供強大的創(chuàng)新能力（便捷測試、驗證和實施新的業(yè)務創(chuàng)建）、豐富多樣的產品體系（提供多種衍生的云數據庫應用）、經濟高效的部署方式（業(yè)務初期可以少量訂購，隨后自主擴容）和按需付費（按小時計費）的支付模式。云數據庫服務涵蓋關系數據庫服務、非關系數據庫服務和數據庫工具服務等，企業(yè)可根據實際數據業(yè)務進行選擇8.2.1 云數據庫服務概念及特征對企業(yè)而言，云數據庫需要具有如下特征。彈性伸縮數據庫的存儲、CPU、I/O等數據庫資源需要能夠依據企業(yè)自身業(yè)務進行彈性伸縮，業(yè)務增長時應用系統(tǒng)自動擴容，業(yè)務下降時應用系統(tǒng)自動縮容。計算存儲分離具有多種存儲方式自動化運維管理數據安全及可靠數據庫采用計算與存儲分離架構，在高可用、備份恢復和升級擴展等方面，都會帶來全新性能體驗。例如，計算和存儲可以獨立彈性伸縮，擴縮容無須進行數據遷移。數據庫系統(tǒng)通常是IT系統(tǒng)極為重要的系統(tǒng)，對存儲I/O性能要求高。例如，在華為云關系數據庫中，存儲類型可以分為超高I/O和SSD盤，企業(yè)可根據實際業(yè)務選擇所需的存儲類型。提供一套完整的自動化運維管理平臺，提供零停機維護、版本滾動升級、故障自動監(jiān)控、日志分析及問題修復能力，大大降低運維成本，提高開發(fā)效率。數據庫上云后，數據都存儲在云服務廠商的后臺，云服務廠商能夠提供“7×24h”的數據庫業(yè)務可靠性保證，并能保證數據不泄露，操作權限高度集中。8.2.2 云數據庫服務技術存儲與SQL計算分離為了應對日益增長的性能要求，傳統(tǒng)的數據庫做了集群化的處理，雖然在某種程度上提高了數據庫的性能，但歸根結底數據庫中的各個節(jié)點的資源（CPU、內存、磁盤等）都是獨立存在的。在典型的大規(guī)模并行處理（MassivelyParallelProcessing，MPP）架構中，數據庫中的數據在導入或插入時，經過一定的分區(qū)邏輯（Hash、Replication、Random、Range等）后分布到各個數據節(jié)點中，使得數據庫在進行數據查詢時，能夠充分利用每一個數據節(jié)點。數據查詢任務在每個節(jié)點上都是獨立存在的，各自處理各自的數據，相互之間不會發(fā)生資源爭搶的現象，具有很好的并行處理能力。典型MPP架構如圖所示。8.2.2 云數據庫服務技術這種存儲與計算高度耦合的架構一定程度上解決了數據庫的性能問題，但同時也帶來了新的問題。因此，在云場景下，將存儲與SQL計算進行解耦成為時下云數據庫服務必要的技術手段。通過存儲與計算分離，用戶能夠有針對性地獨立規(guī)劃存儲、計算規(guī)格，并受益于云原生特性，能夠比較快地完成擴容、縮容操作，靈活適應某些峰值業(yè)務場景，同時也能夠極大地降低成本。這種存儲與計算分離的架構是指將SQL解析、轉換、執(zhí)行計劃生成、計算等模塊與底層存儲的硬件進行解耦。在這一架構中，通過將存儲引擎與SQL計算引擎分離，可以做到二者之間松耦合、互相獨立地處理任務。典型的存儲與計算分離架構如圖所示，通常包含3個部分：存儲層、網絡傳輸層、計算層8.2.2 云數據庫服務技術對于傳統(tǒng)的數據庫而言，一般在部署之后，對應的數據庫版本是確定的，如果安裝了MySQL，就是基于MySQL實現的數據庫應用；安裝了Oracle就需要基于Oracle來實現上層邏輯。對公司而言，使用的數據庫過多勢必會產生額外的數據一致性維護成本。在數據庫上云以后為了實現不同類型數據的融合與統(tǒng)一管理，需要具備多模（Multi-Model）數據庫管理與存儲的能力。多模數據管理需要支持的數據存儲類型所謂的多模，指的是一個數據庫支持多種數據庫存儲引擎，可以滿足上層應用對于結構化、半結構化、非結構化數據的統(tǒng)一管理需求，從而降低企業(yè)使用和運維的成本多模數據管理8.2.3 云數據庫服務安全云數據庫服務安全主要包括兩個方面，一是從云數據庫自身角度出發(fā)，二是從云服務角度出發(fā)。這里以華為云關系數據庫服務為例進行介紹，下圖所示為華為云關系數據庫的安全框架。8.2.3 云數據庫服務安全云數據庫具備傳統(tǒng)數據庫自身所帶的全部安全措施，包括數據庫用戶權限管理、SSL訪問認證、賬戶密碼策略等。此外，它還有一些新的安全防護措施：從云數據庫自身角度出發(fā)ACB訪問控制權限細分策略DAS安全審計數據庫上云以后，連接數據庫的方式從原來的本地或局域網內的IP連接轉變?yōu)橐怨WIP的方式進行連接。此外，用戶還可以通過云服務廠商進行內網連接，或者通過數據庫管理服務（華為云上為DAS）進行數據庫連接。上云以后，除數據庫本身以外，還會涉及數據庫實例（承載數據庫服務的對象）。需要為云用戶設定針對數據庫實例的操作權限，這些權限包括但不限于創(chuàng)建數據庫實例、刪除數據庫實例、查詢數據庫實例等。通過權限細分策略的擴充，可以避免因數據庫上云后，對云用戶權限管理的缺漏。華為云DAS可提供全量SQL洞察（審計）功能，不僅支持全量SQL記錄的查詢能力，還提供了對訪問最頻繁、更新最頻繁的表和鎖等待時間最長的SQL等內容的多維度分析、搜索、過濾服務，幫助用戶全面對SQL進行洞察和審計，快速找出異常，保障云數據庫穩(wěn)定運行。8.2.3 云數據庫服務安全華為云上有許多衍生的華為云服務用于輔助云數據庫服務安全，包括：從云服務角度出發(fā)數據庫安全服務01OPTION數據庫安全服務（DatabaseSecurityService，DBSS）是一種智能的數據庫安全服務，基于機器學習機制和大數據分析技術，提供數據庫安全審計、SQL注入攻擊檢測、風險操作識別等功能，保障云上數據庫的安全。數據庫安全審計是指通過在旁路模式下安裝數據庫客戶端，讓用戶通過該客戶端進行數據庫操作，這個客戶端可以對數據庫的操作進行風險行為實時告警，并對攻擊行為進行阻斷；同時還可以生成數據庫安全標準的合規(guī)報告數據庫安全審計架構8.2.3 云數據庫服務安全云審計服務02OPTION云審計服務（CloudTraceService，CTS）是華為云安全解決方案中專業(yè)的日志審計服務，提供對各種云資源操作記錄的收集、存儲和查詢功能，可用于支撐安全分析、合規(guī)審計、資源跟蹤和問題定位等常見應用場景。CTS介紹企業(yè)數據上云以后，為了有效地管理企業(yè)數據資源，一般通過華為云賬戶進行統(tǒng)一的操作，而CTS就是針對華為云賬戶而設立的審計服務。它可以有效地監(jiān)聽用戶的各種針對資源的操作，識別高風險操作并記錄，從而進行資源跟蹤和合規(guī)審計等工作。8.2.3 云數據庫服務安全VPC網絡安全03OPTION數據庫上云后，如何避免數據庫因網絡攻擊導致數據丟失造成數據安全隱患，是企業(yè)必須要考慮的問題。華為云服務提供了隔離的虛擬私有網絡環(huán)境（VPC），用戶的資源和應用與云中的其他用戶是完全隔離的，安全性更高。VPC網絡環(huán)境8.2.3 云數據庫服務安全統(tǒng)一身份認證服務04OPTION數據庫上云后，操作數據庫的方式從直接的命令端訪問變?yōu)橥ㄟ^云賬號進行的上云操作。由于云賬號是一種主要的操作數據庫的方式，因此用戶需要對其進行權限管控。統(tǒng)一身份認證服務（IdentityandAccessManagement，IAM）提供了適合企業(yè)級組織結構的用戶賬號管理服務，可為企業(yè)用戶分配不同的資源及操作權限。用戶通過使用訪問密鑰獲得基于IAM的認證和鑒權后，以調用API的方式訪問云資源。IAM按層次和細粒度授權，保證同一企業(yè)租戶的不同用戶在使用云資源上得到有效管控，避免單個用戶因為誤操作等導致整個云服務的不可用，確保租戶業(yè)務的持續(xù)性。IAM賬號精細化訪問控制8.1傳統(tǒng)數據庫8.2云數據庫服務8.3華為云數據庫服務學習要點8.4華為云數據庫實踐8.3 華為云數據庫服務該架構一方面能夠盡量減少跨核內存訪問的時延問題，另一方面能夠充分發(fā)揮華為芯片的多核算力優(yōu)勢，所提供的關鍵技術包括重做日志批插、熱點數據NUMA分布、CLog分區(qū)等，可以大幅提升系統(tǒng)的處理性能?；谌A為芯片所使用的ARMv8.1架構，利用LSE擴展指令集來實現高效的原子操作，可以有效提升CPU利用率，從而提升多線程間同步性能、XLog持久化記錄數據庫中的變更信息寫入性能等。華為芯片支持NUMA架構，能夠很好地解決同時多線程（SMT）技術對CPU核數的制約。華為芯片的NUMA架構華為芯片非統(tǒng)一內存訪問架構優(yōu)化GaussDB（foropenGauss）基于華為處理器的多核非統(tǒng)一內存訪問（NUMA）架構，進行一系列針對NUMA架構的相關優(yōu)化。8.3 華為云數據庫服務SMP并行執(zhí)行技術華為云數據庫服務GaussDB（foropenGauss）基于SMP并行執(zhí)行技術實現算子級的并行，能夠有效減少查詢的執(zhí)行時間，提升查詢性能及資源利用率。SMP并行執(zhí)行技術的整體實現思想是對于能夠并行的查詢算子，將數據分片并啟動若干個工作線程分別計算，最后將結果匯總并返回前端。SMP并行執(zhí)行可以增加數據交互算子（Stream），實現多個工作線程之間的數據交互，以確保查詢的正確性，完成整體的查詢。SMP并行執(zhí)行是在線程級別上完成的，理論上可以使并行執(zhí)行的子任務數達到物理服務器核數的上限。SMP并行線程是在同一個進程內的，可以直接通過內存進行數據交換，不需要占用網絡連接與帶寬，降低了限制MPP系統(tǒng)性能提升的網絡因素的影響。由于并行子任務啟動后不需要附帶其他后臺工作線程，可以提高系統(tǒng)計算資源的有效利用率。8.3 華為云數據庫服務SwitchTurbo技術GaussDB（foropenGauss）提供了多種高可用方案，包括同城AZ內高可用、跨AZ高可用、異地跨區(qū)域的“兩地三中心”容災方案，滿足金融級監(jiān)管要求。GaussDB（foropenGauss）通過獨有的SwitchTurbo技術，保障了同城AZ內出現單點故障時能夠快速切換，RPO為0，RTO小于10s。SwitchTurbo技術支持大并發(fā)、大數據量、以聯機事務處理為主的交易型應用，并且具備PB級數據負載能力，通過內存分析技術滿足海量數據邊入庫邊查詢要求，適用于安全、電信、金融、物聯網等行業(yè)的詳單查詢業(yè)務。8.3 華為云數據庫服務底層虛擬機動態(tài)編譯技術在CPU內存計算上，傳統(tǒng)數據處理引擎面臨著諸多短板，具體如下。這些短板制約了數據庫執(zhí)行性能的提升，無法構建數據庫產品核心競爭力。條件邏輯冗余頻繁虛函數調用數據局域化程度低難以發(fā)揮新硬件擴展指令集性能GaussDB（foropenGauss）借助LLVM提供的庫函數，依據查詢執(zhí)行計劃樹，將原本在執(zhí)行器階段才會確定查詢實際執(zhí)行路徑的過程提前到執(zhí)行初始化階段，從而規(guī)避原本查詢執(zhí)行時候伴隨的函數調用、邏輯條件分支判斷及大量的數據讀取等問題，以達到提升查詢性能的目的。底層虛擬機（LowLevelVirtualMachine，LLVM）技術提供了完整編譯系統(tǒng)的中間層，它會將中間表示（IntermediateRepresentation，IR）從編譯器取出與優(yōu)化，優(yōu)化后的IR接著被轉換及鏈接到目標平臺的匯編語言。LLVM也可以在編譯時期、鏈接時期，甚至是運行時期產生可重新定位的代碼（RelocatableCode）。8.3 華為云數據庫服務行級訪問控制ACB傳統(tǒng)的數據庫在數據庫安全層面只能做到最小為表級的權限訪問控制。GaussDB（foropenGauss）的行級訪問控制特性將數據庫訪問粒度控制到數據行級別，使數據庫擁有行級訪問控制的能力。這使得不同用戶執(zhí)行相同的SQL查詢操作，讀取到的結果可能是不同的。用戶可以在數據表創(chuàng)建行級安全策略，該策略是指針對特定數據庫用戶、特定SQL操作生效的表達式。當數據庫用戶對數據表進行訪問時，若SQL滿足數據表特定的行級安全策略，則在查詢優(yōu)化階段將滿足條件的表達式按照屬性類型，通過AND或OR方式拼接，應用到執(zhí)行計劃上。行級訪問控制旨在控制表中行級數據可見性，通過在數據表上預定義Filter，在查詢優(yōu)化階段將滿足條件的表達式應用到執(zhí)行計劃上，影響最終的執(zhí)行結果。當前行級訪問控制支持的SQL語句包括SELECT、UPDATE、DELETE等。8.3 華為云數據庫服務支持HyperLogLogHLL在計算速度和所占存儲空間上都占優(yōu)勢。在時間復雜度上，Sort算法進行排序至少需要O(nlogn)；Hash算法和HLL均為掃描一次全表O(n)的時間就可以得出結果。在存儲空間上，Sort算法和Hash算法都需要先保存原始數據再進行統(tǒng)計，導致存儲空間消耗巨大；而對HLL來說，它不需要保存原始數據，只需要維護HLL數據結構，故其占用的空間始終是1280字節(jié)。GaussDB（foropenGauss）采用分布式HLL架構。數據節(jié)點承擔計算HLL的任務，使其結果在CN（CoordinatorNode）匯總，避免了CN計算瓶頸。HyperLogLog（HLL）是統(tǒng)計數據集中唯一值個數的高效近似算法。它有著計算速度快、節(jié)省空間的特點，不需要直接存儲集合本身，而是存儲一種名為HLL的數據結構。每當有新數據加入統(tǒng)計時，只需將數據經過Hash計算插入HLL中，最后根據HLL就可以得到結果。010203在GaussDB的AI全景圖中，主要有AI4DB和DB4AI兩個部分。其中AI4DB是指用人工智能技術優(yōu)化數據庫的性能，從而獲得更好的執(zhí)行表現，也可以通過人工智能的手段實現自治、免運維等功能。DB4AI指的是打通數據庫到人工智能應用的端到端流程，統(tǒng)一人工智能技術棧，達到開箱即用、高性能、節(jié)約成本等目的。8.3 華為云數據庫服務為更好地滿足時下數據庫日益增長的性能需求，GaussDB（foropenGauss）提前做好規(guī)劃，引入AI能力，打造智能數據庫。GaussDB的AI全景AI能力8.1傳統(tǒng)數據庫8.2云數據庫服務8.3華為云數據庫服務學習要點8.4華為云數據庫實踐8.4 華為云數據庫實踐操作流程本實踐使用DRS的實時同步功能將本地Oracle數據庫實時遷移至華為云GaussDB。通過全量+增量同步，實現源數據庫Oracle和目標數據庫GaussDB的數據長期同步。8.4.1 創(chuàng)建VPC單擊

按鈕，在右側選擇“網絡>虛擬私有云VPC”選項，根據界面提示填寫基本信息。單擊“創(chuàng)建虛擬私有云”按鈕，購買VPC。單擊“立即創(chuàng)建”按鈕，返回VPC列表，查看創(chuàng)建VPC是否創(chuàng)建完成。(1)(2)(3)登錄華為云控制臺，單擊控制臺左上角的

按鈕，選擇地區(qū)。選擇“網絡>虛擬私有云VPC”選項虛擬私有云信息界面8.4.2 創(chuàng)建安全組單擊“創(chuàng)建安全組”按鈕，根據界面提示，填寫安全組名稱等信息，單擊“確定”按鈕。(1)(2)(3)登錄華為云控制臺，選擇地區(qū)，單擊

按鈕，選擇“網絡>虛擬私有云VPC”選項，再選擇“訪問控制>安全組”選項?！皠?chuàng)建安全組”界面配置入方向規(guī)則返回安全組列表，單擊安全組名稱“sg-01”，選擇“入方向規(guī)則”選項，單擊“添加規(guī)則”按鈕，配置入方向規(guī)則，添加源庫的IP地址等信息。

添加規(guī)則8.4.3 創(chuàng)建GaussDB實例單擊“購買數據庫實例”按鈕，配置實例名稱和實例基本信息(1)(2)(3)登錄華為云控制臺，選擇地區(qū)，單擊

按鈕，，選擇“數據庫>云數據庫GaussDB”選項，在左側導航欄選擇“GaussDB>實例管理”選項。配置實例名稱和實例基本信息配置實例規(guī)格根據界面提示，配置實例規(guī)格，需要注意的是，本實例為測試實例，因此應選擇較小的測試規(guī)格，在實際情況中，用戶可選規(guī)格以界面為準。8.4.3 創(chuàng)建GaussDB實例配置實例密碼等信息，單擊“立即購買”按鈕，確認信息并提交。(4)(5)(6)選擇實例所屬的VPC（創(chuàng)建VPC）和安全組（創(chuàng)建安全組），配置數據庫端口。創(chuàng)建VPC和安全組配置實例密碼返回實例列表。當實例運行狀態(tài)為“正?！睍r，表示實例創(chuàng)建完成。8.4.4 構造遷移前數據遷移前需要在源庫構造一些數據類型，供遷移完成后驗證數據使用。用戶可通過執(zhí)行如下步驟在源庫構造數據。①執(zhí)行以下命令，創(chuàng)建一個用戶供實踐測試使用。createusertest_infoidentifiedbyxxx;其中，test_info為本次實踐創(chuàng)建的用戶，xxx為用戶的密碼，用戶可根據實際情況自行替換。②執(zhí)行以下命令，給用戶賦權。grantdbatotest_info;③在當前用戶下創(chuàng)建一個數據表，具體命令及數據表元素類型如下所示。CREATETABLEtest_info.DATATYPELIST(IDINT,COL_01_CHAR______ECHAR(100),(1)根據本地的Oracle數據庫的IP地址，通過數據庫連接工具（如DBeaver、Navicat、SQLDeveloper和DataGrip等）連接數據庫。根據DRS支持的數據類型，在源庫執(zhí)行語句構造數據，具體步驟如下。(2)8.4.4 構造遷移前數據COL_02_NCHAR_____ENCHAR(100),COL_03_VARCHAR___EVARCHAR(1000),COL_04_VARCHAR2__EVARCHAR2(1000),COL_05_NVARCHAR2_ENVARCHAR2(1000),COL_06_NUMBER____ENUMBER(38,0),COL_07_FLOAT_____EFLOAT(126),COL_08_BFLOAT____EBINARY_FLOAT,COL_09_BDOUBLE___EBINARY_DOUBLE,COL_10_DATE______EDATEDEFAULTSYSTIMESTAMP,COL_11_TS________ETIMESTAMP(6),COL_12_TSTZ______ETIMESTAMP(6)WITHTIMEZONE,COL_13_TSLTZ_____ETIMESTAMP(6)WITHLOCALTIMEZONE,COL_14_CLOB______ECLOBDEFAULTEMPTY_CLOB(),COL_15_BLOB______EBLOBDEFAULTEMPTY_BLOB(),COL_16_NCLOB_____ENCLOBDEFAULTEMPTY_CLOB(),COL_17_RAW_______ERAW(1000),COL_19_LONGRAW___ELONGRAW,COL_24_ROWID_____EROWID,PRIMARYKEY(ID));④執(zhí)行以下命令，在數據表中插入兩行數據。insertintotest_info.DATATYPELISTvalues(4,'huawei','xian','shanxi','zhongguo','shijie',666,12.321,1.123,2.123,sysdate,sysdate,sysdate,sysdate,'hw','cb','df','FF','FF','AAAYEVAAJAAAACrAAA');insertintotest_info.DATATYPELISTvalues(2,'Migratetest','test1','test2','test3','test4',666,12.321,1.123,2.123,sysdate,sysdate,sysdate,sysdate,'hw','cb','df','FF','FF','AAAYEVAAJAAAACrAAA');⑤完成數據表提交，使語句生效。8.4.4 構造遷移前數據在目標端創(chuàng)建庫，具體步驟如下。(3)①登錄華為云控制臺。②單擊控制臺左上角的

按鈕，選擇地區(qū)。③單擊

按鈕，選擇“數據庫>數據管理服務DAS”選項。④在左側導航欄選擇“數據管理服務DAS>開發(fā)工具”選項，進入開發(fā)工具數據庫登錄列表界面。⑤單擊“新增數據庫實例登錄”按鈕，打開“新增數據庫實例登錄”窗口。⑥選擇“數據庫引擎”“數據庫來源”目標實例，填寫登錄用戶名、密碼以及描述（非必填項）信息，開啟定時采集、SQL執(zhí)行記錄功能。如果開啟“定時采集”，則用戶需要勾選“記住密碼”。⑦單擊“測試連接”按鈕測試連接是否成功。如測試連接成功，將提示“連接成功”，則用戶可繼續(xù)新增操作；如果測試連接失敗，將提示連接失敗原因，則用戶需要根據提示信息進行修改。⑧設置完登錄信息后單擊“立即新增”按鈕。⑨新增完成后，單擊新增數據庫實例對應的“登錄”按鈕，登錄當前數據庫。⑩進入登錄的數據庫界面，選擇“SQL操作”>“SQL查詢”選項，進入SQL查詢界面。

執(zhí)行如下命令，創(chuàng)建兼容Oracle的GaussDB數據庫。例如，創(chuàng)建名為test_database_info的數據庫，用戶也可根據實際情況自行選擇。CREATEDATABASEtest_database_infoDBCOMPATIBILITY'ORA';8.4.4 構造遷移前數據登錄數據庫進入登錄的數據庫界面8.4.5 遷移數據庫在左側導航欄選擇“實時同步管理”選項，進入“實時同步管理”界面。(1)(2)登錄華為云控制臺，選擇地區(qū)，單擊

按鈕，選擇“數據庫>數據復制服務DRS”選項?！皩崟r同步管理”界面本節(jié)創(chuàng)建DRS實例，將本地Oracle上的test_info數據庫遷移到GaussDB實例的test_database_info數據庫中。8.4.5 遷移數據庫(3)配置同步實例信息，具體步驟如下。①選擇地區(qū)，填寫任務名稱，創(chuàng)建同步任務。②配置同步實例信息，選擇“數據流動方向”“源數據庫引擎”“目標數據庫引擎”“網絡類型”“DRS任務類型”“目標數據庫實例”“同步實例所在子網”（非必選）“同步模式”，選擇“規(guī)格類型”和“可用區(qū)”，也可以選填“標簽”。③單擊“開始創(chuàng)建”按鈕。創(chuàng)建同步任務配置同步實例信息8.4.5 遷移數據庫(4)配置源庫及目標庫信息，具體步驟如下。①設置源庫信息，填寫源庫的IP地址、端口、用戶、密碼等信息。填寫完成后，單擊“測試連接”按鈕，測試連接信息是否正確。②填寫目標庫的用戶名和密碼，填寫完成后，單擊“測試連接”按鈕，測試連接信息是否正確。③單擊“下一步”按鈕，仔細閱讀提示內容后，單擊“同意，并繼續(xù)”按鈕。設置源庫信息并測試連接填寫目標庫的用戶名和密碼8.4.5 遷移數據庫(5)設置同步，具體步驟如下。①在源庫中選擇需要遷移的數據庫和表，本實踐選擇“test_info”中的“DATATYPELIST”表。②選擇完成后，單擊“編輯”按鈕，可以重新為遷移后的庫和表命名。選擇需要遷移的數據庫和表為庫和表重新命名8.4.5 遷移數據庫③重命名表名，在本實踐中，將表名重新命名為“DATATYPELIST_After”。注意重新命名時不要使用特殊符號，否則會導致遷移后執(zhí)行SQL語句時報錯。④確認重命名設置內容，單擊“下一步”按鈕。重命名表名確認重命名8.4.5 遷移數據庫(6)高級設置，確認信息，本界面內容僅做確認，無法修改，確認完成后單擊“下一步”按鈕。確認信息8.4.5 遷移數據庫(7)數據加工。在該界面可以對遷移的表進行加工，包括選擇遷移的列，重新命名遷移后的列名，本實踐將“COL_01_CHAR______E”重新命名為“new-line”。具體操作步驟如下。選擇需要加工的表①選擇需要加工的表。②編輯“COL_01_CHAR______E”列。編輯列8.4.5 遷移數據庫檢查所有配置項是否正確③將“COL_01_CHAR______E”重新命名為“new-line”，單擊“確定”按鈕。④所有配置完成后，進行預檢查，確保遷移成功。⑤檢查所有配置項是否正確。⑥單擊“啟動任務”按鈕，仔細閱讀提示后，勾選“我已閱讀啟動前須知”復選框。⑦單擊“啟動任務”按鈕，完成任務創(chuàng)建。⑧任務創(chuàng)建成功后，返回任務列表查看創(chuàng)建的任務狀態(tài)。查看創(chuàng)建的任務狀態(tài)學習進步！華為云計算技術與應用第9章

華為云計算綜合實踐華為云計算技術與應用9.1華為Web網站應用實踐9.2華為云服務運維管理實踐學習要點9.1.1 網站應用方案介紹小型網站一般會部署在單臺服務器上，用戶對頁面的訪問、動靜態(tài)內容的使用、數據庫的使用和計算全部是在一臺服務器上完成的。當網站業(yè)務發(fā)展到中型規(guī)模時，用戶對數據庫的訪問量劇增，單臺服務器配置已不能滿足業(yè)務要求，此時，可將數據庫和網站程序分開部署在不同的服務器上分擔性能壓力。根據我國規(guī)定，網站所使用的服務器需要進行ICP備案（又稱域名備案），備案可由網站所在的服務器托管商完成，沒有經過備案的網站域名不能被訪問。可將數據節(jié)點與業(yè)務節(jié)點分開部署在不同的服務器上?？舍槍Σ煌瑯I(yè)務量動態(tài)調整服務器個數?？勺詣訉⒘髁糠职l(fā)到多臺服務器?？蛇M行域名注冊及解析?？蛇M行網站備案。應用場景以使用華為云搭建某論壇網站為例，這種場景下的需求如左所示9.1.1 網站應用方案介紹針對應用場景的各項需求，使用華為云搭建論壇網站的方案及所需服務如下表所示。設計方案需求華為云方案服務將數據節(jié)點與業(yè)務節(jié)點分開部署搭建網站：購買兩臺彈性云服務器代替?zhèn)鹘y(tǒng)服務器，分別作為網站的數據節(jié)點和基礎業(yè)務節(jié)點。由虛擬私有云為彈性云服務器提供網絡資源。在購買服務器過程中，用戶可以根據實際部署方案的要求，選擇是否為云服務器掛載云硬盤作為數據盤彈性云服務器虛擬私有云、云硬盤（可選）針對不同業(yè)務量動態(tài)調整服務器個數配置特性：根據業(yè)務需求和策略采用彈性伸縮，使用基礎業(yè)務節(jié)點的鏡像動態(tài)地調整作為業(yè)務節(jié)點的彈性云服務器實例個數，保證業(yè)務平穩(wěn)、健康運行彈性伸縮自動將流量分發(fā)到多臺服務器配置特性：使用負載均衡將訪問流量自動分發(fā)到多臺業(yè)務節(jié)點彈性云服務器，擴展應用系統(tǒng)對外的服務能力，實現更高水平的應用程序容錯性能彈性負載均衡在Internet上通過域名直接訪問該網站訪問網站：為該網站注冊域名，并為域名配置解析記錄。注冊域名后，通過DNS獲取域名與IP地址的對應關系，從而查找到相應的服務器，打開網頁域名注冊云解析服務9.1.1 網站應用方案介紹邏輯架構網站搭建（參考如圖所示的方案進行）01OPTION為彈性云服務器1綁定彈性IP，搭建數據庫。先解綁彈性云服務器1上的彈性IP，再將彈性IP綁定至彈性云服務器2上，搭建Web環(huán)境并部署網站程序。彈性伸縮可以根據業(yè)務量的變化，通過彈性云服務器2的鏡像生成彈性伸縮組中的彈性云服務器。彈性伸縮組使用彈性負載均衡監(jiān)聽器。通過彈性負載均衡服務的公網IP訪問網站。彈性負載均衡服務將訪問流量自動分發(fā)到多臺彈性云服務器。(1)(2)(3)(4)9.1.1 網站應用方案介紹域名配置及備案（整體流程如圖所示）02OPTION購買域名：如果用戶想要通過域名訪問網站，那么用戶首先需要擁有域名。用戶可以在華為云或第三方購買域名。通過華為云購買域名并進行域名注冊的步驟如下。(1)9.1.1 網站應用方案介紹a．域名注冊c．域名購買b．“域名查詢”界面9.1.1 網站應用方案介紹域名備案：當前法律法規(guī)規(guī)定所有網站都需要備案才能運營，備案分為網站域名備案（中華人民共和國工業(yè)和信息化部備案）和公安局備案兩種。解析并綁定域名：通過配置域名解析與綁定，將域名解析至云速建站，實現域名與IP地址的轉換。云速建站支持在華為云或第三方解析域名，然后在云速建站中綁定已解析的域名。添加SSL證書：如果用戶想通過HTTPS訪問網站，則需要為域名添加對應的SSL證書。對購買的域名進行解析及備案后，用戶及其他訪客可以通過域名直接訪問網站。(2)(3)(4)網站域名備案的域名備案原則是服務器資源在哪里就在哪里備案。購買云速建站后，需要在華為云備案。如果域名已在第三方備案過，當前需要把此域名綁定到云速建站，依然要在華為云備案。一些網站需要到公安局備案，由于各個地區(qū)的政策有可能不相同，在不同的公安局進行備案可能會有不同的要求。在某些地區(qū)，公安局備案需要申辦人本人攜帶身份證去當地公安局指定網警大隊進行核對、驗證。9.1.2 搭建論壇網站搭建論壇網站需要的云服務資源如下圖所示，步驟依次為：創(chuàng)建虛擬私有云、申請彈性IP、創(chuàng)建安全組并添加規(guī)則、購買華為彈性云服務器，以及購買域名。云服務購買Discuz!論壇是全球成熟度最高、覆蓋率最大的論壇軟件系統(tǒng)之一。Discuz!將論壇、社交、平臺等功能融為一體，能夠實現一站式服務。9.1.2 搭建論壇網站搭建流程搭建數據庫安裝MySQL，具體步驟如下。01OPTION遠程登錄云服務器discuz01。執(zhí)行以下命令，安裝MySQL數據庫服務器、MySQL客戶端和MySQL開發(fā)所需的庫及包含文件。(1)(2)yuminstall-ymysql-servermysqlmysql-devel9.1.2 搭建論壇網站配置MySQL，具體步驟如下。02OPTION①servicemysqldstart//啟動MySQL服務②mysqladmin-urootpassword'Huawei@123'//設置數據庫管理員賬號密碼③mysql-uroot-p//根據提示輸入數據庫管理員root賬號密碼④usemysql//使用MySQL數據庫⑤selecthost,userfromuser;//查看用戶列表⑥updateusersethost='%'whereuser='root'LIMIT1;//刷新用戶列表并允許所有IP對數據庫訪問⑦flushprivileges;//強制刷新權限⑧quit；//退出數據庫⑨servicemysqldrestart；//重啟MySQL服務⑩chkconfigmysqldon；//設置開機自動啟動MySQL服務serviceiptablesstop；//關閉防火墻chkconfigiptablesoff；//設置服務器重啟后永久關閉防火墻9.1.2 搭建論壇網站搭建Web環(huán)境安裝Web環(huán)境01OPTION將彈性IP從彈性云服務器discuz01上解綁，并綁定至彈性云服務器discuz02上，云服務器解綁操作步驟如下圖所示。(1)9.1.2 搭建論壇網站9.1.2 搭建論壇網站遠程登錄云服務器discuz02。執(zhí)行以下命令，安裝Apache服務器、PHPFastCGI管理器、MySQL客戶端和MySQL數據庫服務器。yuminstall-yhttpdphpphp-fpmmysqlmysql-serverphp-mysql執(zhí)行以下命令，更新Apache服務器、PHPFastCGI管理器、MySQL客戶端和MySQL數據庫服務器。yumreinstall-yhttpdphpphp-fpmmysqlmysql-serverphp-mysql(2)(3)(4)9.1.2 搭建論壇網站配置Web環(huán)境02OPTION①servicehttpdstart//啟動httpd服務②chkconfighttpdon //設置開機自動啟動httpd服務③servicephp-fpmstart//啟動php-fpm服務④chkconfigphp-fpmon//設置開機自動啟動php-fpm服務⑤serviceiptablesstop //關閉防火墻⑥chkconfigiptablesoff //設置服務器重啟后永久關閉防火墻⑦servicemysqldstart//啟動MySQL服務⑧chkconfigmysqldon//設置開機自動啟動MySQL服務⑨在瀏覽器地址欄中輸入“http://彈性IP地址”并按回車鍵，訪問服務器的默認主頁9.1.2 搭建論壇網站①遠程登錄云服務器discuz02，下載Discuz!軟件。②解壓Discuz!安裝包。 //設置開機自動啟動httpd服務③cp-rupload/*/var/www/html//將解壓后的“upload”文件夾下的所有文件復制到“var/www/html”路徑下④chmod-R777/var/www/html//將寫權限賦予其他用戶⑤在瀏覽器地址欄里輸入“http://彈性IP地址”并按回車鍵，進入“安裝向導”界面，按照向導進行安裝。部署網站代碼9.1.2 搭建論壇網站驗證搭建結果在瀏覽器地址欄中輸入“http://彈性IP地址/forum.php”并按回車鍵，可登錄Discuz!主頁則說明網站搭建成功，Discuz!主頁如下圖所示。9.1.3 配置特性彈性伸縮可幫助解決以上問題。當在論壇的服務器系統(tǒng)中應用彈性伸縮后，系統(tǒng)可以根據設定的策略，自動地增加或減少服務器的數量，在保證網站正常運轉的同時節(jié)約成本。下面介紹如何使用彈性伸縮服務搭建一個可自動增加或減少彈性云服務器數量的Web服務。釋放彈性IP創(chuàng)建彈性負載均衡配置彈性負載均衡制作鏡像配置彈性伸縮驗證配置結果①創(chuàng)建彈性伸縮組及伸縮配置。②為彈性伸縮組配置策略。③增加伸縮實例。④修改伸縮組。①獲取彈性負載均衡服務的彈性IP地址。②在瀏覽器地址欄中輸入“http://彈性IP地址/forum.php”并按回車鍵，可以訪問網站則說明網站的特性配置成功。用戶所能使用的彈性IP數目默認為一個，如果需要擴大彈性IP的配額，則需要另外申請。使用彈性負載均衡功能時，系統(tǒng)會自動分配一個公網IP，該公網IP屬于彈性IP。9.1.4 訪問網站下圖所示為訪問網站示意，訪客可以在Internet上通過已備案的域名訪問網站。9.1華為Web網站應用實踐9.2華為云服務運維管理實踐學習要點9.2.1 云服務運維管理概述隨著企業(yè)IT信息化的不斷深入，企業(yè)對IT系統(tǒng)的依賴程度與日俱增。企業(yè)各種IT系統(tǒng)成為企業(yè)業(yè)務的助推器，提升了企業(yè)業(yè)務的管理效率。但是隨著企業(yè)愈發(fā)離不開IT系統(tǒng)，如何保障IT系統(tǒng)高效、穩(wěn)定、持續(xù)，甚至“7×24h”不間斷地提供服務，成為企業(yè)中各級IT人員急需解決的關鍵問題。傳統(tǒng)的IT運維是指等到IT系統(tǒng)出現故障后，再由運維人員采取相應的補救措施。這種被動的、孤立的IT運維管理模式往往使IT部門疲憊不堪，主要表現在以下3個方面。運維人員被動、效率低。缺乏有效的IT運維機制。缺乏高效的IT運維工具。9.2.1 云服務運維管理概述自動化運維的價值在于將運維與煩瑣、日常、易發(fā)生事故的工作分離，實現更有價值的業(yè)務運維，其最終目標是擺脫所有人力的干預，實現運維服務便捷化。云服務的運維管理方式可大致分為以下4種，其中除方式①以外，其余都可以被用于實現運維自動化或半自動化。②云平臺提供各類云服務的API，用戶可以通過調用接口的工具對云服務進行管理，如調用華為云的APIExplorer工具。①直接登錄云平臺的管控界面，如在華為云控制臺手動創(chuàng)建云服務資源并管理。④使用Terraform、Ansible等專業(yè)的云運維管理工具。③云平臺提供多種SDK，把云服務的操作拆解成多個API，供使用廠商通過代碼進行調用。本節(jié)主要介紹方式③下華為云服務的運維管理。9.2.2 華為云PythonSDK獲取和安裝安裝VPC服務庫：在Windows終端中執(zhí)行如下命令安裝VPC服務庫。pipinstallhuaweicloudsdkvpc安裝ECS服務庫：在Windows終端中執(zhí)行如下命令安裝ECS服務庫。pipinstallhuaweicloudsdkecs安裝EVS服務庫：在Windows終端中執(zhí)行如下命令安裝EVS服務庫。pipinstallhuaweicloudsdkevs(2)(3)(4)安裝核心庫：在Windows終端中執(zhí)行如下命令安裝核心庫。pipinstallhuaweicloudsdkcore(1)安裝華為云PythonSDK核心庫及其他相關服務庫，可以使用pip或源碼進行安裝，具體步驟如下。9.2.2 華為云PythonSDK獲取和安裝#安裝核心庫cd.\huaweicloud-sdk-python-v3-master\huaweicloud-sdk-core\huaweicloudsdkcorepythonsetup.pyinstall#安裝VPC服務庫cd..\..\huaweicloud-sdk-vpc\huaweicloudsdkvpcpythonsetup.pyinstall#安裝ECS服務庫cd..\..\huaweicloud-sdk-ecs\huaweicloudsdkecspythonsetup.pyinstall#安裝EVS服務庫cd..\..\huaweicloud-sdk-evs\huaweicloudsdkevspythonsetup.pyinstall除了使用pip安裝，也可以使用源碼安裝。下載華為云PythonSDK源碼并解壓，執(zhí)行如下命令安裝華為云PythonSDK核心庫以及相關服務庫。9.2.3 華為云SDK在PythonConsole中的使用示例使用PythonConsole同步查詢特定Region下的VPC列表。進入PythonConsole01OPTION在Windows終端中輸入“python”并執(zhí)行，進入PythonConsole，如圖所示。執(zhí)行如下命令進行測試。print("helloworld")9.2.3 華為云SDK在PythonConsole中的使用示例導入依賴模塊02OPTION在PythonConsole中執(zhí)行如下命令導入依賴模塊。#導入核心庫依賴模塊fromhuaweicloudsdkcore.auth.credentialsimportBasicCredentialsfromhuaweicloudsdkcore.exceptionsimportexceptionsfromhuaweicloudsdkcore.http.http_configimportHttpConfig#導入VPC服務庫依賴模塊fromhuaweicloudsdkvpc.v2import*9.2.3 華為云SDK在PythonConsole中的使用示例配置客戶端屬性03OPTION①使用默認配置。配置客戶端屬性時，可以使用默認配置或代理配置，執(zhí)行如下命令使用默認配置。config=HttpConfig.get_default_config()②代理配置（可選）。輸入并按實際情況修改如下代碼以使用代理配置。xy_protocol='http'xy_host=''xy_port=80xy_user='username'xy_password='password'③連接配置。配置連接超時時，支持統(tǒng)一指定超時時長timeout=timeout，或者分別指定超時時長timeout=(connecttimeout,readtimeout)，執(zhí)行如下命令統(tǒng)一指定超時時長。config.timeout=3④SSL配置。執(zhí)行如下命令配置跳過服務端證書驗證。config.ignore_ssl_verification=True⑤配置服務器端證書授權（CertificateAuthority，CA）（可選）。config.ssl_ca_cert=ssl_ca_cert9.2.3 華為云SDK在PythonConsole中的使用示例輸入認證信息，輸入并修改如下代碼以輸入認證信息。04OPTIONak="{yourakstring}"sk="{yourskstring}"endpoint="{yourendpoint}"project_id="{yourprojectid}"①在華為云控制臺“我的憑證-訪問密鑰”界面單擊“新增訪問密鑰”按鈕，控制臺會自動下載credentials.csv文件，打開文件即可找到ak、sk密鑰。②查看地區(qū)和終端節(jié)點（華為云各服務應用地區(qū)和各服務