馬哥教育IT人的高薪職業(yè)學(xué)院學(xué)高端IT

·

賺取高薪

·就到馬哥教育馬哥教育二階段實(shí)戰(zhàn)課程Linux云計(jì)算運(yùn)維工程師互聯(lián)網(wǎng)企業(yè)的基石，實(shí)操類高薪人才，擁有服務(wù)集群、虛擬化、Web應(yīng)用、自動(dòng)化、云計(jì)算等核心技術(shù)Linux管理和服務(wù)Linux企業(yè)級(jí)應(yīng)用10+高級(jí)模塊模塊均為互聯(lián)網(wǎng)公司常用工具20+實(shí)戰(zhàn)演練每個(gè)模塊都結(jié)合企業(yè)級(jí)應(yīng)用進(jìn)行演練面試技巧模擬真實(shí)面試場(chǎng)景，全方面掌握面試各個(gè)環(huán)節(jié)企業(yè)級(jí)項(xiàng)目通過(guò)企業(yè)級(jí)項(xiàng)目，深刻掌握運(yùn)維工程師工作要領(lǐng)馬哥Linux馬哥教育二階段入門項(xiàng)目馬哥教育二階段最終項(xiàng)目逐步實(shí)現(xiàn)大型互聯(lián)網(wǎng)運(yùn)維架構(gòu)方案掌握互聯(lián)網(wǎng)運(yùn)維架構(gòu)模型實(shí)現(xiàn)單臺(tái)服務(wù)器Web架構(gòu)實(shí)現(xiàn)多臺(tái)服務(wù)器集群架構(gòu)實(shí)現(xiàn)Web緩存、存儲(chǔ)多級(jí)高級(jí)架構(gòu)實(shí)現(xiàn)監(jiān)控體系、安全體系實(shí)現(xiàn)運(yùn)維自動(dòng)化方案實(shí)現(xiàn)虛擬化、云計(jì)算架構(gòu)企業(yè)項(xiàng)目全面操練Linux運(yùn)維工程師職能劃分Linux云計(jì)算工程師三大核心職能平臺(tái)架構(gòu)組建負(fù)責(zé)參與并審核架構(gòu)設(shè)計(jì)的合理性和可運(yùn)維性，搭建運(yùn)維平臺(tái)技術(shù)架構(gòu)，通過(guò)開源解決方案，以確保在產(chǎn)品發(fā)布之后能高效穩(wěn)定的運(yùn)行，保障并不斷提升服務(wù)的可用性，確保用戶數(shù)據(jù)安全，提升用戶體驗(yàn)。負(fù)責(zé)用運(yùn)維技術(shù)或者運(yùn)維平臺(tái)確保產(chǎn)品可以高效的發(fā)布上線，負(fù)責(zé)保障產(chǎn)品7*24H穩(wěn)定運(yùn)行，在此期間對(duì)出現(xiàn)的各種問(wèn)題可以快速定位并解決；在日常工作中不斷優(yōu)化系統(tǒng)架構(gòu)和部署的合理性，以提升系統(tǒng)服務(wù)的穩(wěn)定性。日常運(yùn)營(yíng)保障性能、效率優(yōu)化用自動(dòng)化的工具/平臺(tái)提升軟件在研發(fā)生命周期中的工程效率。不斷優(yōu)化系統(tǒng)架構(gòu)、提升部署效率、優(yōu)化資源利用率支持產(chǎn)品的不斷迭代，需要不斷的進(jìn)行架構(gòu)優(yōu)化調(diào)整。以確保整個(gè)產(chǎn)品能夠在功能不斷豐富和復(fù)雜的條件下，同時(shí)保持高可用性。haproxy實(shí)現(xiàn)高級(jí)負(fù)載均衡實(shí)戰(zhàn)ABCD項(xiàng)目介紹模塊講解實(shí)戰(zhàn)演練企業(yè)級(jí)應(yīng)用1項(xiàng)目介紹Mysql實(shí)現(xiàn)企業(yè)級(jí)數(shù)據(jù)庫(kù)主從復(fù)制架構(gòu)實(shí)戰(zhàn)公司業(yè)務(wù)的發(fā)展迅速，用戶數(shù)據(jù)已成為公司的核心命脈，一次老王一不小心把數(shù)據(jù)庫(kù)文件刪除，通過(guò)mysqldump備份策略恢復(fù)用了兩個(gè)小時(shí)，在這兩小時(shí)中，公司業(yè)務(wù)中斷，損失100萬(wàn)，老王做出深刻反省，公司也因此對(duì)于數(shù)據(jù)庫(kù)的穩(wěn)定性、可靠性提出更高要求。要求對(duì)數(shù)據(jù)庫(kù)進(jìn)行改造，使其承載力進(jìn)行提升，故障修復(fù)時(shí)間減少，有沒有能實(shí)現(xiàn)的方案呢？實(shí)戰(zhàn)項(xiàng)目七高可用架構(gòu)對(duì)于互聯(lián)網(wǎng)服務(wù)基本是標(biāo)配，無(wú)論是應(yīng)用服務(wù)還是數(shù)據(jù)庫(kù)服務(wù)都需要做到高可用。雖然互聯(lián)網(wǎng)服務(wù)號(hào)稱7*24小時(shí)不間斷服務(wù)，但多多少少有一些時(shí)候服務(wù)不可用，比如某些時(shí)候網(wǎng)頁(yè)打不開，百度不能搜索或者無(wú)法發(fā)微博，發(fā)微信等。一般而言，衡量高可用做到什么程度可以通過(guò)一年內(nèi)服務(wù)不可用時(shí)間作為參考，要做到3個(gè)9的可用性，一年內(nèi)只能累計(jì)有8個(gè)小時(shí)不可服務(wù)，而如果要做到5個(gè)9的可用性，則一年內(nèi)只能累計(jì)5分鐘服務(wù)中斷。所以雖說(shuō)每個(gè)公司都說(shuō)自己的服務(wù)是7*24不間斷的，但實(shí)際上能做到5個(gè)9的屈指可數(shù)，甚至根本做不到，國(guó)內(nèi)互聯(lián)網(wǎng)巨頭BAT(百度，阿里巴巴，騰訊)都有因?yàn)楣收蠈?dǎo)致的停服問(wèn)題。對(duì)于一個(gè)系統(tǒng)而言，可能包含很多模塊，比如前端應(yīng)用，緩存，數(shù)據(jù)庫(kù)，搜索，消息隊(duì)列等，每個(gè)模塊都需要做到高可用，才能保證整個(gè)系統(tǒng)的高可用。對(duì)于數(shù)據(jù)庫(kù)服務(wù)而言，高可用可能更復(fù)雜，對(duì)用戶的服務(wù)可用，不僅僅是能訪問(wèn)，還需要有正確性保證，因此，對(duì)于實(shí)現(xiàn)數(shù)據(jù)庫(kù)高可用，對(duì)互聯(lián)網(wǎng)公司來(lái)說(shuō)極其重要！數(shù)據(jù)庫(kù)高可用技術(shù)說(shuō)明企業(yè)級(jí)數(shù)據(jù)庫(kù)高可用架構(gòu)圖分析完需求后對(duì)項(xiàng)目進(jìn)行分解，分解后分階段去逐步完成各個(gè)環(huán)節(jié)需求分析針對(duì)硬件、CPU、內(nèi)存、硬盤進(jìn)行選型，對(duì)操作系統(tǒng)，軟件版本年進(jìn)行選型技術(shù)選型項(xiàng)目分解充分了解項(xiàng)目中所提出的需求，針對(duì)需求暫定出初步計(jì)劃可行性方案探究架構(gòu)方案設(shè)計(jì)針對(duì)業(yè)務(wù)場(chǎng)景，設(shè)計(jì)出對(duì)應(yīng)的運(yùn)維架構(gòu)，從各個(gè)層面多維度保證業(yè)務(wù)方案對(duì)設(shè)計(jì)的方案進(jìn)行可行性研究，驗(yàn)證架構(gòu)的可行性，從業(yè)務(wù)的質(zhì)

量、維護(hù)成本、可行性、可擴(kuò)展性等多維度進(jìn)行多角度衡量

項(xiàng)目準(zhǔn)備下載最新穩(wěn)定版本的安裝包軟件，并了解各軟件包的組成結(jié)構(gòu)模塊掌握軟件部署服務(wù)啟動(dòng)修改軟件配置文件，并實(shí)現(xiàn)目標(biāo)功能和效果將下載的軟件包進(jìn)行安裝部署，并按照規(guī)范添加需要的功能掌握項(xiàng)目中各個(gè)模塊功能的原理、角色、以及實(shí)現(xiàn)方式啟動(dòng)相關(guān)服務(wù)，并檢查服務(wù)日志內(nèi)容，保證服務(wù)進(jìn)程、端口、狀態(tài)正常軟件準(zhǔn)備配置修改項(xiàng)目實(shí)踐效果檢驗(yàn)2模塊講解：Mysql實(shí)現(xiàn)企業(yè)級(jí)數(shù)據(jù)庫(kù)主從復(fù)制架構(gòu)實(shí)戰(zhàn)

Mysql內(nèi)建的復(fù)制功能是構(gòu)建大型，高性能應(yīng)用程序的基礎(chǔ)。將Mysql的數(shù)據(jù)分布到多個(gè)系統(tǒng)上去，這種分布的機(jī)制，是通過(guò)將Mysql的某一臺(tái)主機(jī)（Master）的數(shù)據(jù)復(fù)制到其它主機(jī)（slaves）上，并重新執(zhí)行一遍來(lái)實(shí)現(xiàn)的。復(fù)制過(guò)程中一個(gè)服務(wù)器充當(dāng)主服務(wù)器，而一個(gè)或多個(gè)其它服務(wù)器充當(dāng)從服務(wù)器。主服務(wù)器將更新寫入二進(jìn)制日志文件，并維護(hù)文件的一個(gè)索引以跟蹤日志循環(huán)。這些日志可以記錄發(fā)送到從服務(wù)器的更新。當(dāng)一個(gè)從服務(wù)器連接主服務(wù)器時(shí)，它通知主服務(wù)器從服務(wù)器在日志中讀取的最后一次成功更新的位置。從服務(wù)器接收從那時(shí)起發(fā)生的任何更新，然后封鎖并等待主服務(wù)器通知新的更新。

Mysql主從架構(gòu)技術(shù)說(shuō)明主從復(fù)制架構(gòu)圖Mysql復(fù)制解決的問(wèn)題MySQL復(fù)制技術(shù)有以下一些特點(diǎn)：(1)數(shù)據(jù)分布(Datadistribution)(2)負(fù)載平衡(loadbalancing)(3)備份(Backups)(4)高可用性和容錯(cuò)性Highavailabilityandfailover數(shù)據(jù)庫(kù)復(fù)制特性Mysql復(fù)制如何工作Mysql的復(fù)制功能主要有3個(gè)步驟：

(1)主服務(wù)器（master）將改變記錄到二進(jìn)制日志(binarylog)中（這些記錄叫做二進(jìn)制日志事件，binarylogevents）(2)從服務(wù)器（slave）將主服務(wù)器master的binarylogevents拷貝到它的中繼日志(relaylog)(3)slave重做中繼日志中的事件，將改變反映它自己的數(shù)據(jù)。Mysql復(fù)制如何工作Mysql復(fù)制如何工作1、該過(guò)程的第一部分就是master記錄二進(jìn)制日志。在每個(gè)事務(wù)更新數(shù)據(jù)完成之前，master在二日志記錄這些改變。MySQL將事務(wù)串行的寫入二進(jìn)制日志，即使事務(wù)中的語(yǔ)句都是交叉執(zhí)行的。在事件寫入二進(jìn)制日志完成后，master通知存儲(chǔ)引擎提交事務(wù)。2、下一步就是slave將master的binarylog拷貝到它自己的中繼日志。首先，slave開始一個(gè)工作線程——I/O線程。I/O線程在master上打開一個(gè)普通的連接，然后開始binlogdumpprocess。Binlogdumpprocess從master的二進(jìn)制日志中讀取事件，如果已經(jīng)跟上master，它會(huì)睡眠并等待master產(chǎn)生新的事件。I/O線程將這些事件寫入中繼日志。3、SQLslavethread（SQL從線程）處理該過(guò)程的最后一步。SQL線程從中繼日志讀取事件，并重放其中的事件而更新slave的數(shù)據(jù)，使其與master中的數(shù)據(jù)一致。只要該線程與I/O線程保持一致，中繼日志通常會(huì)位于OS的緩存中，所以中繼日志的開銷很小。3實(shí)戰(zhàn)演練：Mysql實(shí)現(xiàn)企業(yè)級(jí)數(shù)據(jù)庫(kù)主從復(fù)制架構(gòu)實(shí)戰(zhàn)Mysql實(shí)現(xiàn)企業(yè)級(jí)數(shù)據(jù)庫(kù)主從復(fù)制架構(gòu)實(shí)戰(zhàn)實(shí)戰(zhàn)演練Mysql實(shí)現(xiàn)企業(yè)級(jí)數(shù)據(jù)庫(kù)主從復(fù)制架構(gòu)實(shí)戰(zhàn)：一、環(huán)境準(zhǔn)備：centos系統(tǒng)服務(wù)器2臺(tái)、一臺(tái)用戶做Mysql主服務(wù)器，一臺(tái)用于做Mysql從服務(wù)器，配置好yum源、防火墻關(guān)閉、各節(jié)點(diǎn)時(shí)鐘服務(wù)同步、各節(jié)點(diǎn)之間可以通過(guò)主機(jī)名互相通信二、準(zhǔn)備步驟：1、iptables-F&&setenforing清空防火墻策略，關(guān)閉selinux2、拿兩臺(tái)服務(wù)器都使用yum方式安裝Mysql服務(wù)，要求版本一致3、分別啟動(dòng)兩臺(tái)服務(wù)器mysql服務(wù)，確保服務(wù)正常實(shí)戰(zhàn)演練Mysql實(shí)現(xiàn)企業(yè)級(jí)數(shù)據(jù)庫(kù)主從復(fù)制架構(gòu)實(shí)戰(zhàn)：三、實(shí)現(xiàn)步驟:1、配置master主服務(wù)器對(duì)master進(jìn)行配置，包括打開二進(jìn)制日志，指定唯一的servrID。例如，在配置文件加入如下值server-id=1

#配置server-id，讓主服務(wù)器有唯一ID號(hào)log-bin=mysql-bin

#打開Mysql日志，日志格式為二進(jìn)制2．創(chuàng)建復(fù)制帳號(hào)在Master的數(shù)據(jù)庫(kù)中建立一個(gè)備份帳戶：每個(gè)slave使用標(biāo)準(zhǔn)的MySQL用戶名和密碼連接master。進(jìn)行復(fù)制操作的用戶會(huì)授予REPLICATIONSLAVE權(quán)限。GRANTREPLICATIONSLAVE,REPLICATIONCLIENTON*.*TObackup@’10.100.0.200’IDENTIFIEDBY‘magedu’3．查看主服務(wù)器狀態(tài)在Master的數(shù)據(jù)庫(kù)執(zhí)行showmasterstatus，查看主服務(wù)器二進(jìn)制日志狀態(tài)實(shí)戰(zhàn)演練Mysql實(shí)現(xiàn)企業(yè)級(jí)數(shù)據(jù)庫(kù)主從復(fù)制架構(gòu)實(shí)戰(zhàn)：三、實(shí)現(xiàn)步驟:4、配置slave從服務(wù)器對(duì)slave進(jìn)行配置，打開中繼日志，指定唯一的servrID，設(shè)置只讀權(quán)限。在配置文件加入如下值server-id=2

#配置server-id，讓從服務(wù)器有唯一ID號(hào)relay_log=mysql-relay-bin

#打開Mysql日志，日志格式為二進(jìn)制read_only=1

#設(shè)置只讀權(quán)限log_bin=mysql-bin#開啟從服務(wù)器二進(jìn)制日志log_slave_updates=1#使得更新的數(shù)據(jù)寫進(jìn)二進(jìn)制日志中5．啟動(dòng)從服務(wù)器復(fù)制線程讓slave連接master，并開始重做master二進(jìn)制日志中的事件。CHANGEMASTERTOMASTER_HOST='10.100.0.200',->MASTER_USER='backup',->MASTER_PASSWORD='magedu',->MASTER_LOG_FILE='mysql-bin.000001',->MASTER_LOG_POS=0;6、查看從服務(wù)器狀態(tài)

可使用SHOWSLAVESTATUS\G查看從服務(wù)器狀態(tài)，如下所示，也可用showprocesslist\G查看當(dāng)前復(fù)制狀態(tài)：Slave_IO_Running:Yes#IO線程正常運(yùn)行Slave_SQL_Running:Yes#SQL線程正常運(yùn)行實(shí)戰(zhàn)演練四、添加新slave服務(wù)器假如master已經(jīng)運(yùn)行很久了，想對(duì)新安裝的slave進(jìn)行數(shù)據(jù)同步，甚至它沒有master的數(shù)據(jù)。此時(shí)，有幾種方法可以使slave從另一個(gè)服務(wù)開始，例如，從master拷貝數(shù)據(jù)，從另一個(gè)slave克隆，從最近的備份開始一個(gè)slave。為了加快Slave與master同步，可用以下方式先進(jìn)行數(shù)據(jù)同步：(1)master的某個(gè)時(shí)刻的數(shù)據(jù)快照；(2)數(shù)據(jù)庫(kù)的備份數(shù)據(jù)(3)master的二進(jìn)制日志文件。實(shí)戰(zhàn)演練也可以搭建主從從架構(gòu)，讓從服務(wù)器之間進(jìn)行復(fù)制企業(yè)常見數(shù)據(jù)庫(kù)架構(gòu)一、單一master和多slave在實(shí)際應(yīng)用場(chǎng)景中，MySQL復(fù)制90%以上都是一個(gè)Master復(fù)制到一個(gè)或者多個(gè)Slave的架構(gòu)模式，主要用于讀壓力比較大的應(yīng)用的數(shù)據(jù)庫(kù)端廉價(jià)擴(kuò)展解決方案。因?yàn)橹灰狹aster和Slave的壓力不是太大（尤其是Slave端壓力）的話，異步復(fù)制的延時(shí)一般都很少很少。尤其是自從Slave端的復(fù)制方式改成兩個(gè)線程處理之后，更是減小了Slave端的延時(shí)問(wèn)題。而帶來(lái)的效益是，對(duì)于數(shù)據(jù)實(shí)時(shí)性要求不是特別Critical的應(yīng)用，只需要通過(guò)廉價(jià)的pcserver來(lái)擴(kuò)展Slave的數(shù)量，將讀壓力分散到多臺(tái)Slave的機(jī)器上面，即可通過(guò)分散單臺(tái)數(shù)據(jù)庫(kù)服務(wù)器的讀壓力來(lái)解決數(shù)據(jù)庫(kù)端的讀性能瓶頸，畢竟在大多數(shù)數(shù)據(jù)庫(kù)應(yīng)用系統(tǒng)中的讀壓力還是要比寫壓力大很多。這在很大程度上解決了目前很多中小型網(wǎng)站的數(shù)據(jù)庫(kù)壓力瓶頸問(wèn)題，甚至有些大型網(wǎng)站也在使用類似方案解決數(shù)據(jù)庫(kù)瓶頸。企業(yè)常見數(shù)據(jù)庫(kù)架構(gòu)一、單一master和多slave(1)不同的slave扮演不同的作用(例如使用不同的索引，或者不同的存儲(chǔ)引擎)；(2)用一個(gè)slave作為備用master，只進(jìn)行復(fù)制；#主服務(wù)器掛了之后，可在從服務(wù)器執(zhí)行1>在備機(jī)上執(zhí)行STOPSLAVE和RESETMASTER2>查看showslavestatus\G;3>然后修改應(yīng)用的連接地址。(3)用一個(gè)遠(yuǎn)程的slave，用于災(zāi)難恢復(fù)；

企業(yè)常見數(shù)據(jù)庫(kù)架構(gòu)二、互為主從Master-Master(Master-MasterinActive-ActiveMode)Master-Master復(fù)制的兩臺(tái)服務(wù)器，既是master，又是另一臺(tái)服務(wù)器的slave。這樣，任何一方所做的變更，都會(huì)通過(guò)復(fù)制應(yīng)用到另外一方的數(shù)據(jù)庫(kù)中。

4企業(yè)級(jí)應(yīng)用：Mysql實(shí)現(xiàn)企業(yè)級(jí)數(shù)據(jù)庫(kù)主從復(fù)制架構(gòu)實(shí)戰(zhàn)MySQL高可用架構(gòu)之MHAMHA（MasterHA）是一款開源的MySQL的高可用程序，它為MySQL主從復(fù)制架構(gòu)提供了automatingmasterfailover功能。MHA在監(jiān)控到master節(jié)點(diǎn)故障時(shí)，會(huì)提升其中擁有最新數(shù)據(jù)的slave節(jié)點(diǎn)成為新的master節(jié)點(diǎn)，在此期間，MHA會(huì)通過(guò)于其它從節(jié)點(diǎn)獲取額外信息來(lái)避免一致性方面的問(wèn)題。MHA還提供了master節(jié)點(diǎn)的在線切換功能，即按需切換master/slave節(jié)點(diǎn)。MHA是由日本人yoshinorim（原就職于DeNA現(xiàn)就職于FaceBook）開發(fā)的比較成熟的MySQL高可用方案。MHA能夠在30秒內(nèi)實(shí)現(xiàn)故障切換，并能在故障切換中，最大可能的保證數(shù)據(jù)一致性。目前淘寶也正在開發(fā)相似產(chǎn)品TMHA，目前已支持一主一從。MySQL高可用架構(gòu)之MHAMHA（MasterHA）是一款開源的MySQL的高可用程序，它為MySQL主從復(fù)制架構(gòu)提供了automatingmasterfailover功能。MHA在監(jiān)控到master節(jié)點(diǎn)故障時(shí)，會(huì)提升其中擁有最新數(shù)據(jù)的slave節(jié)點(diǎn)成為新的master節(jié)點(diǎn)，在此期間，MHA會(huì)通過(guò)于其它從節(jié)點(diǎn)獲取額外信息來(lái)避免一致性方面的問(wèn)題。MHA還提供了master節(jié)點(diǎn)的在線切換功能，即按需切換master/slave節(jié)點(diǎn)。MHA是由日本人yoshinorim（原就職于DeNA現(xiàn)就職于FaceBook）開發(fā)的比較成熟的MySQL高可用方案。MHA能夠在30秒內(nèi)實(shí)現(xiàn)故障切換，并能在故障切換中，最大可能的保證數(shù)據(jù)一致性。目前淘寶也正在開發(fā)相似產(chǎn)品TMHA，目前已支持一主一從。MySQL高可用架構(gòu)之MHAMHA服務(wù)有兩種角色，MHAManager(管理節(jié)點(diǎn))和MHANode(數(shù)據(jù)節(jié)點(diǎn))：MHAManager：通常單獨(dú)部署在一臺(tái)獨(dú)立機(jī)器上管理多個(gè)master/slave集群(組)，每個(gè)master/slave集群稱作一個(gè)application，用來(lái)管理統(tǒng)籌整個(gè)集群。MHAnode：運(yùn)行在每臺(tái)MySQL服務(wù)器上(master/slave/manager)，它通過(guò)監(jiān)控具備解析和清理logs功能的腳本來(lái)加快故障轉(zhuǎn)移。主要是接收管理節(jié)點(diǎn)所發(fā)出指令的代理，代理需要運(yùn)行在每一個(gè)mysql節(jié)點(diǎn)上。簡(jiǎn)單講node就是用來(lái)收集從節(jié)點(diǎn)服務(wù)器上所生成的bin-log。對(duì)比打算提升為新的主節(jié)點(diǎn)之上的從節(jié)點(diǎn)的是否擁有并完成操作，如果沒有發(fā)給新主節(jié)點(diǎn)在本地應(yīng)用后提升為主節(jié)點(diǎn)。MySQL高可用架構(gòu)之MHAMHA會(huì)提供諸多工具程序，其常見的如下所示Manager節(jié)點(diǎn)：masterha_check_ssh:MHA依賴的ssh環(huán)境監(jiān)測(cè)工具masterha_check_repl:MYSQL復(fù)制環(huán)境檢測(cè)工具；masterga_manager:MHA服務(wù)主程序masterha_check_status:MHA運(yùn)行狀態(tài)探測(cè)工具；masterha_master_monitor:MYSQLmaster節(jié)點(diǎn)可用性監(jiān)測(cè)工具；masterha_master_swith:master節(jié)點(diǎn)切換工具；masterha_conf_host:添加或刪除配置的節(jié)點(diǎn)；masterha_stop:關(guān)閉MHA服務(wù)的工具。MySQL高可用架構(gòu)之MHANode節(jié)點(diǎn)：save_binary_logs:保存和復(fù)制master的二進(jìn)制日志；apply_diff_relay_logs:識(shí)別差異的中繼日志事件并應(yīng)用于其他slave；purge_relay_logs:清除中繼日志（不會(huì)阻塞SQL線程）；自定義擴(kuò)展secondary_check_script:通過(guò)多條網(wǎng)絡(luò)路由檢測(cè)master的可用性；master_ip_failover_script:更新application使用的masterip；report_script:發(fā)送報(bào)告init_conf_load_script:加載初始配置參數(shù)；master_ip_online_change_script:更新master節(jié)點(diǎn)ip地址；MySQL高可用架構(gòu)之MHAMySQL高可用架構(gòu)之MHA一、準(zhǔn)備實(shí)驗(yàn)MYSQLReplication環(huán)境：MHA對(duì)MYSQL復(fù)制環(huán)境有特殊要求，例如各節(jié)點(diǎn)都要開啟二進(jìn)制日志及中繼日志，各從節(jié)點(diǎn)必須顯示啟用其read-only屬性，并關(guān)閉relay_log_purge功能等，這里對(duì)配置做事先說(shuō)明。本實(shí)驗(yàn)環(huán)境共有四個(gè)節(jié)點(diǎn)，其角色分配如下：node1:MariaDBmasternode2:MariaDBslavenode3:MariaDBslavenode4:MHAManager

各節(jié)點(diǎn)的/etc/hosts文件配置內(nèi)容中添加：172.16.252.18node1172.16.252.17node2172.16.252.20node3172.16.252.21node4MySQL高可用架構(gòu)之MHA1、初始主節(jié)點(diǎn)master配置：[mysqld]server-id=1log-bin=master-logrelay-log=relay-logskip_name_resolve=ONinnodb_file_per_table=ON2、所有slave節(jié)點(diǎn)依賴的配置：[mysqld]server-id=2#復(fù)制集群中的各節(jié)點(diǎn)的id均必須唯一；relay-log=relay-loglog-bin=master-logread_only=ONrelay_log_purge=0skip_name_resolve=ONinnodb_file_per_table=ONMySQL高可用架構(gòu)之MHA3、按上述要求分別配置好主從節(jié)點(diǎn)之后，按MYSQL復(fù)制配置架構(gòu)的配置方式將其配置完成并啟動(dòng)master節(jié)點(diǎn)和各slave節(jié)點(diǎn)，以及為各slave節(jié)點(diǎn)啟動(dòng)其IO和SQL線程，確保主從復(fù)制運(yùn)行無(wú)誤。操作如下：master節(jié)點(diǎn)上：MariaDB[(none)]>GRANTREPLICATIONSLAVE,REPLICATIONCLIENTON*.*TO‘repluser’@172.16.252.%’IDENTIFIEDBY‘replpass’;MariaDB[(none)]>FLUSHPRIVILEGES;MariaDB[(none)]>SHOWMASTERSTATUS;各slave節(jié)點(diǎn)上：[root@node3~]#mysqlMariaDB[(none)]>CHANGEMASTERTOMASTER_HOST=’172.16.252.18′,MASTER_USER=’repluser’,MASTER_PASSWORD=’replpass’,MASTER_LOG_FILE=’master-log.000003′,MASTER_LOG_POS=498;MariaDB[(none)]>STARTSLAVE;MariaDB[(none)]>SHOWSLAVESTATUS\GMySQL高可用架構(gòu)之MHA二、安裝配置MHA1、在所有MYSQL節(jié)點(diǎn)授權(quán)擁有管理權(quán)限的用戶可在本地網(wǎng)絡(luò)中有其他節(jié)點(diǎn)上遠(yuǎn)程訪問(wèn)。當(dāng)然，此時(shí)僅需要且只能在master節(jié)點(diǎn)運(yùn)行類似如下SQL語(yǔ)句即可。mysql>GRANTALLON*.*TO‘mhaadmin’@’172.16.252.%’IDENTIFIEDBY‘mhapass’;2、準(zhǔn)備基于SSH互信通信環(huán)境：MHA集群中的各節(jié)點(diǎn)彼此之間均需要基于ssh互信通信，以實(shí)現(xiàn)遠(yuǎn)程控制及數(shù)據(jù)管理功能。簡(jiǎn)單起見，可在Manager節(jié)點(diǎn)生成密鑰對(duì)兒，并設(shè)置其可遠(yuǎn)程連接本地主機(jī)后，將私鑰文件及authorized_keys文件復(fù)制給余下的所有節(jié)點(diǎn)即可。下面操作在node4：Manager節(jié)點(diǎn)上操作：[root@node4~]#ssh-keygen-trsa-P”[root@node4~]#ssh-copy-id-i.ssh/id_rsa.pubroot@node4MySQL高可用架構(gòu)之MHA二、安裝配置MHA3、進(jìn)行MHA安裝包安裝Manager節(jié)點(diǎn)：#yuminstallmha4mysql-manager-0.56-0.el6.noarch.rpm所有節(jié)點(diǎn)，包括Manager:#yuminstallmha4mysql-node-0.56-0.el6.norch.rpm4、初始化MHA，進(jìn)行配置Manager節(jié)點(diǎn)需要為每個(gè)監(jiān)控的master/slave集群提供一個(gè)專用的配置文件，而所有的master/slave集群也可共享全局配置。全局配置文件默認(rèn)為f，其為可選配置。如果僅監(jiān)控一組master/slave集群，也可直接通過(guò)application的配置來(lái)提供各服務(wù)器的默認(rèn)配置信息。而每個(gè)application的配置文件路徑為自定義。MySQL高可用架構(gòu)之MHA5、定義MHA管理配置文件為MHA專門創(chuàng)建一個(gè)管理用戶，方便以后使用，在mysql的主節(jié)點(diǎn)上，三個(gè)節(jié)點(diǎn)自動(dòng)同步mkdir/etc/mha_mastervimf配置文件內(nèi)容如下；[serverdefault]//適用于server1,2,3個(gè)server的配置user=mhaadmin//mha管理用戶password=mhaadmin//mha管理密碼manager_workdir=/mydata/mha_master/app1//mha_master自己的工作路徑manager_log=/mydata/mha_master/manager.log//mha_master自己的日志文件remote_workdir=/mydata/mha_master/app1//每個(gè)遠(yuǎn)程主機(jī)的工作目錄在何處ssh_user=root//基于ssh的密鑰認(rèn)證repl_user=repuser//數(shù)據(jù)庫(kù)用戶名repl_password=repuser//數(shù)據(jù)庫(kù)密碼ping_interval=1//ping間隔時(shí)長(zhǎng)[server1]//節(jié)點(diǎn)1hostname=172.16.5.102//節(jié)點(diǎn)1主機(jī)地址ssh_port=22//節(jié)點(diǎn)1的ssh端口candidate_master=1//將來(lái)可不可以成為master候選節(jié)點(diǎn)/主節(jié)點(diǎn)[server2]hostname=172.16.5.103ssh_port=22candidate_master=1MySQL高可用架構(gòu)之MHA6、檢測(cè)各節(jié)點(diǎn)間ssh互信通信配置是否Ok:[root@node4~]#master_check_ssh–f輸出信息最后一行類似如下信息，表示其通過(guò)檢測(cè)。[info]AllSSHconnectiontestspassedsuccessfully.檢查管理的MySQL復(fù)制集群的連接配置參數(shù)是否OK：[root@node4~]#master_check_repl–f如果測(cè)試時(shí)會(huì)報(bào)錯(cuò)，可能是從節(jié)點(diǎn)上沒有賬號(hào)，因?yàn)檫@個(gè)架構(gòu)，任何一個(gè)從節(jié)點(diǎn)，將有可能成為主節(jié)點(diǎn)，所以也需要?jiǎng)?chuàng)建賬號(hào)。因此，這里只要在mater節(jié)點(diǎn)上再次執(zhí)行以下操作即可：MariaDB[(none)]>GRANTREPLICATIONSLAVE,REPLICATIONCLIENTON*.*TO‘repluser’@172.16.252.%’IDENTIFIEDBY‘replpass’;MariaDB[(none)]>FLUSHPRIVILEGES;Manager節(jié)點(diǎn)上再次運(yùn)行，就顯示Ok了。MySQL高可用架構(gòu)之MHA三、啟動(dòng)MHA[root@node4~]#nohupmasterha_manager–f&>/data/masterha/manager.log&#啟動(dòng)成功后，可用過(guò)如下命令來(lái)查看master節(jié)點(diǎn)的狀態(tài):[root@node4~]#masterha_check_status–fapp1(pid:4978)isrunning(0:PING_OK),master:172.16.252.18上面的信息中“app1(pid:4978)isrunning(0:PING_OK)”表示MHA服務(wù)運(yùn)行OK，否則，則會(huì)顯示為類似“app1isstopped(1:NOT_RUNNINg).”如果要停止MHA，需要使用master_stop命令。[root@node4~]#masterha_stop–fMySQL高可用架構(gòu)之MHA四、測(cè)試MHA測(cè)試故障轉(zhuǎn)移(1)在master節(jié)點(diǎn)關(guān)閉mariadb服務(wù),模擬主節(jié)點(diǎn)數(shù)據(jù)崩潰#killall-9mysqldmysqld_safe#rm-rf/var/lib/mysql/*(2)在manager節(jié)點(diǎn)查看日志：/data/masterha/app1/manager.log日志文件中出現(xiàn)如下信息，表示manager檢測(cè)到172.16.252.18節(jié)點(diǎn)故障，而后自動(dòng)執(zhí)行故障轉(zhuǎn)移，將172.16.252.17提升為主節(jié)點(diǎn)。注意，故障轉(zhuǎn)移完成后，manager將會(huì)自動(dòng)停止，此時(shí)使用masterha_check_status命令檢測(cè)將會(huì)遇到錯(cuò)誤提示，如下所示：#masterha_check_status–fapp1isstopped(2:NOT_RINNING).MySQL高可用架構(gòu)之MHA四、測(cè)試MHA測(cè)試故障轉(zhuǎn)移(3)提供新的從節(jié)點(diǎn)以修復(fù)復(fù)制集群原有master節(jié)點(diǎn)故障后，需要重新準(zhǔn)備好一個(gè)新的MySQL節(jié)點(diǎn)。基于來(lái)自于master節(jié)點(diǎn)的備份恢復(fù)數(shù)據(jù)后，將其配置為新的master的從節(jié)點(diǎn)即可。注意，新加入的節(jié)點(diǎn)如果為新增節(jié)點(diǎn)，其IP地址要配置為原來(lái)master節(jié)點(diǎn)的IP，否則，還需要修改f中相應(yīng)的ip地址。隨后再次啟動(dòng)manager，并再次檢測(cè)其狀態(tài)。(4)新節(jié)點(diǎn)提供后再次執(zhí)行檢查操作masterha_check_status--conf=/etc/mha_master/fmasterha_check_repl--conf=/etc/mha_master/f檢查無(wú)誤，再次運(yùn)行，這次要記錄日志masterha_manager--conf=/etc/mha_master/f>/mydata/mha_master/app1/manager.log2>&1MySQL高可用架構(gòu)之MHA四、新節(jié)點(diǎn)上線，故障轉(zhuǎn)換恢復(fù)注意事項(xiàng)(1)、在生產(chǎn)環(huán)境中，當(dāng)你的主節(jié)點(diǎn)掛了后，一定要在從節(jié)點(diǎn)上做一個(gè)備份，拿著備份文件把主節(jié)點(diǎn)手動(dòng)提升為從節(jié)點(diǎn)，并指明從哪一個(gè)日志文件的位置開始復(fù)制(2)、每一次自動(dòng)完成轉(zhuǎn)換后，每一次的(replicationhealth)檢測(cè)不ok始終都是啟動(dòng)不了必須手動(dòng)修復(fù)主節(jié)點(diǎn)，除非你改配置文件(3)、手動(dòng)修復(fù)主節(jié)點(diǎn)提升為從節(jié)點(diǎn)后，再次運(yùn)行檢測(cè)命令[root@node5~]#masterha_check_replfapp1(pid:3211)isrunning(0:PING_OK),master:172.16.5.103(4)、再次運(yùn)行起來(lái)就恢復(fù)成功了masterha_managerfMysql架構(gòu)企業(yè)常見面試題1、Mysql主從復(fù)制技術(shù)有哪些好處？2、實(shí)現(xiàn)主從復(fù)制時(shí)，從服務(wù)器上有哪些線程？3、二進(jìn)制的作用是什么？4、二進(jìn)制日志和中繼日志的區(qū)別是什么？5、Mysql如何給用戶授權(quán)？6、Mysql主要架構(gòu)有哪些？7、MHA是什么，主要作用是什么？8、Mysql雙主架構(gòu)如何實(shí)現(xiàn)的？9、詳細(xì)講述Mysql主從復(fù)制原理？全國(guó)布局馬哥教育以北京校區(qū)為中心，鄭州為分中心，在上海、廣州、深圳、重慶等一線城市設(shè)立了辦事處分部。每年有數(shù)十萬(wàn)學(xué)員受益于馬哥教育組織的技術(shù)研討會(huì)、技術(shù)培訓(xùn)課、網(wǎng)絡(luò)公開課以及免費(fèi)教學(xué)視頻。馬哥教育在國(guó)內(nèi)IT行業(yè)主要城市－北京、上海、深圳等享有廣泛贊譽(yù)，其學(xué)員在一線城市普遍高薪就業(yè)，與馬哥教育建立人才合作關(guān)系的企業(yè)達(dá)500+家，深度合作企業(yè)100+家。8年積累2大中心4大辦事處100+合作企業(yè)創(chuàng)新教育線上與線下相結(jié)合，開啟智能云學(xué)堂學(xué)習(xí)模式教育體系360°全方位覆蓋科學(xué)學(xué)習(xí)以專業(yè)的學(xué)習(xí)路線圖引導(dǎo)學(xué)生學(xué)習(xí)，堅(jiān)持一對(duì)一的學(xué)習(xí)跟蹤項(xiàng)目實(shí)戰(zhàn)2017全新課程體系，8年課程研發(fā)，10+項(xiàng)知名企業(yè)實(shí)戰(zhàn)案例高薪就業(yè)學(xué)員普遍就業(yè)與北上廣等一線城市，就業(yè)一到兩年平均年薪高達(dá)18W+名師教學(xué)講師平均8年以上工作經(jīng)驗(yàn)，BAT一線名師親自授課專業(yè)顧問(wèn)配備國(guó)家認(rèn)證的職業(yè)規(guī)劃師與獵頭顧問(wèn)為您職業(yè)發(fā)展保駕護(hù)航2家頂級(jí)教育平臺(tái)2016年成為騰訊課堂、51CTO學(xué)院官方認(rèn)證戰(zhàn)略合作伙伴20000+培訓(xùn)學(xué)員8年累計(jì)培養(yǎng)學(xué)員2萬(wàn)+，全網(wǎng)影響人數(shù)過(guò)百萬(wàn)500+合作企業(yè)建立人才合作關(guān)系的企業(yè)達(dá)500+家，深度合作企業(yè)100+家6000+小時(shí)課程時(shí)長(zhǎng)課程研發(fā)課時(shí)超過(guò)6000小時(shí)，每年更新兩個(gè)大版本60%高薪就業(yè)60%以上學(xué)員在互聯(lián)網(wǎng)排名前300的企業(yè)高薪就業(yè)數(shù)據(jù)展現(xiàn)教育實(shí)力實(shí)力雄厚的專家團(tuán)隊(duì)國(guó)內(nèi)知名Linux運(yùn)維、云計(jì)算、大數(shù)據(jù)等領(lǐng)域技術(shù)布道師，曾服務(wù)過(guò)阿里巴巴、騰訊、京東、大眾點(diǎn)評(píng)等流量過(guò)億的知名產(chǎn)品，擅長(zhǎng)Linux運(yùn)維、企業(yè)級(jí)運(yùn)維自動(dòng)化、系統(tǒng)架構(gòu)和優(yōu)化、hadoop海量數(shù)據(jù)、IaaS云技術(shù)等相關(guān)技術(shù)，多年Linux實(shí)戰(zhàn)和教學(xué)經(jīng)驗(yàn)，通過(guò)現(xiàn)場(chǎng)、線上或視頻授課影響學(xué)員數(shù)十萬(wàn)人，在業(yè)內(nèi)享有廣泛贊譽(yù)，其教學(xué)一貫被網(wǎng)友稱贊為“馬哥出品，必屬精品”,其畢業(yè)的學(xué)員更是遍布國(guó)內(nèi)各類涉及相關(guān)計(jì)算機(jī)技術(shù)的公司。馬永亮-馬哥馬哥教育創(chuàng)始人&CEO,51CTO金牌講師和專家博主國(guó)內(nèi)知名架構(gòu)師，集群、高可用、自動(dòng)化技術(shù)專家，連續(xù)互聯(lián)網(wǎng)創(chuàng)業(yè)者。曾服務(wù)過(guò)大眾點(diǎn)評(píng)等多個(gè)億級(jí)PV、百萬(wàn)并發(fā)企業(yè)站點(diǎn)，擅長(zhǎng)獨(dú)立設(shè)計(jì)過(guò)載保護(hù)、容災(zāi)、降級(jí)等企業(yè)級(jí)高級(jí)運(yùn)維體系方案，所設(shè)計(jì)的方案為企業(yè)節(jié)省成本上千萬(wàn)。曾著作《mongodb分布式集群架構(gòu)》、《手把手讓你實(shí)現(xiàn)開源企業(yè)級(jí)web高并發(fā)解決方案》、《手把手讓你了解linux上集群原理篇》獲得幾十萬(wàn)關(guān)注。張冠宇-張sir馬哥教育聯(lián)合創(chuàng)始人，馬哥教育總經(jīng)理兼COO王曉春（老王）首批紅帽授權(quán)元老級(jí)認(rèn)證Linux實(shí)戰(zhàn)專家，擁有RHCI、RHCA、RHCVA、RHCE、CCNA、OCPMCT、MCSE、MCDBA等幾十種專業(yè)證書認(rèn)證，中國(guó)移動(dòng)、中國(guó)聯(lián)通、中國(guó)電信、中國(guó)人民銀行、中國(guó)建設(shè)銀行、中國(guó)工商銀行、三星、空中客車等幾十家上市公司和外企的特聘技術(shù)顧問(wèn)。李松濤（Stanley）Linux運(yùn)維實(shí)戰(zhàn)專家，原騰訊游戲核心高級(jí)運(yùn)維，《Ansible權(quán)威指南》作者，運(yùn)維部落系列產(chǎn)品創(chuàng)始人，紅帽認(rèn)證工程師。操盤過(guò)十萬(wàn)CCU營(yíng)收上億的游戲項(xiàng)目，對(duì)自動(dòng)化、平臺(tái)架構(gòu)、服務(wù)平臺(tái)安全、云平臺(tái)框架的常見疑難雜癥有極強(qiáng)的處理能力。李遠(yuǎn)鵬（林旭）原唯品會(huì)高級(jí)運(yùn)維工程師，第九城市頁(yè)游部門運(yùn)維負(fù)責(zé)人，紅帽認(rèn)證工程師參與并主導(dǎo)九城多款爆款網(wǎng)頁(yè)游戲的維護(hù)，對(duì)高并發(fā)和高流量網(wǎng)站的應(yīng)急預(yù)案、降級(jí)方案的制定有著豐富的經(jīng)驗(yàn)。教學(xué)團(tuán)隊(duì)權(quán)欣欣（小欣）國(guó)家注冊(cè)心理咨詢師，環(huán)球MBA特邀企業(yè)EAP，國(guó)家災(zāi)后心理援助志愿咨詢師曾服務(wù)于多個(gè)世界500強(qiáng)企業(yè)，對(duì)職業(yè)規(guī)劃與個(gè)人心理成長(zhǎng)有資深的經(jīng)驗(yàn)，曾任心公藝藝術(shù)心理治療項(xiàng)目教員，生活在左心理工作室沙盤治療高級(jí)講師，對(duì)學(xué)員的職業(yè)規(guī)劃與職業(yè)心理成長(zhǎng)有非常深入的研究和多個(gè)成功案例。張娟（小Z）前知名互聯(lián)網(wǎng)企業(yè)就業(yè)主管，職業(yè)規(guī)劃顧問(wèn)曾與上百家互聯(lián)網(wǎng)企業(yè)有合作關(guān)系，6年以上培訓(xùn)行業(yè)就業(yè)與教務(wù)管理經(jīng)驗(yàn)，對(duì)學(xué)員定向就業(yè)與就業(yè)難題有非常資深的經(jīng)驗(yàn)，幫助了數(shù)名學(xué)員成功入職理想的互聯(lián)網(wǎng)企業(yè)。職業(yè)規(guī)劃團(tuán)隊(duì)教學(xué)實(shí)力獲得多方專業(yè)認(rèn)可▲Linux核心專家▲51CTO專家博主▲紅帽中心特邀專家▲國(guó)內(nèi)首批RHCI認(rèn)證教師▲授課老師持有RHCVA證書▲授課老師持有RHCE證書0302010405據(jù)國(guó)際知名科技機(jī)構(gòu)思科預(yù)測(cè)，2021年全球手機(jī)用戶將突破55億。截至2016年底，中國(guó)手機(jī)用戶達(dá)到13.16億70%用戶設(shè)備運(yùn)行安卓系統(tǒng)，其底層操作系統(tǒng)是Linux。小到路由器，大到航空航天，甚至政府、券商、銀行、互聯(lián)網(wǎng)等系統(tǒng)應(yīng)用，清一色為L(zhǎng)inux操作系統(tǒng)。平均每家公司擁有Linux工程師不到2名，行業(yè)缺口380000人！比如：百度、阿里巴巴、騰訊、IBM、DELL、HP、聯(lián)想、浪潮等公司。linux人才需求持續(xù)升溫，Linux工程師在2016年全國(guó)日招聘量23978個(gè)，每年全國(guó)Linux工程師需求增長(zhǎng)33.39%。Linux運(yùn)維工程師行業(yè)前景33.39%/年30%10020元全國(guó)日招聘量平均月薪薪資增幅最低隨著云計(jì)算、大數(shù)據(jù)、移動(dòng)互聯(lián)網(wǎng)的發(fā)展，Linux運(yùn)維工程師作為關(guān)鍵支撐崗位也越來(lái)越被重視，國(guó)內(nèi)知名招聘網(wǎng)站智聯(lián)招聘統(tǒng)計(jì)，Linux工程師在2016年全國(guó)日招聘量23978個(gè)，每年全國(guó)Linux工程師需求增長(zhǎng)33.39%。北上廣Linux工程師平均月薪10020元，Linux初級(jí)開發(fā)工程師需求量大，薪資增幅最低30%，但現(xiàn)階段從業(yè)人員少。全國(guó)崗位需求增長(zhǎng)23978個(gè)2培訓(xùn)特色課程體系Linux運(yùn)維工程師互聯(lián)網(wǎng)企業(yè)的基石，實(shí)操類高薪人才，擁有服務(wù)集群、虛擬化、Web應(yīng)用、大數(shù)據(jù)、云計(jì)算等核心技術(shù)Linux紅帽認(rèn)證班Linux就業(yè)精英班基礎(chǔ)入門4個(gè)階段實(shí)戰(zhàn)演練20+實(shí)戰(zhàn)項(xiàng)目提升