1、高并發(fā)和高負(fù)載系統(tǒng)架構(gòu)，2009年11月，1，目錄，1。為什么要研究高并發(fā)性和高負(fù)載？高并發(fā)和高負(fù)載的約束。解決方案硬件，5。解決方案環(huán)境，6。解決方案站點(diǎn)引擎，7。溶液測試，8。結(jié)束，2。為什么高并發(fā)和高負(fù)載1。產(chǎn)品開發(fā)需求2。公司發(fā)展需要3。當(dāng)前表單3確定的高并發(fā)性和高負(fù)載的約束。硬件2。部署3。操作系統(tǒng)4。Web服務(wù)器5。PHP 6。MySQL 7。測試4。解決方案硬件4。提高處理能力：部署多個(gè)中央處理器；對于處理能力的提高，最直接的反應(yīng)在于網(wǎng)絡(luò)請求的處理效率和PHP程序的執(zhí)行效率。內(nèi)存帶寬和容量：更大的內(nèi)存帶寬和容量；內(nèi)存帶寬和容量提高之間最直接的反應(yīng)是處理數(shù)據(jù)庫中的大量數(shù)據(jù)交換。磁盤

2、搜索和輸入輸出能力：選擇更高的速度，更大的硬盤緩存和磁盤陣列；磁盤搜索最直接的反應(yīng)和輸入輸出能力的提高在于數(shù)據(jù)庫的大規(guī)模查詢、讀寫和文件讀寫?？梢钥紤]改善網(wǎng)絡(luò)帶寬的因素包括：更大的帶寬、多線路接入和專用帶寬；在負(fù)載較重的情況下，服務(wù)器占用了相當(dāng)大的網(wǎng)絡(luò)帶寬。策略：硬件設(shè)施是應(yīng)對重負(fù)荷的基礎(chǔ)，硬件設(shè)施的投資可根據(jù)實(shí)際壓力和預(yù)算進(jìn)行。5，解決方案部署，1。服務(wù)器分離2。數(shù)據(jù)庫簇和數(shù)據(jù)庫表3的散列。鏡像4。負(fù)載平衡分類：1)域名系統(tǒng)循環(huán)2。代理服務(wù)器負(fù)載平衡3。地址轉(zhuǎn)換網(wǎng)關(guān)負(fù)載平衡4。網(wǎng)絡(luò)地址轉(zhuǎn)換負(fù)載平衡。反向代理負(fù)載平衡6。混合負(fù)載均衡策略：根據(jù)硬件投資和業(yè)務(wù)需求選擇合理的部署方案。6、解決方案部

3、署選項(xiàng)1，應(yīng)用范圍：以靜態(tài)內(nèi)容為主體的網(wǎng)站和應(yīng)用系統(tǒng)；對系統(tǒng)安全性要求高的網(wǎng)站和應(yīng)用系統(tǒng)。主服務(wù)器：主服務(wù)器承載程序主體的運(yùn)行壓力，處理網(wǎng)站或應(yīng)用系統(tǒng)中的動(dòng)態(tài)請求；將靜態(tài)頁面推送到多個(gè)發(fā)布服務(wù)器；將附件文件推送到文件服務(wù)器；對于安全性要求高的靜態(tài)網(wǎng)站，可以將服務(wù)器放在內(nèi)部網(wǎng)絡(luò)中，以阻止外部網(wǎng)絡(luò)的訪問。數(shù)據(jù)庫服務(wù)器：數(shù)據(jù)庫服務(wù)器承擔(dān)數(shù)據(jù)庫的讀寫壓力；只與主服務(wù)器交換數(shù)據(jù)，屏蔽外部網(wǎng)絡(luò)訪問。文件/視頻服務(wù)器：文件/視頻服務(wù)器承載占用系統(tǒng)大量系統(tǒng)資源和帶寬資源的數(shù)據(jù)流；作為大型附件的存儲(chǔ)和讀寫倉庫；作為視頻服務(wù)器，它將具有自動(dòng)視頻處理能力。發(fā)布服務(wù)器組：只負(fù)責(zé)發(fā)布靜態(tài)頁面，承載大部分網(wǎng)絡(luò)請求；通過N

4、ginx進(jìn)行負(fù)載平衡部署。7、解決方案部署選項(xiàng)2、應(yīng)用范圍：以動(dòng)態(tài)互動(dòng)內(nèi)容為主體的網(wǎng)站或應(yīng)用系統(tǒng)；負(fù)載壓力大、預(yù)算充足的網(wǎng)站或應(yīng)用系統(tǒng)；網(wǎng)絡(luò)服務(wù)器組：網(wǎng)絡(luò)服務(wù)沒有主從關(guān)系，屬于并行冗余設(shè)計(jì)；負(fù)載均衡由前端負(fù)載均衡設(shè)備或Nginx反向代理實(shí)現(xiàn)；劃分專用文件服務(wù)器/視頻服務(wù)器，有效分離輕/重總線；每個(gè)網(wǎng)絡(luò)服務(wù)器都可以通過DEC連接到所有的數(shù)據(jù)庫，并且可以分為主服務(wù)器和從服務(wù)器。數(shù)據(jù)庫服務(wù)器組：相對平衡的承載數(shù)據(jù)庫讀寫壓力；多個(gè)數(shù)據(jù)庫的數(shù)據(jù)同步是通過映射數(shù)據(jù)庫的物理文件來實(shí)現(xiàn)的。共享磁盤/磁盤陣列將用于數(shù)據(jù)物理文件的統(tǒng)一讀寫，并將用于大型附件的存儲(chǔ)倉庫，通過自身物理磁盤的平衡和冗余，保證整個(gè)系統(tǒng)的I

5、O效率和數(shù)據(jù)安全；方案特點(diǎn)：通過前端負(fù)載均衡合理分配網(wǎng)絡(luò)壓力；通過文件/視頻服務(wù)器與傳統(tǒng)網(wǎng)絡(luò)服務(wù)器的分離，輕、重?cái)?shù)據(jù)流得到合理分配；通過數(shù)據(jù)庫服務(wù)器組，合理分配數(shù)據(jù)庫輸入輸出壓力；每個(gè)網(wǎng)絡(luò)服務(wù)器通常只連接到一個(gè)數(shù)據(jù)庫服務(wù)器，它可以通過DEC心跳檢測在很短的時(shí)間內(nèi)自動(dòng)切換到冗余數(shù)據(jù)庫服務(wù)器；隨著磁盤陣列的引入，系統(tǒng)的輸入輸出效率大大提高，數(shù)據(jù)安全性大大增強(qiáng)。8、解決方案環(huán)境、1。操作系統(tǒng)2、網(wǎng)絡(luò)服務(wù)器3、Mysql 4、PHP 5、代理服務(wù)器(緩存服務(wù)器)、9、解決方案環(huán)境、操作系統(tǒng)的選擇，重點(diǎn)是它是否適合構(gòu)建站點(diǎn)引擎所需的環(huán)境程序。系統(tǒng)本身占用資源的比率；系統(tǒng)安全；這個(gè)系統(tǒng)容易操作嗎？策略：我

6、們選擇FreeBSD，它是為了在安裝后最小化FreeBSD。解決方案環(huán)境網(wǎng)絡(luò)服務(wù)器，網(wǎng)絡(luò)服務(wù)器占用的很大一部分資源來自于處理網(wǎng)絡(luò)請求，這通常是由世界第一的網(wǎng)絡(luò)服務(wù)器軟件Apache產(chǎn)生的壓力。它可以在幾乎所有廣泛使用的計(jì)算機(jī)平臺(tái)上運(yùn)行。在高并發(fā)連接的情況下，Nginx是Apache服務(wù)器的良好替代品。引擎x是一個(gè)由俄羅斯人編寫的高性能的超文本傳輸協(xié)議和反向代理服務(wù)器。在中國，有很多網(wǎng)站和渠道，如新浪、搜狐通、網(wǎng)易新聞、網(wǎng)易博客、金山X、金山愛詞霸、內(nèi)網(wǎng)、YUPOO相冊、豆瓣、迅雷等。使用Nginx服務(wù)器。Nginx的優(yōu)勢：高并發(fā)連接：正式測試可以支持50，000個(gè)并發(fā)連接，

7、在實(shí)際生產(chǎn)環(huán)境中可以達(dá)到230，000個(gè)并發(fā)連接。低內(nèi)存消耗：在30，000個(gè)并發(fā)連接下，10個(gè)打開的Nginx進(jìn)程僅消耗1500萬內(nèi)存(15M * 10=150M萬)。內(nèi)置健康檢查功能：如果Nginx Proxy后端的網(wǎng)絡(luò)服務(wù)器發(fā)生故障，不會(huì)影響前端訪問。策略：與老的Apache相比，我們選擇Lighttpd和Nginx，它們的資源占用較小，負(fù)載能力較高。Mysql，MySQL本身具有很強(qiáng)的負(fù)載能力，而MySQL優(yōu)化是一項(xiàng)非常復(fù)雜的工作，因?yàn)樗罱K需要對系統(tǒng)優(yōu)化有很好的理解。眾所周知，數(shù)據(jù)庫工作是大量的短時(shí)查詢、讀寫。除了建立索引和提高查詢效率等軟件開發(fā)技巧之外，從硬件設(shè)施的角度來看，影響M

8、ySQL執(zhí)行效率的最重要因素是磁盤搜索、磁盤IO級(jí)別、CPU周期和內(nèi)存帶寬。根據(jù)服務(wù)器的硬件和軟件條件優(yōu)化MySQl。MySQL優(yōu)化的核心在于系統(tǒng)資源的分配，這并不等于無限地給MySQL分配更多的資源。在MySQL配置文件中，我們引入了幾個(gè)最值得注意的參數(shù)：更改索引緩沖區(qū)長度(key_buffer)、更改表長度(read_buffer_size)、設(shè)置打開表的最大數(shù)量(table_cache)以及為慢速查詢設(shè)置時(shí)間限制(long_query_time)。如果條件允許，MySQL服務(wù)器通常最好安裝在Linux操作系統(tǒng)中，而不是FreeBSD。策略：MySQL優(yōu)化需要根據(jù)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)庫讀寫特點(diǎn)和

9、服務(wù)器的硬件配置制定不同的優(yōu)化方案，MySQL的主從結(jié)構(gòu)可以根據(jù)需要進(jìn)行部署。12、解決方案環(huán)境PHP，1。加載盡可能少的模塊；2.如果是在windows平臺(tái)上，盡可能使用IIS或Nginx來代替Apache我們通常使用；3.安裝加速器(所有這些都通過緩存php代碼的預(yù)編譯結(jié)果和數(shù)據(jù)庫結(jié)果來提高php代碼的執(zhí)行速度)。eAccelerator eAccelerator是一個(gè)免費(fèi)的開源php加速器，它優(yōu)化并動(dòng)態(tài)緩存內(nèi)容，提高php腳本的緩存性能，并且?guī)缀跬耆司幾gPHP腳本時(shí)服務(wù)器上的開銷?？蛇x的PHP緩存(Apc)是一個(gè)免費(fèi)的和開放的優(yōu)化的PHP代碼緩存。它被用來提供一個(gè)自由、開放和健壯的

10、架構(gòu)來緩存和優(yōu)化PHP中間代碼。Memcache memcache是Danga Interactive開發(fā)的高性能分布式內(nèi)存對象緩存系統(tǒng)，用于降低動(dòng)態(tài)應(yīng)用中的數(shù)據(jù)庫負(fù)載和提高訪問速度。主要機(jī)制是通過在內(nèi)存中維護(hù)一個(gè)統(tǒng)一的巨大哈希表，Memcache可以用來存儲(chǔ)各種格式的數(shù)據(jù)，包括圖像、視頻、文件和數(shù)據(jù)庫檢索結(jié)果等。這是Xcache在中國開發(fā)的緩沖器。策略是為PHP安裝加速器。13、解決方案環(huán)境代理服務(wù)器Squid緩存是一個(gè)流行的代理服務(wù)器和免費(fèi)軟件的網(wǎng)絡(luò)緩存服務(wù)器(GNU通用公共許可證)。Squid有廣泛的用途，從通過預(yù)緩存服務(wù)器作為網(wǎng)絡(luò)服務(wù)器緩存相關(guān)請求到提高網(wǎng)絡(luò)服務(wù)器的速度，緩存萬維網(wǎng)、域

11、名系統(tǒng)和其他網(wǎng)絡(luò)搜索以供一群人共享網(wǎng)絡(luò)資源，通過過濾流量幫助網(wǎng)絡(luò)安全，以及通過局域網(wǎng)中的代理上網(wǎng)。Squid主要是為在Unix系統(tǒng)上運(yùn)行而設(shè)計(jì)的。策略：安裝Squid反向代理服務(wù)器可以大大提高服務(wù)器的效率。14、解決方案環(huán)境摘要，推薦的服務(wù)器環(huán)境配置：操作系統(tǒng)：FreeBSD網(wǎng)絡(luò)服務(wù)器：Nginx編程語言：PHP Zend優(yōu)化器加速器數(shù)據(jù)庫：MySQL，15、解決方案站點(diǎn)引擎，站點(diǎn)引擎為解決歷史上的高并發(fā)性和高負(fù)載做了哪些工作：1。靜態(tài)的；2.緩存。3.記憶表；4.固定長度表；5.盡可能少地使用joIN和IN。16、解決方案網(wǎng)站引擎在實(shí)現(xiàn)高并發(fā)和高負(fù)載方面存在的問題網(wǎng)站引擎在開發(fā)初期就已經(jīng)為通

12、用的中小型網(wǎng)站而設(shè)計(jì)。從根本上說，有一種機(jī)制不能適應(yīng)高并發(fā)和高負(fù)載。具體表現(xiàn)如下：1 .原始的緩存功能，尤其是類別緩存，是無用的；2.無用的sql查詢和sql查詢的效率；3.多語言設(shè)計(jì)導(dǎo)致許多查詢變得復(fù)雜，導(dǎo)致效率低下；4.Mysql中的查詢方法太多；5.前景中的動(dòng)態(tài)交互太少。17、解決方案站點(diǎn)引擎，以使站點(diǎn)引擎更好地適應(yīng)高并發(fā)和高負(fù)載的環(huán)境。主要從以下幾個(gè)方面進(jìn)行了改進(jìn)：1 .添加Memcache緩存技術(shù)；2.開發(fā)一個(gè)簡單有效的站點(diǎn)引擎開發(fā)框架來處理系統(tǒng)開發(fā)；3.考慮將MySQL數(shù)據(jù)庫轉(zhuǎn)換為innodb數(shù)據(jù)引擎；4.在前臺(tái)添加更多的Ajax元素；5.改變類別模式或類別算法，取消類別緩存機(jī)制；6.建立一個(gè)專門的R&D部門，將項(xiàng)目開發(fā)與軟件研發(fā)分開；7.加強(qiáng)測試和團(tuán)隊(duì)合作。1.測試方法2。測試用例3。壓力測試壓力測試是一種基本的質(zhì)量保證行為，它是每個(gè)重要軟件測試工作的一部分。壓力測試的基本思想非常簡單：不要在常規(guī)條件下運(yùn)行手動(dòng)或自動(dòng)測試，而是在計(jì)算機(jī)數(shù)量少或系統(tǒng)資源不足的情況下運(yùn)行測試。通常，壓力測試的資源包括內(nèi)部內(nèi)存、中央處理器可用性、磁盤空間和網(wǎng)絡(luò)帶寬。通常，并發(fā)用于壓力測試。壓力測試工具：webbench、ApacheBench等。3.我們系統(tǒng)中的漏洞測試主要包括：sql注入漏洞、xss跨站點(diǎn)腳本攻擊等。安全性還包括系統(tǒng)軟件，如操作系統(tǒng)漏洞、mysql、apache和其