1、 雨林木風(fēng)科技有限公司信息作業(yè)指導(dǎo)書 IT/SOP 090304Ubuntu下使用haproxy+heartbeat搭建WEB負(fù)載均衡作業(yè)指導(dǎo)書（ V1.0 版）發(fā)布 實(shí)施雨 林 木 風(fēng) 科 技 有 限 公 司 發(fā)布Ubuntu下使用haproxy+heartbeat搭建WEB負(fù)載均衡作業(yè)指導(dǎo)書1.目的通過此作業(yè)指導(dǎo)書，知道如何使用ubuntu+haproxy+heartbeat搭建大規(guī)模WEB集群環(huán)境，實(shí)現(xiàn)負(fù)載均衡。所有系統(tǒng)管理員。3定義l Ubuntu開源的LINUX服務(wù)器操作系統(tǒng).l HaproxyHaproxy提供高可用性、負(fù)載均衡 以及基于TCP和HTTP應(yīng)用的代理，它是免費(fèi)、快速并

2、且可靠的一種解決方案l Heartbeat用于實(shí)現(xiàn)故障轉(zhuǎn)移，當(dāng)一臺(tái)機(jī)器DOWN后自動(dòng)切換到備用機(jī)器l Web服務(wù)器包括Apache,Lighttpd,Nginxl Openfiler這是一個(gè)基于LINUX的NAS，用來建立Iscsi服務(wù)器一環(huán)境1硬件服務(wù)器：DELL 29501臺(tái)DELL 19501臺(tái)2U組裝機(jī)2臺(tái)1U組裝機(jī)1臺(tái)交換機(jī)：H3C千M交換機(jī)2.網(wǎng)絡(luò)環(huán)境· Load Balancer 1: , IP address: 00 eth0· Load Balancer 2: , IP address: 01 eth0·

3、; Web Server 1: , IP address: 02 eth0· Web Server 2: , IP address: 03 eth0· Iscsi target:,IP address:04 eth0· lb1 and lb2共享IP: 9操作系統(tǒng)：Ubuntu server Lb1和lb2:haproxyheartbeatWeb1和web2:Apache2Iscsi target:Openfiler二 Web服務(wù)器配置在web1和 web2上配置1設(shè)

4、置自動(dòng)登錄到iscsi target(openfiler)安裝open-iscsiApt-get install open-iscsi發(fā)現(xiàn)iscsi-targetiscsiadm -m discovery -t sendtargets -p 1設(shè)置開機(jī)自動(dòng)登錄到iscsi-targetiscsiadm -m node -T iqn.2006-.openfiler:tsn.6f5d0fb29fc9 -p .104 -op update -n node.startup -v automatic說明：-T后面的字符串是執(zhí)行發(fā)現(xiàn)iscsi-target所獲得的連接字符串自動(dòng)獲取IP，這樣自動(dòng)登錄到IS

5、CSI的時(shí)候網(wǎng)絡(luò)是不通的，所以不成功。需要在/etc/network/interfaces里面設(shè)置自動(dòng)獲取IP地址如: auto eth0  iface eth0 inet dhcp2格式化ISCSI磁盤并設(shè)置自動(dòng)掛載使用fdisk l查看磁盤分區(qū)fdisk -lfdisk /dev/sdb#對(duì)磁盤進(jìn)行分區(qū)mkfs.ext3 /dev/sdb1#將sdb1分區(qū)格式化為ext3文件系統(tǒng)建立掛載目錄mkdir /iscsi開機(jī)自動(dòng)掛載vi /etc/fstab/dev/sdb1 /iscsi ext3 relatime 0 2#增加這一行3安裝web serverApt-get inst

6、all apache2 2)修改web服務(wù)器日志格式Vi #LogFormat "%h %l %u %t "%r" %>s %b "%Refereri" "%User-Agenti"" combinedLogFormat "%X-Forwarded-Fori %l %u %t "%r" %>s %b "%Refereri" "%User-Agenti"" combined注釋掉原來的CustomLog，并修改文檔根路徑為/i

7、scsi/wwwvi /etc/apache2/sites-available/defaultSetEnvIf Request_URI "/check.txt$" dontlogCustomLog /var/log/apache2/access.log combined env=!dontlog#重啟web服務(wù)器4)建立check文件,haproxy使用該文件檢查WEB狀態(tài)，必須建立Touch /iscsiWeb服務(wù)器配置完成，很簡(jiǎn)單，lb1和lb2就要復(fù)雜一些三 配置負(fù)載均衡haproxy在lb1和lb2上配置1修改hosts文件Vi /etc/hosts192.168.

8、1.100 l010203Apt-get install haproxy3.修改haproxy配置文件CCVglobal log local0 log local1 notice #log loghost local0 info maxconn 4096 #debug #quiet user haproxy group haproxydefaults log global mode http option httplog option dontlognull retries 3 redis

9、patch maxconn 2000 contimeout 5000 clitimeout 50000 srvtimeout 50000listen webfarm 9:80 mode http stats enable stats auth ylmf:ylmf balance roundrobin cookie JSESSIONID prefix option httpclose option forwardfor server webA 02:80 cookie A check server webB 03:80 cooki

10、e B check4.修改默認(rèn)配置，讓haproxy開機(jī)自動(dòng)啟動(dòng)Vi /etc/default/haproxy# Set ENABLED to 1 if you want the init script to start haproxy.ENABLED=1# Add extra flags here.#EXTRAOPTS="-de -m 16"四 配置heartbeat高可用Active/Standby 模式Lb1和lb2上配置Apt-get install heartbeatVnet.ipv4.ip_nonlocal_bind=1sysctl p#讓設(shè)置生效3設(shè)置授權(quán)KE

11、Yauth 33 md5 somerandomstring#修改權(quán)限4添加ha資源s 9在lb1上配置# keepalive: how many seconds between heartbeats#keepalive 2# deadtime: seconds-to-declare-host-dead#deadtime 10# What UDP port to use for udp or ppp-udp communication?#udpport 694bcast eth0mcast eth0 694 1 0ucast eth0 192.168.1

12、.101 #這個(gè)IP是lb2的IP# What interfaces to heartbeat over?udp eth0# Facility to use for syslog()/logger (alternative to log/debugfile)#logfacility local0# Tell what machines are in the cluster# node nodename . - must match uname -nnode node 在lb2上配置# keepalive: how many seconds between heartbeats#keepaliv

13、e 2# deadtime: seconds-to-declare-host-dead#deadtime 10# What UDP port to use for udp or ppp-udp communication?#udpport 694bcast eth0mcast eth0 694 1 0ucast eth0 00 #這個(gè)IP是lb1的IP# What interfaces to heartbeat over?udp eth0# Facility to use for syslog()/logger (alternative to log/

14、debugfile)#logfacility local0# Tell what machines are in the cluster# node nodename . - must match uname -nnode node 5設(shè)置開機(jī)自動(dòng)啟動(dòng)heartbeatvi /etc/Active/Active模式auto_failback on在lb1上s 9在lb2上s 9參考文檔五 測(cè)試Ifconfig 或 ip addr sh eth09/haproxy?stats六 haproxy參考文檔官方網(wǎng)址：描述HA

15、Proxy提供高可用性、負(fù)載均衡 以及基于TCP和HTTP應(yīng)用的代理，它是免費(fèi)、快速并且可靠的一種解決方案。HAProxy特別適用于那些負(fù)載特大的web站點(diǎn)，這些站點(diǎn)通常又需要會(huì)話保持或七層處理。 HAProxy運(yùn)行在當(dāng)前的硬件上，完全可以支持?jǐn)?shù)以萬計(jì)的并發(fā)連接。并且它的運(yùn)行模式使得它可以很簡(jiǎn)單安全的整合進(jìn)您當(dāng)前的架構(gòu)中， 同時(shí)可以保護(hù)你的web服務(wù)器不被暴露到網(wǎng)絡(luò)上， 如下所示： ， 它支持如下新特性： · 內(nèi)容交換 : 可以根據(jù)請(qǐng)求(request)的任何一部分來選擇一組服務(wù)器, 比如請(qǐng)求的 URI, Host頭(header), cookie, 以及其他任何東西. 當(dāng)然，對(duì)那些

16、靜態(tài)分離的站點(diǎn)來說，對(duì)此特性還有更多的需求。 · 全透明代理 : 可以用 客戶端IP地址cttproxy補(bǔ)丁后才可以使用. 這個(gè)特性也使得為某特殊服務(wù)器處理部分流量同時(shí)又不修改服務(wù)器的地址成為可能。 · 基于樹的更快的調(diào)度器 : 以上的版本要求所有的超時(shí)都設(shè)成同樣的值以支持?jǐn)?shù)以萬計(jì)的全速連接. 這個(gè)特性已經(jīng)移植到1.2.17. · 內(nèi)核TCP拼接 : 避免了內(nèi)核到用戶然后用戶到內(nèi)核端的數(shù)據(jù)拷貝, 提高了吞吐量同時(shí)又降低了CPU使用率. Haproxy 1.3支持Linux L7SW 以滿足在商用硬件上數(shù)Gbps的吞吐的需求。 · 連接拒絕 : 因?yàn)榫S護(hù)一

17、個(gè)連接的打開的開銷是很低的，有時(shí)我們很需要限制攻擊蠕蟲(attack bots)， 也就是說限制它們的連接打開從而限制它們的危害。 這個(gè)已經(jīng)為一個(gè)陷于小型DDoS攻擊的網(wǎng)站開發(fā)了而且已經(jīng)拯救了很多站點(diǎn)。 · 細(xì)微的頭部處理 : 使得編寫基于header的規(guī)則更為簡(jiǎn)單，同時(shí)可以處理URI的某部分。 · 快而可靠的頭部處理 : 使用完全RFC2616兼容的完整性檢查對(duì)一般的請(qǐng)求全部進(jìn)行分析和索引僅僅需要不到2ms的時(shí)間。 · 模塊化設(shè)計(jì) : 允許更多人加入進(jìn)此項(xiàng)目，調(diào)試也非常簡(jiǎn)單. poller已經(jīng)分離, 已經(jīng)使得它們的開發(fā)簡(jiǎn)單了很多. HTTP已經(jīng)從TCP分離出來了

18、， 這樣增加新的七層特性變得非常簡(jiǎn)單. 其他子系統(tǒng)也會(huì)很快實(shí)現(xiàn)模塊化 · 投機(jī)I/O 處理 : 在一個(gè)套接字就緒前就嘗試從它讀取數(shù)據(jù)。poller僅推測(cè)哪個(gè)可能就緒哪個(gè)沒有，嘗試猜測(cè)，并且如果成功，一些開銷很大的系統(tǒng)調(diào)用 就可以省去了。如果失敗，就會(huì)調(diào)用這些系統(tǒng)調(diào)用。已知的使用Linux epoll()已經(jīng)凈提升起碼10%了。 · ACLs : 使用任意規(guī)則的任意組合作為某動(dòng)作的執(zhí)行條件。 · TCP 協(xié)議檢查 : 結(jié)合ACL來對(duì)請(qǐng)求的任意部分進(jìn)行檢查，然后再進(jìn)行轉(zhuǎn)發(fā)。這就可以執(zhí)行協(xié)議驗(yàn)證而不是盲目的進(jìn)行轉(zhuǎn)發(fā)。比如說允許SSL但拒絕SSH。 · 更多的負(fù)

19、載均衡算法 : 現(xiàn)在，動(dòng)態(tài)加權(quán)輪循(Dynamic Round Robin)，加權(quán)源地址哈希(Weighted Source Hash)，加權(quán)URL哈希和 加權(quán)參數(shù)哈希(Weighted Parameter Hash)已經(jīng)實(shí)現(xiàn)。其他算法比如Weighted Measured Response Time也很快會(huì)實(shí)現(xiàn)。 和其他"免費(fèi)"的負(fù)載均衡解決方案不同的是, HAproxy僅被幾百或者幾千的遍布全球的用戶使用， 但是這些用戶通常運(yùn)行很大的站點(diǎn)， 每天有數(shù)百萬的點(diǎn)擊量和幾Gbps甚至幾萬兆(terabytes)吞吐量。 他們需要7x24的可用性并且愿意承受免費(fèi)軟件解決方案的風(fēng)

20、險(xiǎn)， 同時(shí)有這些使用技術(shù). 通常, 這種解決方案僅配置為內(nèi)部使用, 我僅在他們提供給我反饋或者需要新特性的時(shí)候才會(huì)知道. Heartbeat介紹Linux-HA項(xiàng)目在廣泛的平臺(tái)上提供成熟的高可用(故障切換)能力， 在全球支持上萬個(gè)關(guān)鍵任務(wù)節(jié)點(diǎn)。 其中一小部分記錄在成功案例。 Linux-HA項(xiàng)目是目前可用的時(shí)間最長(zhǎng)，最多能力，和經(jīng)過最好測(cè)試的開放源碼高可用性解決方案，并具有最大的輔助社區(qū) 根據(jù)項(xiàng)目的規(guī)則，它一直保證編譯時(shí)沒有警告，沒有靜態(tài)分析工具發(fā)現(xiàn)的問題安全專家定期審查源程序 它提供對(duì)節(jié)點(diǎn)，應(yīng)用的監(jiān)視功能，提供一個(gè)成熟的基于規(guī)則的資源配置依賴模型當(dāng)一個(gè)故障發(fā)生，或一個(gè)規(guī)則變化，用戶提供的規(guī)則將指導(dǎo)期望的資源的重新配置 一般來說，它具有至少與Veritas VCS, SunCluster, LifeKeeper, ServiceGuard等商業(yè)集群軟件類似的功能和同樣方便的使用方法 特性· 工作在所有Linux的變體和平臺(tái)上，并隨許多Linux發(fā)行版一起打包發(fā)行 · 支持復(fù)雜的服務(wù)間的依賴關(guān)系.可以快速準(zhǔn)確地啟動(dòng)和停止資源. · 支持強(qiáng)制多個(gè)資源運(yùn)行在同一位置或強(qiáng)制多個(gè)資源運(yùn)行在不同位置的規(guī)則. · 基于規(guī)則的資源配置可以讓資源精確地根據(jù)用戶定義的規(guī)則,節(jié)點(diǎn)的屬性和位置的限制條件來配置. · 適當(dāng)力度的資源管理可以