F5LTM工作原理,楊明非F5北方區(qū)技術(shù)經(jīng)理,LTM基礎(chǔ)架構(gòu)VSType詳解Profile詳解CMP工作原理OneConnect工作原理NAT、SNAT工作原理Monitor工作原理HA工作原理,Agenda,3,LTM基礎(chǔ)架構(gòu),4,什么是TMM,TrafficManagementModuleTMOS的核心進(jìn)程，有自己獨(dú)立的內(nèi)存、CPU資源分配和I/O控制所有的生產(chǎn)流量都通過TMM接收一個(gè)CPUCore只能有一個(gè)TMM進(jìn)程在V9版本上，15/34/64/68都是單TMM運(yùn)行在V9版本上，16/36/69/89/84/88都是多TMM運(yùn)行在V10版本上，16/36/69/89/84/88都是多TMM運(yùn)行Viprion只支持9.6和10.0版本，默認(rèn)都是多TMM運(yùn)行,5,TMM處理的范圍,TMM內(nèi)部處理功能,所有的VS入口流量LTMiRiules處理Profile處理會(huì)話保持處理負(fù)載均衡算法SSL加速（和硬件結(jié)合）HTTP壓縮SNAT靜態(tài)CRL文件校驗(yàn),不在TMM里面處理的功能,WebAcceleratorModule（包括壓縮）ApplicationSecurityModuleGTM的分配算法處理（包括GTMrules）Named域名解析健康檢查日志管理系統(tǒng)數(shù)據(jù)統(tǒng)計(jì)SNMP數(shù)據(jù)輸出HA健康檢查,6,BIGIP內(nèi)部結(jié)構(gòu)-V9平臺(tái)15/34/64/68,TM/OS,管理CPU,萬兆/千兆交換端口,PVA四層交換專用ASIC,HostOSWeb界面管理健康檢查SNMP.,Bridge,TMM0,獨(dú)立的管理機(jī)SCCP,SSL加解密,HTTP壓縮,Admin,Console,7,BIGIP內(nèi)部結(jié)構(gòu)-Mecury平臺(tái)16/36/69/89,TM/OS,管理CPU,萬兆/千兆交換端口,HiSpeedBridge,TMM2,HostOSWeb界面管理健康檢查SNMP.,TMM3,TMM1,TMM0,獨(dú)立的管理機(jī)AOM,ClusterMutiProcessor多CPU并行處理,SSL加解密,HTTP壓縮,Console,Admin,8,Host和TMM的內(nèi)存分配,Host在啟動(dòng)的時(shí)候限定了內(nèi)存分配的大小，在沒有其他module的情況下是384MBTMM進(jìn)程啟動(dòng)后，將自動(dòng)獲取余下的所有物理內(nèi)存,HostMemory,TMMMemory,9,查看Host內(nèi)存占用情況,#physmem/查看物理內(nèi)存大小8387584bmemoryshow/查看內(nèi)存分配情況MEMORYSTATISTICS-|(Host)Total=3.835GBUsed=3.590GB|(TMM)Total=5.976GBUsed=93.22MB,10,查看TMM內(nèi)存占用情況,TMM分配的內(nèi)存是準(zhǔn)確的，Host內(nèi)存顯示在這里有一些偏差,11,BIGIP的重要進(jìn)程,bigstartstatus/查看F5進(jìn)程狀態(tài)top/查看Host進(jìn)程狀態(tài)topbcn1/顯示Host的所有進(jìn)程,TomCat4,TMM,TMM,MCPD,bigd,big3d,業(yè)務(wù)數(shù)據(jù)處理,本地健康檢查,GTM/Mpack通訊,配置管理界面,Tamd,外部認(rèn)證,bcm56xxd,交換芯片管理,12,Module工作模式-GTM,所有的請(qǐng)求接收和響應(yīng)都通過TMM進(jìn)行g(shù)tmd負(fù)責(zé)動(dòng)態(tài)策略解析，并將不在策略制定內(nèi)的請(qǐng)求轉(zhuǎn)發(fā)給namedgtmd的所有狀態(tài)來源均由big3d匯報(bào)gtmd不會(huì)直接與bigd通訊，而是從big3d去獲得信息,TMM,客戶端請(qǐng)求,gtmd,named,bigd,big3d,mcpd,Listener接收請(qǐng)求,動(dòng)態(tài)策略解析,靜態(tài)策略解析,RTT探測(cè)iQuery信息收集和發(fā)送,本地健康檢查,13,Module工作模式-WA,PVAC是WAModule處理的主進(jìn)程，與TMM之間采用Plugin模式通訊PVAC可以以多線程方式運(yùn)行所有的流量由TMM發(fā)送到pvac，pvac處理完成之后返回給TMM，再通過負(fù)載均衡策略轉(zhuǎn)發(fā)到服務(wù)器,TMM,客戶端請(qǐng)求,pvac,Web/應(yīng)用服務(wù)器,Web/應(yīng)用服務(wù)器,Web/應(yīng)用服務(wù)器,pvac,14,Module工作模式-ASM,asm是ASM處理的主進(jìn)程，與TMM之間采用Plugin模式通訊asm可以以多線程方式運(yùn)行所有的流量由TMM發(fā)送到asm，asm處理完成之后返回給TMM，再通過負(fù)載均衡策略轉(zhuǎn)發(fā)到服務(wù)器,14,TMM,客戶端請(qǐng)求,asm,Web/應(yīng)用服務(wù)器,Web/應(yīng)用服務(wù)器,Web/應(yīng)用服務(wù)器,asm,15,Module工作模式-SAM,TMM接收所有流量請(qǐng)求SSLVPN通道建立處理在TMM內(nèi)部完成APD(ApplicationPolicyDaemon)負(fù)責(zé)策略執(zhí)行，用戶認(rèn)證等，不處理具體的業(yè)務(wù)流量,TMM,客戶端請(qǐng)求,APD,Web/應(yīng)用服務(wù)器,Web/應(yīng)用服務(wù)器,Web/應(yīng)用服務(wù)器,16,VSType詳解,17,VSType詳解,PerformanceL4StandardVSFastHTTPFowardingVS,18,PerformanceL4,TMM只是負(fù)責(zé)客戶端連接的分配和轉(zhuǎn)發(fā)，不改變TCP連接中的任何參數(shù)客戶端和服務(wù)器自行協(xié)商TCP傳輸參數(shù)在34/64/68平臺(tái)上PerformanceL4可以有PVA加入實(shí)現(xiàn)硬件加速在15/16/36/69/89/Viprion平臺(tái)上都通過TMM核心進(jìn)行處理PerformanceL4VS上只有4層的iRules可以使用默認(rèn)狀態(tài)下，新建連接的第一個(gè)包必須是Syn包，如果是其他的數(shù)據(jù)包比如ACK、RST等如果不在連接表中，則全部丟棄。在FastL4profile打開Looseclose和LooseInitial的時(shí)候?qū)Ψ荢yn包也可以建立連接表,TMM,客戶端,客戶端,客戶端,服務(wù)器端,服務(wù)器端,服務(wù)器端,19,PerformanceL4攻擊防護(hù)-SynCookie,正常情況下客戶端連接和服務(wù)器端連接是1:1的關(guān)系TMM在第一次收到客戶端Syn包時(shí)，并不建立連接表TMM的SynAck回應(yīng)通過算法回應(yīng)給客戶端Syn，并期待客戶端回應(yīng)的值TMM對(duì)客戶端ACK進(jìn)行計(jì)算，確認(rèn)是真實(shí)客戶端，再和后臺(tái)服務(wù)器建立連接在84/88上可以實(shí)現(xiàn)硬件的SynCookie計(jì)算，其余的平臺(tái)都是通過軟件實(shí)現(xiàn)SynCookie計(jì)算SynCookie工作模式下，只有成功建立連接的TCP請(qǐng)求才轉(zhuǎn)發(fā)到后臺(tái),TMM,Syn,Syn,Ack(syncookie),Ack(Cookie),Syn,Syn-Ack,Ack,Data,20,StandardVS,正常情況下客戶端連接和服務(wù)器端連接是1:1的關(guān)系默認(rèn)工作在全代理模式，客戶端和服務(wù)器端的TCP連接完全獨(dú)立客戶端和服務(wù)器端的TCP參數(shù)都是由TMM和雙方分別協(xié)商默認(rèn)情況下以客戶端源IP和后臺(tái)建立連接，在打開SNAT的情況下用SNAT地址和后臺(tái)建立連接StandardVS的端口永遠(yuǎn)對(duì)外開放，無論后臺(tái)是否有服務(wù)器在工作,TMM,Syn,Syn,Ack,Ack,Syn,Syn-Ack,Ack,Data,Data,21,Standard模式下的攻擊防護(hù),StandardVS模式具有天然的防攻擊功能在遇到Syn攻擊的時(shí)候會(huì)導(dǎo)致系統(tǒng)的連接表過大通過System-SYNCheckActivationThreshold的設(shè)置，在達(dá)到設(shè)置值的時(shí)候系統(tǒng)自動(dòng)啟動(dòng)SynCookie，避免建立過多連接，這個(gè)值對(duì)全局生效大部分的網(wǎng)絡(luò)層攻擊都無法通過Standard模式的VS,22,FastHTTP,FastHTTPVS僅用于HTTP協(xié)議默認(rèn)開啟OneConnectProfile，對(duì)客戶端連接進(jìn)行聚合處理默認(rèn)開啟SNATAutoMap，在服務(wù)器端收到的TCP連接請(qǐng)求都是來自于TMM沒有會(huì)話保持功能不能處理SSL，HTTPS,TMM,客戶端,客戶端,客戶端,服務(wù)器端,服務(wù)器端,服務(wù)器端,23,FowardingVS（ForwardingIP）,只能使用FastL4Profile按照連接處理，類似于路由器工作，但不完全一樣，在FastL4Profile中開啟LooseInitial和LooseClose之后更為接近路由工作模式所有穿過FowardingVS的連接都將產(chǎn)生連接表沒有PoolMember，轉(zhuǎn)發(fā)完全取決于本地路由可以使用基于4層的Rules,TMM,客戶端,查詢本地路由表,轉(zhuǎn)發(fā)客戶端請(qǐng)求,24,VS和Profile,VS作為所有流量的入口Profile依賴于VS，對(duì)進(jìn)入VS的流量進(jìn)行格式化處理不同的VS可以用同一個(gè)Profile或者不同的ProfileProfile之間存在有相互排斥和相互依存的關(guān)系,VS,TCPProfile,UDPProfile,FastL4Profile,HTTP,RTSP,ClientSSL,ServerSSL,Streaming,SMTP,SIP,OneConnect,25,VS和Rules,Rules的處理必須依賴于VS對(duì)流量的接收通過事件觸發(fā)機(jī)制，Rules可以控制流量在VS內(nèi)部處理的整個(gè)過程,SSL,Compression,ClientSide,ServerSide,TCPExpress,Server,TCPExpress,Caching,Microkernel,VirtualServer,iRules,Client,iControlAPI,TCPProxy,OneConnect,XML,RateShaping,TrafficShield,WebAccel,3rdParty,26,VS和Rules,Server,iRules,ClientSideEventClient_acceptClient_dataCache_requestDNS_requestHTTP_REQUESTHTTP_REQUEST_DATARTSP_REQUEST.,ServerSideEventServer_connectServer_dataCache_responseDNS_responseHTTP_RESPONSEHTTP_RESPONSE_DATARTSP_RESPONSE.,27,VS和Rules,大部分rules只在同一個(gè)VS之內(nèi)有效Rules內(nèi)創(chuàng)建的變量以連接為生命周期一個(gè)VS上可以有多個(gè)Rules，它們將被順序執(zhí)行,CLIENT_ACCPTED,CLIENT_DATA,LB_SELECTED,LB_FAILED,SERVER_ACCPTED,SERVER_DATA,CLIENT_CLOSED,SERVER_CLOSED,RULE_INIT,VS,28,Profile詳解,29,Profile的作用和工作范圍,Profile依賴于VSProfile是對(duì)VS的流量進(jìn)行格式化處理舉例如果一個(gè)VS上配置了TCPProfile，則該VS對(duì)所有的UDP流量都不會(huì)接收,30,Profile的作用和工作范圍,基本流量處理類型ProfileTCP,UDP,FastHTTP,FastL4,SCTP服務(wù)流量處理類型ProfileHTTP,FTP,SMTP,RTSP,SIP,iSessionSSL處理類型ClientSSL，ServerSSL會(huì)話保持類型Cookie,DestinationIP,hash,msrdp,sourceIP,Universal,SSL認(rèn)證處理類型Radius,CRLDP,OCSP其他處理類型OneConnect,Statistics,NTLM,Stream,31,重要的Profile-FastL4,ResetonTimeout:在連接達(dá)到Timeout的是否向兩端發(fā)送Reset包IdelTimeout：多長時(shí)間連接里面沒有數(shù)據(jù)流量的時(shí)候就刪除連接表LooseInitiation/LooseClose:是否接收非Syn包建立連接SoftareSynCookieProtection:是否在VS上啟用SynCookie，實(shí)現(xiàn)Syn攻擊防護(hù),可能調(diào)整的參數(shù),32,重要的Profile-TCP,注意在ClientSide和ServerSide可以使用不同的TCPProfile通常情況下建議：Clientside：TCPWANOptimized或LANOptimizedServerside:TCPLANOptimized除非你非常了解TCP的工作原理，否則不要調(diào)整除idelTimeout以外的任何參數(shù),33,重要的Profile-ClientSSL,對(duì)所有進(jìn)入VS的流量按照SSL協(xié)議進(jìn)行處理注意ClientSSLprofile不一定只能使用在HTTPS上使用ClientSSL的VS不一定使用443端口,TMM,客戶端,客戶端,客戶端,服務(wù)器端,服務(wù)器端,服務(wù)器端,SSL,SSL,SSL,34,重要的Profile-FTP,FTP的連接模式有兩種，PORT（主動(dòng)模式）和PASV（被動(dòng)模式），主動(dòng)模式的連接過程是：客戶端動(dòng)態(tài)的選擇一個(gè)端口（這個(gè)端口號(hào)一定是1024以上的，因?yàn)?024以前的端口都已經(jīng)預(yù)先被定義好）向服務(wù)器端的FTP端口（默認(rèn)是21）發(fā)送連接請(qǐng)求，服務(wù)器接受連接，建立一個(gè)命令連接。當(dāng)需要傳送數(shù)據(jù)時(shí)或者列出服務(wù)器的文件列表時(shí)（通常使用ls或dir命令），客戶端通過命令連接告訴服務(wù)器（使用PORT命令）：“我已經(jīng)打開了XX端口，請(qǐng)你過來連接”。于是服務(wù)器使用20端口向客戶端的XX端口發(fā)送連接請(qǐng)求，建立一條數(shù)據(jù)連接來傳送數(shù)據(jù)。被動(dòng)模式：客戶端首先使用與主動(dòng)連接模式相同的方法與服務(wù)器建立命令連接。當(dāng)需要傳送數(shù)據(jù)時(shí)，客戶端通過命令連接告訴服務(wù)器（使用PASV命令）“我要連接你的XX端口，請(qǐng)問是否空閑”，如果恰好該端口空閑，服務(wù)器會(huì)告訴客戶端：“你請(qǐng)求的端口空閑，可以建立連接（ACK確認(rèn)信息）”，否則服務(wù)器會(huì)說“該端口已經(jīng)占用，請(qǐng)換個(gè)端口（UNACK信息）”。如果客戶端得到的是空閑的提示，就會(huì)利用該端口建立連接，否則就換個(gè)端口重新嘗試，這也就是所謂的連接建立的協(xié)商過程.PORT模式建立數(shù)據(jù)傳輸通道是由服務(wù)器端發(fā)起的，服務(wù)器使用20端口連接客戶端的某一個(gè)大于1024的端口；在PASV模式中，數(shù)據(jù)傳輸?shù)耐ǖ赖慕⑹怯蒄TP客戶端發(fā)起的，他使用一個(gè)大于1024的端口連接服務(wù)器的1024以上的某一個(gè)端口。如果從C/S模型這個(gè)角度來說，PORT對(duì)于服務(wù)器來說是OUTBOUND，而PASV模式對(duì)于服務(wù)器是INBOUND.,FTPProfile主要用于處理FTP的主動(dòng)和被動(dòng)傳輸兩種模式由于需要配置動(dòng)態(tài)偵聽端口，因此FTP協(xié)議必須進(jìn)行單獨(dú)處理通過iRules也可以達(dá)到同樣的目的，但由于FTP協(xié)議使用非常廣泛，因此使用FTPprofile來簡化配置和處理FTPProfile必須依賴于TCPprofile工作,35,CMP工作原理,36,為什么要用CMP,性能增長要求CPU的主頻增加受到比較大的限制，目前的趨勢(shì)是以多核擴(kuò)展為主ASIC、NP的處理架構(gòu)并不適合于復(fù)雜、靈活的流量處理對(duì)于不規(guī)范的流量，采用硬件加速將導(dǎo)致系統(tǒng)設(shè)計(jì)僵化，很難加入新的功能實(shí)現(xiàn)市場(chǎng)需求需要充分利用CPU的多核處理能力來提升系統(tǒng)的整體性能,37,CMP的硬件支持,38,CMP工作模式,流量由HSB進(jìn)行分配在多個(gè)TMM上，每個(gè)TMM占據(jù)一個(gè)CPUCore，每個(gè)TMM有自己獨(dú)立的內(nèi)存空間每個(gè)TMM都具有相同的配置，包括VS/Profile/iRules/Pool/Persistence等TMM之間通過內(nèi)存高速總線進(jìn)行通訊共享通用信息如會(huì)話保持表，SNAT源端口等當(dāng)CMP被Disable的時(shí)候，TMM0接管所有的流量64/68的硬件平臺(tái)已經(jīng)支持CMP，在10.0上自動(dòng)開啟,VIPTMM0,VIPTMM1,VIPTMM2,VIPTMM3,HSB,HSB,SuperVIP,39,如何查看CMP工作狀態(tài),btmmshow可以觀察每個(gè)TMM的狀態(tài),40,關(guān)于CMP必須了解的內(nèi)容,V9平臺(tái)啟動(dòng)WA和ASM將DisableCMPiRules中定義全局變量將DisableCMP所有的非TCP/UDP流量都只使用TMM0進(jìn)行處理V9中使用Sessionadd,SessionLookup命令將DisableCMPConnectionLimit和RateShaping的配置是針對(duì)每個(gè)TMM生效手工關(guān)閉CMP運(yùn)行bdbProvision.tmmCount1調(diào)整后必須重啟任何一個(gè)TMMCrash，將導(dǎo)致設(shè)備間FailoverTCPdump已經(jīng)調(diào)整為可支持CMP,41,查看VirtualServer的CMP工作狀態(tài),42,如何查看TMMCPU占用率,top命令可以顯示每顆CPU的占用率和V9相比，TMM的CPU在Top命令中的顯示發(fā)生了變化每顆CPU的CPU占用率目前在圖形界面里都消失了，目前只有整體的CPU占用率,43,OneConnect工作原理,44,連接聚合和內(nèi)容交換,sales.htm,d.gif,e.gif,index.htm,a.gif,b.gif,c.asp,Server,f.asp,sales.htm,d.gif,e.gif,index.htm,a.gif,b.gif,c.asp,Server,f.asp,index.htm,a.gif,b.gif,c.asp,index.htm,a.gif,b.gif,c.asp,HTMLserverpool,GIFserverpool,ASPserverpool,連接聚合,內(nèi)容交換,45,OneConnect工作原理,46,OneConnect的典型工作場(chǎng)景,實(shí)現(xiàn)連接聚合降低服務(wù)器的連接總數(shù)需要對(duì)每一個(gè)請(qǐng)求都進(jìn)行單獨(dú)處理（注意在多數(shù)情況下，LTM只對(duì)一個(gè)連接的第一個(gè)包進(jìn)行處理）典型的，打開Cookie會(huì)話保持有時(shí)候會(huì)出現(xiàn)保持不正確的情況，這時(shí)就需要打開OneConnect通過設(shè)置Mask=55，可以使后臺(tái)服務(wù)器可以“看到”客戶端源IP，但這個(gè)時(shí)候One-connect只對(duì)一個(gè)客戶端的連接起作用,47,OneConnect和應(yīng)用協(xié)議,注意！OneConnectProfile不是必須和HTTPProfile共用，也可以用于其他應(yīng)用協(xié)議。用于其他應(yīng)用協(xié)議的時(shí)候必須使用iRules編程來調(diào)用OneConnect在需要對(duì)長連接進(jìn)行拆分處理的時(shí)候，也需要用OneConnectProfile,48,NAT和SNAT,49,SNAT的全稱,SecureNetworkAddressTranslation,SNAT,=,50,NAT的工作模式,0,NATAddress:0,51,SNAT的工作模式,0,,,,SNATAddress:0,52,NAT和SNAT之間的差別,NAT1比1接收所有發(fā)往NAT地址的連接所有的連接只是通過LTM的連接表管理，但是是無狀態(tài)的，連接不會(huì)被Timeout連接不能被鏡像,SNAT多對(duì)一或者多對(duì)多拒絕所有發(fā)往SNAT地址的連接請(qǐng)求.連接通過LTM的連接表管理，有timeout設(shè)置連接可以被鏡像,53,SNATAutoMap,當(dāng)配置SNATAutoMap的時(shí)候，請(qǐng)求從那個(gè)VLAN發(fā)出去，則SNAT的源地址為VLAN上的SelfIP當(dāng)一個(gè)VLAN上有多個(gè)SelfIP存在的時(shí)候，SNAT的源地址是在多個(gè)SelfIP之間輪詢,54,SNATPool的工作模式,SNATPool是提供了一個(gè)可用于SNAT源地址的列表BIGIP采用最小連接數(shù)的方式在SNAT的源地址之間進(jìn)行選擇,55,通過iRules控制SNAT,whenCLIENT_ACCEPTEDsetsnat_addrwhenHTTP_REQUESTsetsnat_addrHTTP:headerX-Forwarded-ForlogX-Fowarded-ForisHTTP:headerX-Forwarded-ForwhenLB_SELECTEDsnat$snat_addr,HTTPS,SSLOffload替換源地址,Server端需要在TCP連接里面獲取客戶端源地址,56,SNAT的源地址會(huì)話保持,whenRULE_INIT#loglocal5.warning-$cnc_snatpoolsetsnat_lengthllength$cnc_snatpoolloglocal5.warning-snatpoollengthis$snat_lengthwhenLB_SELECTED#setclient_addr3setclient_ipIP:client_addrsetclient_lastgetfield$client_ip.4#loglocal5.warning-clientlastis$client_lastsetsnat_addrlindex$cnc_snatpoolexpr$client_last%$snat_length#loglocal5.warning-clientsnataddr$snat_addrsnat$snat_addr,57,Timeout定義和鏡像,SNAT可以在兩臺(tái)設(shè)備之間鏡像SNAT對(duì)于TCPidleTimeout和UDPidleTimeout可以有獨(dú)立的設(shè)置,58,Monitor工作原理,59,Monitor如何向外發(fā)送請(qǐng)求,所有的Monitor請(qǐng)求都是由bigd進(jìn)程發(fā)起Monitor流量要穿過TMM發(fā)送到Server或者其他位置在bconn中可以看到Monitor的流量,TMM,bigd,60,重要的Monitor-TCP,Se