阿里云航司Anti-Bot安全解決方案

（防爬）Bot現(xiàn)狀與威脅解決方案客戶收益成功案例目錄BotTrafficReport2016byIncapsulaBotAnalysisReportof

Akamai

in

RSA

Conference爬蟲(chóng)是怎么爬票的黑產(chǎn)刷票流程1)充分的利用各種爬蟲(chóng)工具；2)大量下訂單，規(guī)定時(shí)間內(nèi)（各航線不同）不支付，并把搶占的艙位放到OTA、機(jī)票B2B上出售；

3)規(guī)定時(shí)間內(nèi)賣(mài)不出去，在被取消訂單前，訂單失效前去追一個(gè)訂單，繼續(xù)把位置占??；

4)如果出售成功，就可以把原來(lái)占位的機(jī)票取消掉，再用客戶的身份信息訂票并出票。由于自動(dòng)化工具的存在，真實(shí)的訂票流量只占5%Bot現(xiàn)狀與威脅解決方案客戶收益成功案例目錄云盾Anti-Bot

Service介紹Anti-botService（爬蟲(chóng)風(fēng)險(xiǎn)管理），基于阿里提供的專業(yè)的anti-bot產(chǎn)品和安全專家服務(wù)，致力提供從Web、App到API接口的一整套全面的惡意Bot防護(hù)解決方案，避免某一環(huán)節(jié)防護(hù)薄弱導(dǎo)致的安全短板?；诜聪虼淼牟渴鸾Y(jié)構(gòu)，以SaaS的產(chǎn)品形態(tài)面向用戶，用戶在控制臺(tái)可以選擇合適的對(duì)抗策略來(lái)識(shí)別及管控bot流量，保證正常流量到達(dá)源站。WebAppAPI云盾Anti-Bot產(chǎn)品架構(gòu)PC/H5APP黑白名單精準(zhǔn)訪問(wèn)控制頻率統(tǒng)計(jì)封禁威脅情報(bào)算法模型人機(jī)識(shí)別設(shè)備端指紋SDK采集JS采集策略引擎源站業(yè)務(wù)外部策略引擎簽名合法性校驗(yàn)風(fēng)險(xiǎn)設(shè)備識(shí)別（貓池／牧場(chǎng)等）黑灰產(chǎn)設(shè)備指紋情報(bào)設(shè)備級(jí)別的限速瀏覽器挑戰(zhàn)：JS挑戰(zhàn)交互挑戰(zhàn)：驗(yàn)證碼／滑塊生態(tài)風(fēng)控能力防護(hù)策略總覽防護(hù)策略總覽策略說(shuō)明黑白名單可按指定IP名單優(yōu)先進(jìn)行放過(guò)和阻斷精準(zhǔn)訪問(wèn)控制指對(duì)常見(jiàn)的HTTP字段（如IP、URL、Referer、UA、參數(shù)等）進(jìn)行條件組合，配置支持業(yè)務(wù)場(chǎng)景定制化的防護(hù)策略，由匹配條件與匹配動(dòng)作構(gòu)成頻次限制限制特定路徑（URL）上單個(gè)IP/Cookie/Header的某個(gè)字段對(duì)服務(wù)器的訪問(wèn)頻率，或者基于響應(yīng)碼的比例及數(shù)量達(dá)到一定閾值做封禁威脅情報(bào)收集行業(yè)的爬蟲(chóng)特征情報(bào)，共享云上業(yè)務(wù)大數(shù)據(jù)算法識(shí)別的爬蟲(chóng)資源情報(bào)，按多維度在云端統(tǒng)一輸出給客戶決策使用算法模型深度了解業(yè)務(wù)流程，基于機(jī)器學(xué)習(xí)算法，貼合業(yè)務(wù)風(fēng)險(xiǎn)定制化算法模型，增益于其他通用防護(hù)方案網(wǎng)頁(yè)端防護(hù)基于人機(jī)識(shí)別技術(shù)，結(jié)合阿里云的大數(shù)據(jù)能力，利用業(yè)內(nèi)領(lǐng)先的風(fēng)險(xiǎn)決策引擎，防止關(guān)鍵業(yè)務(wù)欺詐行為APP端防護(hù)SDK方案專門(mén)針對(duì)原生APP端，提供可信通信、防機(jī)器腳本濫刷等安全防護(hù)，可以有效識(shí)別高風(fēng)險(xiǎn)手機(jī)、貓池、牧場(chǎng)等特征1.黑白名單HTTPURLIPRefererUA參數(shù)對(duì)于明顯的Bot特征：可任意上述條件組合的精準(zhǔn)訪問(wèn)控制支持排序以實(shí)現(xiàn)不同優(yōu)先級(jí)支持精確匹配和模糊匹配2.精準(zhǔn)訪問(wèn)控制很大比例的爬蟲(chóng)是請(qǐng)求特定的URL，如查票接口根據(jù)自身業(yè)務(wù)特點(diǎn)，自定義防護(hù)規(guī)則支持前綴匹配和精確匹配可輕松配置xx秒訪問(wèn)xx次，響應(yīng)碼數(shù)量或比例達(dá)到xx時(shí)，封禁xx分鐘，例如：主要針對(duì)低頻但持續(xù)的爬蟲(chóng)，1小時(shí)內(nèi)查詢超過(guò)1000次且查詢條件都不同針對(duì)爆發(fā)式的高頻爬蟲(chóng)，5秒內(nèi)超過(guò)12次且查詢條件都不同

3.頻次限制行為爬取時(shí)間不均勻，爆發(fā)式只爬取少量特定站點(diǎn)分布動(dòng)態(tài)撥號(hào)爬蟲(chóng)IP池/IDC/云機(jī)房/識(shí)別合法爬蟲(chóng)白名單根據(jù)安全團(tuán)隊(duì)的威脅情報(bào)，大多數(shù)的惡意爬蟲(chóng)都來(lái)源于動(dòng)態(tài)撥號(hào)爬蟲(chóng)IP池，以及IDC和云機(jī)房，可以基于該情報(bào)進(jìn)行定向封禁。4.威脅情報(bào)：惡意爬蟲(chóng)庫(kù)PhantomJSSelenium分布式模擬滑動(dòng)/點(diǎn)擊打碼平臺(tái)真人工具更智能，思路更猥瑣5.算法模型：基于大數(shù)據(jù)的安全專家分析基于大數(shù)據(jù)的安全專家分析爬蟲(chóng)不斷演進(jìn)升級(jí)防爬檢測(cè)算法孤立會(huì)話檢測(cè)會(huì)話檢測(cè)動(dòng)靜態(tài)資源占比檢測(cè)…6.網(wǎng)頁(yè)端防護(hù)：JS驗(yàn)證云盾Anti-Bot引擎處理6.網(wǎng)頁(yè)端防護(hù)：滑塊監(jiān)控：配置需要防爬的目錄后，Anti-bot將針對(duì)該目錄下所有內(nèi)容的請(qǐng)求進(jìn)行監(jiān)控識(shí)別：通過(guò)在頁(yè)面中插入一段JS代碼，Anti-bot能夠?qū)σ粋€(gè)請(qǐng)求進(jìn)行人機(jī)識(shí)別（如分析頁(yè)面停留、滾動(dòng)、點(diǎn)擊等行為方式）、異常流量分析和征信模型匹配，綜合判斷這個(gè)請(qǐng)求是否來(lái)自于正常用戶驗(yàn)證：可信的請(qǐng)求將直接被放行，用戶完全無(wú)感知；可疑的請(qǐng)求將會(huì)被以滑塊、驗(yàn)證碼等方式驗(yàn)證，Anti-bot還會(huì)進(jìn)一步檢測(cè)訪問(wèn)者通過(guò)驗(yàn)證的方式是否可疑，直到完全可信才放行請(qǐng)求，否則攔截代理頁(yè)面請(qǐng)求3、Anti-Bot返回注入hook及信息采集JSAnti-Bot7.APP端防護(hù)：SDK云管端全鏈路防護(hù)實(shí)時(shí)決策風(fēng)險(xiǎn)決策引擎國(guó)際化歐美、東南亞客戶端APPAnti-Bot云端引擎APP

Server①安全SDK初始化采集客戶端硬件信息對(duì)防護(hù)接口安全簽名將簽名和指紋封裝進(jìn)請(qǐng)求②Anti-Bot過(guò)濾掉風(fēng)險(xiǎn)請(qǐng)求腳本、自動(dòng)化程序篡改設(shè)備/APP中間人劫持黑灰產(chǎn)不良信譽(yù)設(shè)備手機(jī)牧場(chǎng)/貓池設(shè)備精細(xì)化限速人機(jī)識(shí)別引擎設(shè)備級(jí)別的限速風(fēng)險(xiǎn)設(shè)備識(shí)別（貓池/牧場(chǎng)…）AI驅(qū)動(dòng)的風(fēng)控引擎簽名合法性校驗(yàn)SDK③合法請(qǐng)求返回源站10億級(jí)黑灰產(chǎn)設(shè)備指紋庫(kù)共享阿里集團(tuán)威脅情報(bào)（IP/手機(jī)號(hào)等）7.APP端防護(hù)：實(shí)時(shí)、可靠的黑產(chǎn)檢測(cè)和處置業(yè)務(wù)上的“哨兵”，通過(guò)多年雙11億萬(wàn)次的真實(shí)攻防實(shí)踐，使得風(fēng)險(xiǎn)識(shí)別系統(tǒng)具備了發(fā)現(xiàn)黑產(chǎn)的“眼睛”運(yùn)行環(huán)境檢測(cè)行為采集完整性檢測(cè)威脅情報(bào)平臺(tái)大數(shù)據(jù)引擎行為模型庫(kù)機(jī)器、深度學(xué)習(xí)實(shí)時(shí)大數(shù)據(jù)決策引擎AVMP核心數(shù)據(jù)簽名反調(diào)試……人工運(yùn)營(yíng)簽名校驗(yàn)異常APP被二次打包模擬器黑名單人機(jī)識(shí)別白名單高凈值用戶風(fēng)險(xiǎn)用戶黑、白、灰流量接入-網(wǎng)站/H5航司電商網(wǎng)站/h5接入，用到的安全產(chǎn)品為云盾Anti-Bot，基于云的架構(gòu)對(duì)bot流量做攔截，以下是業(yè)務(wù)流量處理流程：網(wǎng)站入侵防御Anti-bot

Service惡意流量防御客戶端開(kāi)發(fā)新版本發(fā)布開(kāi)啟防護(hù)將SDK代碼集成進(jìn)APP，集成方便，一般一到兩天足夠可只針對(duì)重點(diǎn)接口防控，也可全量防護(hù)（取決于簽名哪些接口）建議強(qiáng)制更新以達(dá)到最好的效果（防止攻擊者繼續(xù)刷老版本）如無(wú)法實(shí)行強(qiáng)制更新，也可根據(jù)版本號(hào)做訪問(wèn)控制，慢慢迭代更新完畢后可觀察一段時(shí)間線上非法請(qǐng)求的量針對(duì)特定接口或全部請(qǐng)求開(kāi)啟防護(hù)針對(duì)特殊請(qǐng)求可加白放行流量接入-APP接入準(zhǔn)備事項(xiàng)要接入的域名：如m.abc；可以是泛域名，一級(jí)域名或子域名，

不能是純IP；如使用國(guó)內(nèi)WAF節(jié)點(diǎn)，域名必須有工信部ICP備案；源站(真實(shí)服務(wù)器)的公網(wǎng)IP地址；如果需要測(cè)試HTTPS業(yè)務(wù)，需要服務(wù)器的證書(shū)(包含完整證書(shū)鏈)和私鑰；修改測(cè)試域名DNS解析的權(quán)限，常見(jiàn)如萬(wàn)網(wǎng)、新網(wǎng)、DNSPod等；方案實(shí)施流程策略預(yù)設(shè)流量接入流量分析爬蟲(chóng)防御持續(xù)對(duì)抗就當(dāng)前現(xiàn)狀，雙方討論初步希望使用的策略：重點(diǎn)防護(hù)的接口（如有），如下單、查詢、某目錄/列表的地址等；希望使用的防爬策略（如有），如對(duì)某個(gè)接口進(jìn)行限速，封禁IDC的IP等；提供衡量防爬效果的指標(biāo)，如源站流量、服務(wù)器負(fù)載、某項(xiàng)業(yè)務(wù)指標(biāo)等；配置Anti-bot產(chǎn)品，完成域名接入；所有域名的防護(hù)策略配置為觀察模式；最后調(diào)整DNS域名解析，添加Anti-bot提供ame域名，將流量切到云上；觀察3天左右的時(shí)間，阿里云安全團(tuán)隊(duì)統(tǒng)計(jì)預(yù)設(shè)策略的命中情況；根據(jù)命中情況，給出分析結(jié)果和策略優(yōu)化建議；挑選一個(gè)防護(hù)對(duì)象的防護(hù)策略，從觀察模式調(diào)整為防護(hù)模式，重點(diǎn)觀察1-2天時(shí)間，確保正常業(yè)務(wù)不受影響；判斷防護(hù)效果是否滿足預(yù)定的防爬效果指標(biāo)，如效果理想，則繼續(xù)調(diào)整其他防護(hù)對(duì)象，直至全部完成；在配置和策略全部完成以后，防爬進(jìn)入持續(xù)監(jiān)控和對(duì)抗階段；一旦出現(xiàn)QPS流量異常、放過(guò)請(qǐng)求比例明顯增加、服務(wù)器負(fù)載升高等情況，第一時(shí)間人工介入判斷爬蟲(chóng)是否繞過(guò)策略；如策略確被繞過(guò)，分析繞過(guò)原因并重新設(shè)定策略；注意事項(xiàng)WAF為七層反向代理架構(gòu)，接入后源站看到的客戶端IP會(huì)發(fā)生改變，真實(shí)客戶端IP默認(rèn)會(huì)存儲(chǔ)在HTTP頭部的X-Forwarded-For字段，如源站需要用特別定制的字段來(lái)存儲(chǔ)源IP，需提前說(shuō)明，詳見(jiàn)：默認(rèn)分配給所有接入域名的VIP為一個(gè)（獨(dú)享），如需要不同域名對(duì)應(yīng)不同VIP，需開(kāi)啟獨(dú)享IP功能：防爬策略可能導(dǎo)致誤傷，如果有明確需要加白的請(qǐng)求對(duì)象，可以是IP、user-agent、特定URL（如支付回調(diào)接口）、參數(shù)、Cookie、請(qǐng)求方法等，請(qǐng)用戶提前給出防爬中用到的滑塊驗(yàn)證樣式默認(rèn)由阿里云提供，如需定制頁(yè)面請(qǐng)?zhí)崆皽贤ㄊ欠裼惺褂贸?0/443以外的非標(biāo)端口需注意開(kāi)啟數(shù)據(jù)風(fēng)控功能（包括觀察模式）會(huì)導(dǎo)致gzip功能失效，可能導(dǎo)致流量變大確認(rèn)客戶端是否支持SNI有關(guān)SNI的問(wèn)題請(qǐng)參考，HTTPS業(yè)務(wù)，請(qǐng)務(wù)必確保在WAF控制臺(tái)上上傳完整的證書(shū)鏈。證書(shū)是否完整。請(qǐng)確保在WAF上上傳了完整的證書(shū)鏈詳情請(qǐng)見(jiàn):

中的第二條是否進(jìn)行壓測(cè)。注意測(cè)試是否超過(guò)日常QPS閾值，(QPS:每秒的正常請(qǐng)求數(shù)閾值)增強(qiáng)版1000，專業(yè)版2000，企業(yè)版5000，旗艦版10000，超出需要聯(lián)系后端開(kāi)啟務(wù)必在源站上放行WAF的回源IP段（否則很可能會(huì)誤攔截正常請(qǐng)求）如有用到原生APP和API的環(huán)境請(qǐng)?zhí)崆案嬷贫蹵nti-Bot優(yōu)勢(shì)Anti-botService提供完整的端解決方案防止單一環(huán)節(jié)方案缺失造成的防控短板云上標(biāo)準(zhǔn)化接入模式，共享海量威脅情報(bào)，惡意流量不會(huì)到達(dá)源站威脅系統(tǒng)可用性高效的對(duì)抗響應(yīng)服務(wù)和可視化的數(shù)據(jù)報(bào)表Bot現(xiàn)狀與威脅解決方案客戶收益成功案例目錄客戶收益過(guò)濾大量的垃圾流量，降低資源消耗提升客座率，提升航司凈利潤(rùn)給客戶更好的用戶體驗(yàn)Bot現(xiàn)狀與威脅解決方案客戶收益成功案例目錄案例-亞洲航空亞洲航空公司（AirAsia），簡(jiǎn)稱亞航，成立于2001年；是亞第二家國(guó)際航空公司，也是亞洲地區(qū)首家低成本航空。截止到目前，一共192條國(guó)內(nèi)及國(guó)際航線，覆蓋20多個(gè)國(guó)家。亞航一直致力于將低成本飛行帶到新的高度，使“現(xiàn)在人人都能飛”的信念成為現(xiàn)實(shí)，并連續(xù)6年獲得“世界最佳低成本航空”稱號(hào)。黃牛黨/票務(wù)代理惡意鎖定廉價(jià)座位填寫(xiě)虛假ContactDetailPurchase下單后不支付座位鎖定30分鐘等待支付超時(shí)釋放專業(yè)刷票工具專業(yè)黃牛黨業(yè)務(wù)系統(tǒng)網(wǎng)絡(luò)架構(gòu)桌面/手機(jī)應(yīng)用CDNInstartlogic全球節(jié)點(diǎn)阿里云Anti-botXX地區(qū)IDC商戶訂單XX地區(qū)IDC商戶訂單東北華北西北華東華中華南西南Instartlogic全球節(jié)點(diǎn)阿里云Anti-botInstartlogic全球節(jié)點(diǎn)阿里云Anti-botNudataSecurity關(guān)鍵接口特征封禁行為封禁對(duì)抗黑產(chǎn)booking.airasia/Flight/Select?xxxxxx查票接口占了總流量的85.7%正常的一個(gè)查詢->買(mǎi)票流程，這個(gè)接口的流量只占10%不到封禁非法cookies/referer/user-agent/path…IP信譽(yù)庫(kù)合法用戶會(huì)請(qǐng)求很分散的頁(yè)面和資源類(lèi)型，且速度不會(huì)很快爬蟲(chóng)會(huì)集中在其感興趣的接口爬蟲(chóng)背后是越來(lái)越專業(yè)的黑產(chǎn)團(tuán)隊(duì)本質(zhì)上是人與人的對(duì)抗方案效果案例證明某省市場(chǎng)（產(chǎn)業(yè)鏈）的規(guī)模和技術(shù)成熟度已經(jīng)遠(yuǎn)超我們想象專業(yè)的Bots服務(wù)進(jìn)一步降低了技術(shù)門(mén)檻隨著技術(shù)發(fā)展，Bots的行為與真人的區(qū)別越來(lái)越模糊打碼平臺(tái)等人肉方式的輔助黑產(chǎn)對(duì)繞過(guò)Bots檢測(cè)手段的研究從未停止Bots對(duì)抗，背后是人與人的持續(xù)對(duì)抗專家+產(chǎn)品+情報(bào)一體化服務(wù)，壓制黑產(chǎn)才有保障結(jié)語(yǔ)方案價(jià)格產(chǎn)品大類(lèi)產(chǎn)品小類(lèi)模塊名稱模塊內(nèi)容規(guī)格價(jià)格（元/年）云盾Anti-Bot服務(wù)防爬功能基礎(chǔ)接入能力1、支持HTTP\HTTPS\HTTP2\Websocket協(xié)議

2、支持端口，支持特定50個(gè)非標(biāo)端口，詳見(jiàn)PC\H5業(yè)務(wù)防護(hù)支持針對(duì)PC\H5業(yè)務(wù)的爬蟲(chóng)攻擊防護(hù)能力，包括：

1.根據(jù)相關(guān)業(yè)務(wù)的具體特征進(jìn)行規(guī)則定制

2.基于IP/cookie/header/參數(shù)等頭部字段（支持自定義）對(duì)于任意URL進(jìn)行異常行為識(shí)別和控制

3.對(duì)于可疑的請(qǐng)求提供基于cookie跳轉(zhuǎn)、JS人機(jī)識(shí)別、滑塊驗(yàn)證或直接攔截等處置手段

4.阿里云惡意IP庫(kù)、惡意指紋庫(kù)情報(bào)，云上威脅情報(bào)共享

5.關(guān)鍵接口的數(shù)據(jù)風(fēng)控，防止各類(lèi)活動(dòng)作弊

6.提供蟻盾（螞蟻金服旗下）惡意手機(jī)號(hào)識(shí)別和封禁能力

7.提供通用版的防爬報(bào)表

APP業(yè)務(wù)防護(hù)支持針對(duì)APP業(yè)務(wù)的爬蟲(chóng)攻擊防護(hù)能力，包括：

1.提供阿里云防刷SDK并協(xié)助接入

2.確保APP端與服務(wù)端的可信通信，確保只有來(lái)自合法且可信設(shè)備的請(qǐng)求才會(huì)被轉(zhuǎn)發(fā)到源站

3.共享阿里巴巴集團(tuán)十億級(jí)別覆蓋國(guó)內(nèi)及海外的惡意設(shè)備指紋庫(kù)

4.識(shí)別模擬器、手機(jī)牧場(chǎng)、被篡改等幾十種高風(fēng)險(xiǎn)身份或硬件信息

5.基于精確設(shè)備指紋（真實(shí)手機(jī)終端）的限速

6.阿里云惡意IP庫(kù)、惡意指紋庫(kù)情報(bào)，云上威脅情報(bào)共享

7.提供通用版的防爬報(bào)表售后服務(wù)標(biāo)準(zhǔn)服務(wù)1、建立專屬某著名企業(yè)群進(jìn)行項(xiàng)目溝通，提供防爬相關(guān)的在線咨詢服務(wù)和技術(shù)支持，及時(shí)溝通并解答客戶問(wèn)題；

2、幫助客戶進(jìn)行Anti-Bot的接入配置，包括域名接入、HTTPS、與其他系統(tǒng)的對(duì)接配置等；增值服務(wù)1、對(duì)Anti-Bot系統(tǒng)的運(yùn)行情況進(jìn)行7*24監(jiān)控，一旦出現(xiàn)異常，如大量訪問(wèn)失敗、遭受攻擊等等情況，系統(tǒng)將進(jìn)行自動(dòng)告警，安全服務(wù)人員將第一時(shí)間進(jìn)行處置；

2、由安全專家跟蹤網(wǎng)絡(luò)安全攻擊情況，根據(jù)安全態(tài)勢(shì)調(diào)整優(yōu)化防護(hù)策略，包括定義URL的訪