1、 CDN技術演進分析51CTO技術棧 微信號 blog51cto功能介紹 有趣 | 有料 | 有內涵，為您提供最優(yōu)質的內容，愿我們一起悅享技術，成就人生。2000 年左右是全球互聯(lián)網(wǎng)發(fā)展的鼎盛時期，由于 HTTP 網(wǎng)頁內容加速的需求日益暴增，進而 CDN 成為了產(chǎn)業(yè)關注的熱點。當下，CDN 行業(yè)化、智能化越來越明顯，主要是因為每個行業(yè)在技術、使用場景等方面都有個性化的需求。近日，51CTO 以“Tech Neo”為主題的技術沙龍第十五期于北京舉行，本次沙龍邀請了來自國美互聯(lián)網(wǎng)應用運維技術負責人張高明。這位互聯(lián)網(wǎng)老兵的演講，不僅讓開發(fā)者對智能 CDN有了更深入的了解，而且從中可以窺見國美互聯(lián)網(wǎng)在

2、CDN方向的實踐與痛點。目前，國美互聯(lián)網(wǎng)的體量較小，與大型互聯(lián)網(wǎng)公司有一定差距。但麻雀雖小五臟俱全，在 CDN 方面的應用有很多。包括視頻、圖片、Js、css、Html 等傳統(tǒng)的一些內容；以及 APP 的安裝包、更新包、下載包等內容；還有抗 D，防攻擊方面的一系列產(chǎn)品。介紹下抗 D 的產(chǎn)品，2016 年，在 APP 推廣過程中受到幾次攻擊，導致服務處于不可用狀態(tài)，非常被動。當時可選的解決方案有兩套：自研，但受到多方面限制，如資源不足（機房帶寬、服務器都需要采購）、沒有人員儲備、時間周期不允許等。和已經(jīng)有成熟產(chǎn)品的第三方公司合作，鑒于實際情況，采用第二套方案。產(chǎn)品的確沒有出現(xiàn)問題，但對于第三方公

3、司提供的數(shù)據(jù)沒有有效的方法能夠驗證有效性和真實性。智能 CDN 的六大元素智能 CDN 也是 CDN，但是智能化是趨勢，智能化的本質是通過技術、智能手段為消費者提供更好的服務。談智能 CDN 之前，有必要先來了解一下 CDN 的使用模型：從瀏覽器或其他途徑請求資源。由 DNS 對域名進行解析得到真實 IP 的地址。通過鏈路傳輸，到達目的機房。經(jīng)過 CDN 調度器把資源返給用戶（CDN 跳轉或請求資源）。基于 CDN 的使用模型，依次具體地分析智能 CDN，如下圖所示：智能 CDN 由智能 DNS、鏈路優(yōu)化以及智能調度器、大數(shù)據(jù)、AI、人六大元素組成。01智能 DNS在目前所有網(wǎng)絡活動中，DNS

4、 的作用可以說是不可替代的。早期 DNS 相對簡單，功能也較單一，這里我們稱之為 DNS 1.0。DNS 1.0 的作用非常簡單，只是收到網(wǎng)址，反饋 IP 地址。隨著技術發(fā)展和產(chǎn)品需要，DNS 2.0、3.0 先后出現(xiàn)。DNS 2.0 是根據(jù)用戶所在 ISP、區(qū)域，智能提供最優(yōu) IP 地址，使得訪問速度得到提升。DNS 3.0 彌補了之前 1.0、2.0 沒有的狀態(tài)缺陷，新增了健康檢查的功能。智能剔除異常節(jié)點，把可用且最優(yōu)的節(jié)點返給用戶。這里值得提醒的是 DNS 有兩個不可規(guī)避的坎兒：進行全網(wǎng) DNS 更新時，時間不可控。當更改 DNS 配置時，用戶的生效時間不一，有時會達到不能容忍的時間長度

5、。用戶地址解析的準確度完全依賴于用戶 Local Dns 的設置。DNS 是以 Local Dns 作為反饋的唯一依據(jù)，反饋最終地址。一旦 Local Dns 設置錯誤，那么地址一定不是最優(yōu)，甚至有可能是錯誤的。這樣一來，就會導致用戶訪問過慢或訪問不到資源的情況出現(xiàn)。02 鏈路優(yōu)化中國網(wǎng)絡的復雜度眾所周知，運營商多，并且每個運營商的用戶都各自為戰(zhàn)，融合起來并非易事。在跨網(wǎng)絡請求情況下，不僅僅是慢的問題，有時候甚至無法訪問目的資源。鏈路優(yōu)化方面，可以借鑒一些成熟方案，如協(xié)議的優(yōu)化，比如 BGP、OSPF 等。還有就是資源部分，如通過帶寬的建設、POP 點建設、機房的擴容進一步對鏈路進行優(yōu)化。03

6、 智能調度器DNS 在細分時顆粒度很大，不能精確為用戶區(qū)分優(yōu)化策略。想要提升精確度，就要靠調度器來實現(xiàn)。調度器會基于訪問請求資源的熱度、大小、內部資源情況為用戶提供最優(yōu)的節(jié)點。04 大數(shù)據(jù)與 AI談智能化不得不提大數(shù)據(jù)與 AI，因為這兩者正在給我們的生活帶來潛移默化的影響。對于 DOS / DDOS 攻擊，大數(shù)據(jù)可以給訪問源地址合適的權重，知道哪些 ip更危險(以前發(fā)起過攻擊)，更加精確地定位是普通訪問還是攻擊，進而能夠更加有力的防御攻擊。邊緣計算與 CDN 的結合，帶動了整個“人工智能+云”在各個場景的服務。以視頻直播為例，同城互動直播放到邊緣節(jié)點里去成本可能會減少 50%，涉黃的內容 90

7、% 都能夠在邊緣網(wǎng)絡上處理。這其中涉及到與 AI 相結合的部分，云廠商在其間擁有優(yōu)勢：一邊有數(shù)據(jù)中心，一邊運營邊緣網(wǎng)絡，并且能夠知道這兩者之間如何高效合作。而單純的 CDN 公司在所獲得的數(shù)據(jù)不多的情況下可能很難判斷哪些東西需要過濾和分發(fā)，最終還是需要與云及AI協(xié)同去完成。05 人決策為什么要在智能 CDN 模塊加入人的元素呢？因為大多情況下，都是人在做決策，像采用哪種網(wǎng)絡模型、哪種算法、哪種分布式結構等等；另一方面，就是人的服務。綜上這些是張高明老師對智能 CDN 的一些見解，但國美互聯(lián)網(wǎng)因為精力、時間等原因沒有涉及到這些。下面我們來看看國美互聯(lián)網(wǎng)在 CDN 方面的優(yōu)化實踐和一些不可避免的痛

8、點。國美 CDN 的優(yōu)化實踐下面主要介紹國美互聯(lián)網(wǎng)在 APP、IMG 和視頻三方面的 CDN 優(yōu)化實踐。01 APP 端APP 端主要做的是針對靜態(tài)文件進行優(yōu)化，采用方式如下：縮略圖。這里最主要的事情是圖片匹配，國美互聯(lián)網(wǎng)之前的縮略圖更適用于 PC 端，不是很合理。這里的解決方案是基于自身訪問和第三方的數(shù)據(jù)，得到主流機型的標準，再根據(jù)產(chǎn)品需求，制定五種縮略圖。這樣做在提升用戶訪問速度的同時還對帶寬進行了優(yōu)化。兩種 Cache。前端開發(fā)有一個簡單的技術，叫 App Cache。把重要的 Cache 緩存到本地，一定時間段內，請求時無須重新下載，會對提升用戶訪問質量有很大幫助。短緩存。規(guī)定合理的本

9、地緩存時間，提升用戶的訪問速度，尤其是弱網(wǎng)情況下，效果特別好。同時，還能優(yōu)化帶寬。02 IMG圖片部分，采用 WebP 的格式，谷歌推出這個圖片格式的優(yōu)點非常明顯，和其他格式相比，WebP 格式僅占用 60%-70% 資源。它的缺點也同樣明顯，就是不是所有瀏覽器都支持。在移動端就是 Android 的手機系統(tǒng)支持，但是 IOS 的不支持。國美互聯(lián)網(wǎng)的解決方案是在 CDN 中儲存 WebP 和 JPG 兩種 Cache，在調度器設置 UA 判斷流程，對節(jié)省帶寬有很大改進。03 視頻視頻部分，主要涉及推、拉模式選擇、CDN 調度器、自適應播放器：推、拉模式選擇。以當前的技術手段，無論是把視頻流推給

10、 CDN，還是 CDN 主動來拉視頻流，在技術上都可以實現(xiàn)。但在特定場景下，比如故障排查時，還是要選擇 CDN 來拉的方式，這樣對視頻流的故障排查就可以由 CDN 提供方來完成。CDN調度器。CDN 流量是分階段計算的，1G 以下、12G 價格不同，通過 CDN 調度可以把成本控制在最優(yōu)。還有是在出現(xiàn)異常情況下，對用戶的訪問也可做一些調整。這上面的調整比在 DNS 層面調整更迅速。自適應播放器。自主開發(fā)，能根據(jù)不同的業(yè)務特點采用自適應播放器。比如實時性要求高的直播，就使用支持 rtmp 的播放器，需要回看的情況下，就使用支持 HLS 的播放器。CDN 優(yōu)化不可避免的痛點在 CDN 優(yōu)化過程中，

11、也有很多痛點不可避免。這里主要分享三方面：ISP、CDN 廠商、內外部用戶。01 ISP說到 CDN 優(yōu)化，必然離不開 ISP（互聯(lián)網(wǎng)服務提供商），這里涉及到如下四個方面：劫持。常見的劫持有兩種。第一種是 DNS 劫持，可通過商務手段解決，但時間跨度很長；還可通過私人關系解決，但不是每個人都有這種關系。針對這種劫持，目前還沒有特別好的解決方案。還有一種就是內容劫持，會在 PC 或 APP 端出現(xiàn)其他公司的廣告，這種劫持的解決方案是做全站 HTTPS。IP。IP 使用比較混亂，運營商之間有混用的情況。如出現(xiàn)跨運營商的情況，對用戶進行 DNS 解析時，精確度就會受到影響。移動端。用手機進行網(wǎng)絡訪問

12、，第一跳肯定是手機和基站之間的連接。目前基于大的環(huán)境，手機和基站在通訊過程中的延遲無法避免，而且也沒有有效的監(jiān)控方法。GFW。這個是所有擁有海外業(yè)務公司的痛點，目前國美互聯(lián)網(wǎng)采用的是第三方的設備。02 CDN廠商CDN 廠商這部分，涉及四個方面：服務質量。這里的服務質量其一是指節(jié)點的響應速度，其二是節(jié)點正常運行的保障。服務質量是一切的前提條件。計費方式。一般計費方式有按平均帶寬、95 計費，第四峰值計費等，根據(jù)業(yè)務情況可能還有根據(jù)訪問次數(shù)計費。一般采用 95 計費即可，具體情況根據(jù)業(yè)務來定。以國美直播舉例，發(fā)展初期，直播場次少，基本一月一次，那么按照 95 計費是比較合理的，對公司成本也是最優(yōu)的。個性化需求。有些 CDN 廠商，不太愿意提供個性化的需求，所以在合作前期就要溝通好，因為每個公司，每個產(chǎn)品對 CDN 的需求都是不一樣的。朋友非敵人。和 CDN 廠商合作，是朋友而非敵人的關系，是相互學習的過程。在合作的過程中，都能學習到很多知識。03 用戶用戶分為外部、內部兩種，有各自的痛點：外部用戶。當對一些