第二部分端節(jié)點算法學(xué)第二部分端節(jié)點算法學(xué)端節(jié)點算法學(xué)端節(jié)點算法學(xué)：建立高速服務(wù)器的一組系統(tǒng)性技術(shù)，是網(wǎng)絡(luò)算法學(xué)在端節(jié)點（尤其是服務(wù)器）上的運用節(jié)點間通信已成為大數(shù)據(jù)分析、深度學(xué)習(xí)等應(yīng)用的主要瓶頸之一隨著網(wǎng)絡(luò)功能虛擬化的提出，將來數(shù)據(jù)中心絕大部分的網(wǎng)絡(luò)設(shè)備都會在通用服務(wù)器上實現(xiàn)端節(jié)點算法學(xué)研究如何減少以下開銷：數(shù)據(jù)拷貝（chapter5）控制轉(zhuǎn)移（chapter6）定時器（chapter7）解復(fù)用（chapter8）其它一般性協(xié)議處理任務(wù)（chapter9）端節(jié)點算法學(xué)端節(jié)點算法學(xué)：第五章拷貝數(shù)據(jù)第五章拷貝數(shù)據(jù)消除不必要的拷貝（P1）網(wǎng)絡(luò)報文在收發(fā)和處理的過程中，通常會被拷貝多次計算機中的數(shù)據(jù)拷貝消耗兩個寶貴的資源：內(nèi)存帶寬：如果處理一個報文涉及k次拷貝，系統(tǒng)吞吐量可能降至1/k內(nèi)存：如果一個報文在內(nèi)存中被保存k份，有效內(nèi)存容量降至1/k本章關(guān)注如何消除不必要的拷貝：一個拷貝如果不是由硬件要求的，該拷貝是不必要的本章還將討論其它影響內(nèi)存使用效率的操作消除不必要的拷貝（P1）網(wǎng)絡(luò)報文在收發(fā)和處理的過程中，通常會5.1為什么要拷貝數(shù)據(jù)應(yīng)用場景：用戶向web服務(wù)器請求一個靜態(tài)文件服務(wù)器從磁盤讀出文件，發(fā)送到網(wǎng)絡(luò)上兩個內(nèi)核子系統(tǒng)：文件子系統(tǒng)網(wǎng)絡(luò)子系統(tǒng)5.1為什么要拷貝數(shù)據(jù)應(yīng)用場景：一個簡單的故事直觀上，這是一個簡單的故事：web應(yīng)用程序通過一個系統(tǒng)調(diào)用（讀文件），將文件從磁盤讀入到它的緩沖區(qū)中構(gòu)造一個HTTP響應(yīng)頭，通過一個系統(tǒng)調(diào)用（寫套接字），將響應(yīng)頭和緩沖區(qū)內(nèi)容交給網(wǎng)絡(luò)子系統(tǒng)網(wǎng)絡(luò)子系統(tǒng)將數(shù)據(jù)劃分成適當(dāng)大小的塊，加上各層協(xié)議頭，交給網(wǎng)絡(luò)驅(qū)動程序一個簡單的故事直觀上，這是一個簡單的故事：一個真實的故事Copy1：硬盤

文件緩沖區(qū)（內(nèi)核空間）Copy2：文件緩沖區(qū)

應(yīng)用緩沖區(qū)（用戶空間）Copy3：應(yīng)用緩沖區(qū)

套接字緩沖區(qū)（內(nèi)核空間）Copy4：套接字緩沖區(qū)

網(wǎng)卡TCP程序還需要掃描一遍數(shù)據(jù)，計算TCP檢查和一個真實的故事Copy1：資源消耗情況拷貝和TCP檢查和計算：每個字需要穿過內(nèi)存總線7~9次！不同內(nèi)存區(qū)域之間的拷貝（copy2，copy3）：每個字都要通過內(nèi)存總線讀一次和寫一次計算TCP檢查和：每個字都要通過內(nèi)存總線讀一次涉及外設(shè)的拷貝（copy1，copy4）：如果由CPU做拷貝（PIO）：每個字都要通過內(nèi)存總線讀一次和寫一次如果由設(shè)備做拷貝（DMA）：每個字只需通過內(nèi)存總線讀一次或?qū)懸淮紊婕巴庠O(shè)的拷貝都需要消耗I/O總線帶寬資源消耗情況拷貝和TCP檢查和計算：每個字需要穿過內(nèi)存總線7對服務(wù)器吞吐量的影響在上面的例子中：Web服務(wù)器吞吐量不超過T/7，T為內(nèi)存速度和內(nèi)存總線速度中的較小值有效的文件緩沖區(qū)大小僅為總?cè)萘康?/3多余的拷貝在兩個方面損害了服務(wù)器的性能：由于使用了過多的總線和內(nèi)存帶寬，服務(wù)器的運行速度遠遠低于總線速度由于使用了過多的內(nèi)存，服務(wù)器不得不更多地從磁盤而不是主存讀文件如果請求動態(tài)內(nèi)容，還要增加一次拷貝（CGI程序web服務(wù)器）對服務(wù)器吞吐量的影響在上面的例子中：請求動態(tài)內(nèi)容Step6：CGI程序?qū)?gòu)造好的網(wǎng)頁文件，通過進程間通信機制傳給web服務(wù)器程序，涉及一次拷貝請求動態(tài)內(nèi)容Step6：CGI程序?qū)?gòu)造好的網(wǎng)頁文件，通5.2消除copy4為什么需要copy4？簡單的解釋：適配器內(nèi)存和內(nèi)核存儲空間不在同一個硬件上但是，這個理由并不充分！5.2消除copy4為什么需要copy4？消除Copy4在一個內(nèi)存映射的體系結(jié)構(gòu)中，設(shè)備寄存器被映射到一塊內(nèi)存區(qū)域，CPU通過讀寫這塊內(nèi)存區(qū)域與設(shè)備通信理論上，內(nèi)存可以位于總線上的任何地方，包括在適配器中消除copy4的解決方案：利用網(wǎng)絡(luò)適配器中已有的存儲空間（P4，利用系統(tǒng)組件），以及內(nèi)核存儲空間放置的自由度（P13，利用自由度），將套接字緩沖區(qū)放在網(wǎng)絡(luò)適配器中應(yīng)用緩沖區(qū)的內(nèi)容直接拷貝到網(wǎng)絡(luò)適配器的內(nèi)存中消除Copy4在一個內(nèi)存映射的體系結(jié)構(gòu)中，如何計算TCP檢查和？如何計算TCP檢查和？如何計算檢查和？Witless方法（P2c，共享開銷）：CPU執(zhí)行拷貝，當(dāng)讀入每個字時，捎帶計算檢查和致命的問題：接收的時候，當(dāng)發(fā)現(xiàn)檢查和出錯時數(shù)據(jù)包已被寫入應(yīng)用緩沖區(qū)，與TCP語義不符（所以該方法從未被實施）Afterburner適配器（TCPoffloadingengine）：數(shù)據(jù)傳輸由網(wǎng)卡通過DMA完成，檢查和也由網(wǎng)卡計算TCP連接的管理（建立、關(guān)閉等）仍由主CPU完成，僅將建立好的TCP連接移交給網(wǎng)絡(luò)適配器問題：網(wǎng)絡(luò)適配器需要很大的內(nèi)存空間和較強的處理器來支持大量的TCP連接，網(wǎng)卡成本可能較高如何計算檢查和？Witless方法（P2c，共享開銷）：5.3消除Copy3為什么需要copy3？應(yīng)用和內(nèi)核使用不同的虛擬地址空間（不是必要的）SocketAPI使用拷貝語義，應(yīng)用和內(nèi)核之間需通過拷貝解除耦合（必要的）如果拷貝不能避免，那么能否減小拷貝的開銷呢？5.3消除Copy3為什么需要copy3？寫時拷貝（copy-on-write）當(dāng)應(yīng)用程序?qū)?nèi)核執(zhí)行一個寫時拷貝時，OS將內(nèi)核緩沖區(qū)映射到應(yīng)用緩沖區(qū)的物理內(nèi)存頁上當(dāng)應(yīng)用程序試圖修改其緩沖區(qū)時，內(nèi)核進行真正的拷貝有些操作系統(tǒng)提供寫時拷貝，很多情況下可以避免真正的拷貝寫時拷貝（copy-on-write）當(dāng)應(yīng)用程序?qū)?nèi)核執(zhí)行一寫時拷貝的實現(xiàn)舉例：假定進程P1的虛擬頁X映射到物理頁L上，需要復(fù)制X的內(nèi)容到進程P2的虛擬頁Y當(dāng)P1對X進行寫時拷貝時：內(nèi)核修改P2的頁表，令Y指向物理頁L將X表項的COW保護位置位當(dāng)P1試圖寫頁X時：硬件讀X的COW位，發(fā)現(xiàn)置位，產(chǎn)生一個異常操作系統(tǒng)將物理頁L拷貝到物理頁L’，清除X的COW位，令X指向L’，Y繼續(xù)指向L

寫時拷貝的實現(xiàn)舉例：寫時拷貝的實現(xiàn)（續(xù)）對于不提供寫時拷貝功能的操作系統(tǒng)（如UNIX和Windows），也可以基于虛擬內(nèi)存實現(xiàn)類似的功能：可以通過修改頁表避免物理拷貝需要找到一種替代COW位的保護機制寫時拷貝的實現(xiàn)（續(xù)）對于不提供寫時拷貝功能的操作系統(tǒng)（如UN5.4優(yōu)化頁面重映射對頁面重映射過于簡單的看法：只需修改P2的頁表（一次寫操作），令VP8指向存放包的物理頁，所有工作就結(jié)束了

（X）5.4優(yōu)化頁面重映射對頁面重映射過于簡單的看法：（X）頁面重映射的開銷修改多級頁表：實際映射可能要求修改多級頁表，當(dāng)頁表不在內(nèi)存中時要調(diào)入，并修改目錄頁要求鎖操作：修改頁表前要請求鎖，修改后要釋放鎖刷新TLB：新的地址映射寫入頁表時，相關(guān)TLB表項要清除或修正在目標(biāo)域中分配虛擬內(nèi)存：系統(tǒng)要在目標(biāo)進程中找到一個空閑的頁表表項鎖住物理頁：為防止頁被換出，必須鎖住物理頁以上開銷在多處理器系統(tǒng)中會被放大頁面重映射雖然只需常數(shù)時間，但這個常數(shù)因子非常大結(jié)論：如果只是簡單地使用頁表重映射來避免拷貝，結(jié)果可能不像預(yù)期的那么好頁面重映射的開銷修改多級頁表：在目標(biāo)域中分配虛擬內(nèi)存：結(jié)論：Fbufs（fastbuffers）基本觀察：如果一個應(yīng)用正在發(fā)送大量的數(shù)據(jù)包，那么一個包緩沖區(qū)可能會被重用多次方法一：提前分配好需要的包緩沖區(qū)，并計算好所有的頁面映射信息（P2a），發(fā)送時重復(fù)使用這些包緩沖區(qū)方法二：數(shù)據(jù)傳輸開始時分配包緩沖區(qū)并計算頁面映射，然后將其緩存起來（P11a），消除后續(xù)包的頁面映射開銷基本思想：映射一次，重復(fù)使用Fbufs（fastbuffers）基本觀察：為應(yīng)用分配一組固定的物理頁為避免內(nèi)核空間和用戶空間之間的拷貝，將一組物理頁P1、P2、……、Pk同時映射給內(nèi)核和應(yīng)用來使用數(shù)據(jù)包經(jīng)過的一系列處理程序構(gòu)成一個有序的安全域序列，定義為一條路徑為隔離不同的應(yīng)用，為每一條路徑預(yù)留固定的一組物理頁，數(shù)據(jù)包到達時立即確定其所屬的路徑（提前解復(fù)用）為應(yīng)用分配一組固定的物理頁為避免內(nèi)核空間和用戶空間之間的拷貝在路徑上傳遞包緩沖區(qū)描述符對于每條路徑，適配器有一個空閑緩沖區(qū)鏈表：適配器把數(shù)據(jù)包寫入一個空閑緩沖區(qū)，將緩沖區(qū)描述符傳給接收路徑上的下一個進程最后一個進程將用完的緩沖區(qū)交還給第一個進程，緩沖區(qū)重新回到空閑緩沖區(qū)鏈表在路徑上傳遞包緩沖區(qū)描述符對于每條路徑，適配器有一個空閑緩沖實現(xiàn)單向路徑有序的安全域序列是一條單向路徑：規(guī)定第一個進程是writer，其余進程是reader（為了提供一定的保護級別）給第一個進程的頁表表項設(shè)置寫允許位，給其它進程的頁表表項設(shè)置只讀位實現(xiàn)單向路徑有序的安全域序列是一條單向路徑：映射到同一個物理頁的虛擬頁號應(yīng)相同在進程間傳遞緩沖區(qū)描述符的問題：理論上，各個進程映射到同一個物理頁上的虛擬頁號可能不同解決方法：規(guī)定：映射到同一個物理頁的虛擬頁號必須相同實現(xiàn)：所有進程的虛擬內(nèi)存中一定數(shù)量的起始頁預(yù)留為fbuf頁映射到同一個物理頁的虛擬頁號應(yīng)相同在進程間傳遞緩沖區(qū)描述符的收包處理過程P1進程：從freefbufs隊列取一個緩沖區(qū)描述符將數(shù)據(jù)包寫入緩沖區(qū)將緩沖區(qū)描述符寫入writtenfbufs隊列P2進程從writtenfbufs隊列取緩沖區(qū)描述符從相應(yīng)緩沖區(qū)讀數(shù)據(jù)將緩沖區(qū)描述符寫回freefbufs隊列收包處理過程P1進程：如何添加包頭？在發(fā)送路徑上，每一個安全域都要給數(shù)據(jù)包加上一個包頭然而，為了實現(xiàn)保護，每條路徑只允許一個writer，其余為reader問題：怎么允許其它安全域添加包頭呢？如何添加包頭？在發(fā)送路徑上，每一個安全域都要給數(shù)據(jù)包加上一個定義數(shù)據(jù)包為聚合數(shù)據(jù)結(jié)構(gòu)將數(shù)據(jù)包定義為一個帶有指針的聚合數(shù)據(jù)結(jié)構(gòu)，每個指針指向一個fbuf給數(shù)據(jù)包添加包頭，就是將一個fbuf添加到聚合數(shù)據(jù)結(jié)構(gòu)中定義數(shù)據(jù)包為聚合數(shù)據(jù)結(jié)構(gòu)將數(shù)據(jù)包定義為一個帶有指針的聚合數(shù)據(jù)Fbufs總結(jié)Fbufs運用了虛擬內(nèi)存映射的思想，通過在大量數(shù)據(jù)包之間分?jǐn)傢撁嬗成溟_銷而做得更高效：包緩沖區(qū)映射一次，重復(fù)使用很多次消除了一般情形中的頁表更新有人擴展了Fbufs思想，并實現(xiàn)在SunSolaris操作系統(tǒng)中IntelDPDK也運用了“一次映射，重復(fù)使用”的思想Fbufs總結(jié)Fbufs運用了虛擬內(nèi)存映射的思想，通過在大量應(yīng)用如何使用Fbufs？大量已有的應(yīng)用軟件是根據(jù)拷貝語義的socketAPI寫的:應(yīng)用執(zhí)行了write()系統(tǒng)調(diào)用后，就可以重用包緩沖區(qū)，甚至釋放包緩沖區(qū)了采用fbufs后：在包緩沖區(qū)被其它進程使用完之前，應(yīng)用不允許寫或釋放包緩沖區(qū)應(yīng)用如何使用Fbufs？大量已有的應(yīng)用軟件是根據(jù)拷貝語義的s解決方案：修改應(yīng)用API解決方法：API不再保持拷貝語義應(yīng)用在寫緩沖區(qū)之前必須進行判斷安全的實現(xiàn)方法：當(dāng)一個fbuf從應(yīng)用傳遞到內(nèi)核后，內(nèi)核翻轉(zhuǎn)一個寫允許比特，歸還fbuf時再重新設(shè)置該位若應(yīng)用在不允許寫的情況下做寫操作，會產(chǎn)生一個異常，提示出錯，但不影響其它進程解決方案：修改應(yīng)用API解決方法：已有的網(wǎng)絡(luò)應(yīng)用軟件必須重寫嗎？方法一：給已有的API增加新的系統(tǒng)調(diào)用，要求高性能的應(yīng)用使用新的系統(tǒng)調(diào)用進行重寫方法二：用新的擴展實現(xiàn)一個公共的I/O庫，鏈接到該庫的應(yīng)用不需要修改，就可以得到性能提升

實踐表明，將應(yīng)用移植到類fbuf的API，對應(yīng)用所做的修改不大，且是局部的，因此fbufs方案是可行的已有的網(wǎng)絡(luò)應(yīng)用軟件必須重寫嗎？方法一：5.5使用RDMA避免拷貝在web服務(wù)器的例子中：Web服務(wù)器接收請求，將文件傳輸?shù)骄W(wǎng)絡(luò)上Web服務(wù)器作為接收端并不需要保存請求消息現(xiàn)考慮在兩個計算機之間傳輸一個大文件，接收端需要保存收到的數(shù)據(jù)包為減少拷貝，接收端采用以下方式之一收包：采用fbufs采用TOE網(wǎng)卡5.5使用RDMA避免拷貝在web服務(wù)器的例子中：方法一：采用fbufs收包包到達網(wǎng)卡后，被拷貝到一個包緩沖區(qū)中包緩沖區(qū)描述符在路徑上傳遞，各安全域處理包應(yīng)用程序?qū)?shù)據(jù)拷貝到應(yīng)用緩沖區(qū)，釋放包緩沖區(qū)（這里需要一次拷貝）方法一：采用fbufs收包包到達網(wǎng)卡后，被拷貝到一個包緩沖區(qū)方法二：采用TOE網(wǎng)卡收包包到達網(wǎng)卡后，被送入套接字緩沖區(qū)進行協(xié)議處理和重組DMA控制器將數(shù)據(jù)送入應(yīng)用緩沖區(qū)，向CPU發(fā)出中斷驅(qū)動程序通知應(yīng)用接收數(shù)據(jù)應(yīng)用拷貝數(shù)據(jù)到文件緩沖區(qū)，將應(yīng)用緩沖區(qū)歸還給網(wǎng)卡（這里需要一次拷貝）方法二：采用TOE網(wǎng)卡收包包到達網(wǎng)卡后，被送入套接字緩沖區(qū)進直接內(nèi)存訪問（DMA）在上述兩種方法中，CPU要參與數(shù)據(jù)傳輸，且數(shù)據(jù)到達目的計算機的內(nèi)存后還要拷貝一次我們知道，使用DMA在外設(shè)和內(nèi)存之間傳輸數(shù)據(jù)，不需要CPU的參與：CPU設(shè)置DMA（給出數(shù)據(jù)的存放地址、長度等）DMA控制器完成數(shù)據(jù)傳輸DMA控制器通過中斷通知CPU傳輸完成受DMA的啟發(fā)，能否在兩臺計算機的內(nèi)存之間直接傳輸數(shù)據(jù)，而不需要CPU參與？直接內(nèi)存訪問（DMA）在上述兩種方法中，CPU要參與數(shù)據(jù)傳輸遠程直接內(nèi)存訪問（RDMA）RDMA的愿景：數(shù)據(jù)在兩臺計算機的主存之間直接傳輸，不需要CPU參與到數(shù)據(jù)傳輸?shù)倪^程中兩個網(wǎng)絡(luò)適配器協(xié)作地從一個主存讀數(shù)據(jù)，然后寫入另一個主存遠程直接內(nèi)存訪問（RDMA）RDMA的愿景：RDMA需要解決的問題除了需要網(wǎng)卡執(zhí)行協(xié)議處理外，RDMA還需解決兩個問題：接收端適配器如何知道應(yīng)將數(shù)據(jù)放在哪兒？（不能求助CPU）如何保證安全？（發(fā)送進程不能隨意寫目標(biāo)終端的內(nèi)存）RDMA需要解決的問題除了需要網(wǎng)卡執(zhí)行協(xié)議處理外，RDMA還VAX集群的RDMARDMA在VAX集群中已經(jīng)被使用：VAX系統(tǒng)的核心是一個140Mb/s的網(wǎng)絡(luò)（稱為ComputerInterconnect，CL），使用一個以太網(wǎng)風(fēng)格的協(xié)議用戶可以將許多VAX計算機和網(wǎng)絡(luò)硬盤連接到CLRDMA的需求背景：在遠程硬盤和VAX機的內(nèi)存之間有效傳輸大量數(shù)據(jù)要求包含文件數(shù)據(jù)的包在進入目的適配器之后，直接到達它的存放位置VAX集群的RDMARDMA在VAX集群中已經(jīng)被使用：接收端適配器應(yīng)將數(shù)據(jù)放在哪兒？接收端應(yīng)用鎖住一些物理頁，用作文件傳輸?shù)哪繕?biāo)存儲區(qū)域（其呈現(xiàn)出來的邏輯視圖是由地址連續(xù)的虛擬頁組成的一個緩沖區(qū)），緩沖區(qū)ID被發(fā)送給發(fā)送端應(yīng)用發(fā)送端應(yīng)用將緩沖區(qū)ID及包存放的偏移量，隨同數(shù)據(jù)包一起發(fā)送到接收端（P10，傳遞線索）接收端適配器根據(jù)緩沖區(qū)ID和偏移量，將數(shù)據(jù)包內(nèi)容存放到指定的位置（一步到位）接收端適配器應(yīng)將數(shù)據(jù)放在哪兒？接收端應(yīng)用鎖住一些物理頁，用作如何保證目標(biāo)存儲區(qū)域的安全？允許將一個攜帶緩沖區(qū)ID的網(wǎng)絡(luò)包直接寫入內(nèi)存，是一個明顯的安全隱患為降低安全風(fēng)險，緩沖區(qū)ID中包含一個難以猜測的隨機串（防止偽造）VAX集群只在本集群內(nèi)部可信的計算機之間使用RDMA傳遞數(shù)據(jù)如何保證目標(biāo)存儲區(qū)域的安全？允許將一個攜帶緩沖區(qū)ID的網(wǎng)絡(luò)包RDMA的應(yīng)用存儲區(qū)域網(wǎng)（StorageAreaNetwork，SAN）：一種后端網(wǎng)絡(luò)，將大量計算機和網(wǎng)絡(luò)硬盤連接在一起目前有好幾種這樣的技術(shù)，都使用了RDMA的思想，如FiberChannel（FC）、iSCSI、Infiniband等數(shù)據(jù)中心支持高性能分布式計算：大數(shù)據(jù)分析（MapReduce框架）深度學(xué)習(xí)（TensorFlow、Caffe等）RDMA的應(yīng)用存儲區(qū)域網(wǎng)（StorageAreaNetw5.6把避免拷貝技術(shù)擴展到文件系統(tǒng)為提高響應(yīng)速度，Copy1是必要的考慮消除copy25.6把避免拷貝技術(shù)擴展到文件系統(tǒng)為提高響應(yīng)速度，Copy5.6.1共享內(nèi)存方法類UNIX操作系統(tǒng)提供一個系統(tǒng)調(diào)用mmap()，允許應(yīng)用（如web服務(wù)器）將一個文件映射到自己的虛擬地址空間。概念上，當(dāng)一個文件被映射到一個應(yīng)用的地址空間，這個應(yīng)用就好像在自己的內(nèi)存中緩存了這份文件。當(dāng)然，這個緩存的文件只是一組映射。如果Web程序?qū)⑽募成涞阶约旱牡刂房臻g，則它和文件cache訪問的是同一組物理頁（免除了拷貝）。5.6.1共享內(nèi)存方法類UNIX操作系統(tǒng)提供一個系統(tǒng)調(diào)用舉例：FlashWeb服務(wù)器Web應(yīng)用程序?qū)⒔?jīng)常用到的文件映射到自己的內(nèi)存空間受到可分配給文件頁的物理頁數(shù)量及頁表映射的限制，F(xiàn)lashWeb服務(wù)器只能緩存和映射最近常用的文件事實上，F(xiàn)lashWeb服務(wù)器只是緩存了一些文件分片（通常是文件的頭幾個分片），并使用LRU策略將最近一段時間未用的文件unmap舉例：FlashWeb服務(wù)器Web應(yīng)用程序?qū)⒔?jīng)常用到的文件FlashWeb尚未解決的問題FlashWeb不能避免web服務(wù)器與CGI進程之間的拷貝文件緩存只能緩存靜態(tài)內(nèi)容，動態(tài)網(wǎng)頁要由CGI程序生成CGI程序生成的動態(tài)內(nèi)容通過UNIX管道傳給web服務(wù)器；典型地，管道要在兩個地址空間之間拷貝內(nèi)容到目前為止，我們的方案都沒有涉及TCP檢查和一個被訪問多次的文件，文件分片都相同，但TCP檢查和未被緩存FlashWeb尚未解決的問題FlashWeb不能避免由fbufs和mmap()想到的問題fbufs可以消除copy3mmap()可以消除copy2Q：能否將fbufs和mmap()結(jié)合起來使用，同時消除copy2和copy3？由fbufs和mmap()想到的問題fbufs可以消可以結(jié)合fbufs和mmap嗎？如果采用fbufs：所有進程的虛擬內(nèi)存中一定數(shù)量的起始頁預(yù)留為fbuf頁應(yīng)用進程的應(yīng)用緩沖區(qū)不能使用這些頁如果應(yīng)用將文件映射到其虛擬地址空間的一個緩沖區(qū)：這個緩沖區(qū)不能用fbuf發(fā)送，必須要有一次物理拷貝！當(dāng)用mmap消除copy2時，copy3不能避免！可以結(jié)合fbufs和mmap嗎？如果采用fbufs：5.6.2IO-LiteIO-Lite將fbufs推廣至包含文件系統(tǒng)，從而不必使用mmapIO-Lite可以一攬子解決前面所有的問題：同時消除copy2和copy3消除CGI程序和web服務(wù)器之間的拷貝緩存?zhèn)魉瓦^的數(shù)據(jù)塊的檢查和5.6.2IO-LiteIO-Lite將fbufsIO-Lite的主要思想IO-Lite借用了fbufs的主要思想：為同一條路徑上的進程映射相同的物理頁，實現(xiàn)只讀共享推遲創(chuàng)建路徑的緩沖區(qū)使用緩沖區(qū)聚合以允許添加包頭IO-Lite的主要思想IO-Lite借用了fbufsIO-Lite響應(yīng)Get請求IO-Lite響應(yīng)Get請求IO-Lite響應(yīng)Get請求的步驟當(dāng)文件第一次從磁盤讀入文件系統(tǒng)的高速緩存時，文件頁被保存為IO-Litebuffer當(dāng)應(yīng)用通過一個系統(tǒng)調(diào)用讀文件時，創(chuàng)建一個緩沖區(qū)聚合體，指針指向IO-Litebuffer當(dāng)應(yīng)用發(fā)送文件給TCP時，網(wǎng)絡(luò)子系統(tǒng)得到一個指向相同IO-Lite頁的指針應(yīng)用將常用文件的HTTP響應(yīng)頭維護在一個高速緩存中IO-Lite給每個緩沖區(qū)分配一個編號，TCP模塊維護一個以緩沖區(qū)編號為索引的檢查和高速緩存<緩沖區(qū)ID，檢查和>IO-Lite響應(yīng)Get請求的步驟當(dāng)文件第一次從磁盤讀實現(xiàn)零拷貝的管道IO-Lite也可以用來實現(xiàn)一個消除了拷貝的改良型管道程序（傳遞IO-Litebuffer的指針而不是拷貝）將改良后的管道應(yīng)用到CGI程序和web服務(wù)器之間，可以消除冗余的拷貝IO-Lite已經(jīng)在UNIX中實現(xiàn)了實現(xiàn)零拷貝的管道IO-Lite也可以用來實現(xiàn)一個消除了拷貝的5.6.3使用I/O拼接避免文件系統(tǒng)拷貝I/O拼接的基本思想：引入一個新的系統(tǒng)調(diào)用sendfile()，允許內(nèi)核將讀文件的調(diào)用和向網(wǎng)絡(luò)發(fā)送消息的調(diào)用合并文件到socket傳輸?shù)膫鹘y(tǒng)方法需兩次系統(tǒng)調(diào)用： read(file,tem_buf,len); write(socket,tmp_buf,len);使用sendfile()傳輸文件到socket： sendfile(socket,file,len);5.6.3使用I/O拼接避免文件系統(tǒng)拷貝I/O拼接的基本內(nèi)核2.1版本的sendfile實現(xiàn)調(diào)用sendfile()時：文件數(shù)據(jù)先被拷貝到內(nèi)核中的文件緩沖區(qū)（copy1）然后從文件緩沖區(qū)拷貝到內(nèi)核中的socket緩沖區(qū)（合并copy2和copy3）最后從socket緩沖區(qū)拷貝到適配器（copy4）與read/write方式相比，減少了一次拷貝內(nèi)核2.1版本的sendfile實現(xiàn)調(diào)用sendfile()內(nèi)核版本2.4之后的sendfile實現(xiàn)調(diào)用sendfile()時：文件數(shù)據(jù)先被拷貝到內(nèi)核中的文件緩沖區(qū)（copy1）將記錄數(shù)據(jù)位置和長度的信息保存到socket緩沖區(qū)數(shù)據(jù)通過DMA通道直接發(fā)送到適配器（copy4）消除了copy2和copy3基于sendfile的機制不能推廣到與CGI程序通信Sendfile()已用于Apache、Nginx、Lighttpd等web服務(wù)器中內(nèi)核版本2.4之后的sendfile實現(xiàn)調(diào)用sendfile5.8擴展到數(shù)據(jù)操作之外消除數(shù)據(jù)拷貝是為了避免冗余的數(shù)據(jù)讀/寫操作，以減少對內(nèi)存和內(nèi)存總線的壓力除拷貝外，對內(nèi)存總線使用效率影響較大的因素還有Cache5.8擴展到數(shù)據(jù)操作之外消除數(shù)據(jù)拷貝是為了避免冗余的數(shù)據(jù)5.8.1有效使用I-cache處理器包含一個或多個數(shù)據(jù)cache（d-cache），以及一個或多個指令cache（I-cache）：一般而言，包數(shù)據(jù)幾乎不能從d-cache獲得好處處理數(shù)據(jù)包需要的狀態(tài)可以從d-cache獲益處理數(shù)據(jù)包的程序代碼可以從I-cache獲益數(shù)據(jù)、狀態(tài)、代碼都可能競爭內(nèi)存帶寬，相比而言，代碼對內(nèi)存帶寬的競爭更嚴(yán)重：以太網(wǎng)上最大的數(shù)據(jù)包為1.5KB處理一個包需要的狀態(tài)一般較小，比如一個連接表項1995年NetBSDTCP協(xié)議棧代碼34KB（不包括應(yīng)用協(xié)議代碼）I-cache容量很小，數(shù)據(jù)包處理代碼不可能都在I-cache中！5.8.1有效使用I-cache處理器包含一個或多個數(shù)I-Cache的實現(xiàn)特點（1）大多數(shù)處理器使用直接映射的I-cache：內(nèi)存地址的低位比特用來檢索I-cache條目如果高位比特匹配，直接從I-cache返回內(nèi)容若不匹配，進行一個內(nèi)存訪問，用新的內(nèi)容替換原來的條目對于32KB的I-cache，內(nèi)存地址最低15位相同的指令被映射到cache的同一位置問題一：被映射到I-cache同一位置的代碼會被輪流替換出去，即使它們都是經(jīng)常使用的代碼。I-Cache的實現(xiàn)特點（1）大多數(shù)處理器使用直接映射的I-I-Cache的實現(xiàn)特點（2）每一個I-cache條目包含多條指令，可以看成是一個代碼塊：當(dāng)取一條指令時，同一個代碼塊中的全部指令都會被讀入（基于空間局部性假設(shè)做的優(yōu)化）問題二：不常用的代碼會被讀入I-cache，如果它與常用代碼在一個塊中。I-Cache的實現(xiàn)特點（2）每一個I-cache條目包含多舉例許多網(wǎng)絡(luò)代碼包含錯誤檢查，比如： ifconditionTdoX,elsedoZ雖然Z幾乎從不被執(zhí)行，但是編譯器通常會將Z的代碼緊跟在X的后面如果X和Z位于同一個指令塊中，取經(jīng)常使用的代碼X，會把不經(jīng)常使用的代碼Z也取進來，浪費了內(nèi)存帶寬和cache空間舉例許多網(wǎng)絡(luò)代碼包含錯誤檢查，比如：問題與解決方案以上兩個結(jié)果和我們對于cache的一般預(yù)期不同：經(jīng)常使用的代碼不一定在cache中：由一個不完美的映射函數(shù)引起不常使用的代碼可能被經(jīng)常調(diào)入cache：由cache對空間局部性的優(yōu)化引起如何解決以上問題？重新組織代碼，將經(jīng)常使用的代碼連續(xù)放置問題與解決方案以上兩個結(jié)果和我們對于cache的一般預(yù)期不同重新組織代碼如果工作集超過了I-cache的大小，第一個問題仍會出現(xiàn)，但會減少，而第二個問題能夠得到很大程度的緩解代碼布局的基本思想：通過優(yōu)化代碼在內(nèi)存中的位置，減少代碼的換入換出重新組織代碼如果工作集超過了I-cache的大小，第一個問題新的問題處理包的協(xié)議代碼肯