內(nèi)存系統(tǒng)對性能的影響第1頁，課件共16頁，創(chuàng)作于2023年2月內(nèi)存系統(tǒng)對性能的影響對于很多應(yīng)用而言，瓶頸在于內(nèi)存系統(tǒng)，而不是CPU內(nèi)存系統(tǒng)的性能包括兩個方面：延遲和帶寬Latencyisthetimefromtheissueofamemoryrequesttothetimethedataisavailableattheprocessor.Bandwidthistherateatwhichdatacanbepumpedtotheprocessorbythememorysystem.第2頁，課件共16頁，創(chuàng)作于2023年2月延遲和帶寬的區(qū)別理解延遲與帶寬的區(qū)別非常重要?？紤]消防龍頭的情形。如果打開消防龍頭后2秒水才從消防水管的盡頭流出，那么這個系統(tǒng)的延遲就是2秒。當(dāng)水開始流出后，如果水管1秒鐘能流出5加侖的水，那么這個水管的“帶寬”就是5加侖/秒。如果想立刻撲滅火災(zāi)，那么更重要是減少延遲的時間。如果是希望撲滅更大的火，那么需要更高的帶寬。第3頁，課件共16頁，創(chuàng)作于2023年2月內(nèi)存延遲示例考慮某一處理器以1GHz（1納秒時鐘）運(yùn)行，與之相連的DRAM有100納秒的延遲（沒有高速緩存）。假設(shè)處理器有兩個multiply-add部件，在每1納秒的周期內(nèi)能執(zhí)行4條指令。處理器的峰值是4GFLOPS。由于內(nèi)存延遲是100個周期，并且塊大小為一個字（word），每次處理內(nèi)存訪問請求時，處理器必須要等待100個周期，才能夠獲得數(shù)據(jù)。第4頁，課件共16頁，創(chuàng)作于2023年2月內(nèi)存延遲示例在以上平臺上，考慮計(jì)算兩個向量點(diǎn)積的問題。計(jì)算點(diǎn)積對每對向量元素進(jìn)行一次乘法-加法運(yùn)算，即每一次浮點(diǎn)運(yùn)算需要取一次數(shù)據(jù)。此計(jì)算的峰值速度的限制是，每100納秒才能夠進(jìn)行一次浮點(diǎn)計(jì)算，速度為10MFLOPS，只是處理器峰值速度的每小一部分。第5頁，課件共16頁，創(chuàng)作于2023年2月使用高速緩存改善延遲高速緩存是處理器與DRAM之間的更小但更快的內(nèi)存單元。這種內(nèi)存是低延遲高帶寬的存儲器。如果某塊數(shù)據(jù)被重復(fù)使用，高速緩存就能減少內(nèi)存系統(tǒng)的有效延遲由高速緩存提供的數(shù)據(jù)份額稱為高速緩存命中率(hitratio)高速緩存命中率嚴(yán)重影響內(nèi)存受限程序的性能。第6頁，課件共16頁，創(chuàng)作于2023年2月高速緩存第7頁，課件共16頁，創(chuàng)作于2023年2月緩存效果示例 繼續(xù)考慮前一示例。在其中加入一個大小為32KB，延遲時間為1納秒(或1個周期)的高速緩存。使用此系統(tǒng)來計(jì)算矩陣乘法，兩個矩陣A和B的維數(shù)為32×32。之所以選擇這個大小，是為了能夠?qū)、B兩個矩陣以及結(jié)果矩陣都放入高速緩存中。第8頁，課件共16頁，創(chuàng)作于2023年2月緩存效果示例結(jié)果如下將兩個矩陣取到高速緩存中等同于取2K個字，需要大約200μs。兩個n×n的矩陣乘需要2n3步計(jì)算。在本例中，需要64K步計(jì)算，如果每個周期執(zhí)行4條指令，則需要16K個周期，即16μs?？傆?jì)算時間大約是加載存儲時間以及計(jì)算時間之和，即200+16μs。峰值計(jì)算速度為64K/216=303MFLOPS。第9頁，課件共16頁，創(chuàng)作于2023年2月緩存的效果對相同數(shù)據(jù)項(xiàng)的重復(fù)引用相當(dāng)于“時間本地性(temporallocality)”對于高速緩存的性能來說，數(shù)據(jù)的重復(fù)使用至關(guān)重要。第10頁，課件共16頁，創(chuàng)作于2023年2月內(nèi)存帶寬的影響內(nèi)存帶寬由內(nèi)存總線的帶寬和內(nèi)存部件決定。?可以通過增加內(nèi)存塊的大小來提高帶寬。底層系統(tǒng)在L時間單位內(nèi)(L為系統(tǒng)的延遲)存取B單位的數(shù)據(jù)(B為塊大小)第11頁，課件共16頁，創(chuàng)作于2023年2月內(nèi)存帶寬的影響示例繼續(xù)上一示例，將塊大小由1個字改為4個字。同樣考慮點(diǎn)積計(jì)算：假定向量數(shù)據(jù)在內(nèi)存中線性排列，則在200個周期內(nèi)能夠執(zhí)行8FLOPs(4次乘法-加法)這是因?yàn)槊恳淮蝺?nèi)存訪問取出向量中4個連續(xù)的字因此，兩次連續(xù)訪問能夠取出每個向量中的4個元素。這就相當(dāng)于每25ns執(zhí)行一次FLOP，即峰值速度為40MFLOPS。第12頁，課件共16頁，創(chuàng)作于2023年2月內(nèi)存帶寬的影響需要注意的是，增加塊的大小，并不能改變系統(tǒng)的延遲。物理上講，本例中的情形可以認(rèn)為是與多個存儲區(qū)相連接的寬的數(shù)據(jù)總線(4個字，或者128位)實(shí)際上，構(gòu)建這樣的寬總線的代價是昂貴的。在更切實(shí)可行的系統(tǒng)中，得到第一個字后，連續(xù)的字在緊接著的總線周期里被送到內(nèi)存總線。第13頁，課件共16頁，創(chuàng)作于2023年2月內(nèi)存帶寬的影響示例以上示例清楚地說明了增加帶寬對于提高峰值計(jì)算速度的影響。對數(shù)據(jù)布局的假設(shè)是，連續(xù)的數(shù)據(jù)字被連續(xù)的指令所使用(空間本地性，spatiallocality)如果以數(shù)據(jù)布局為中心，那么計(jì)算的步驟應(yīng)該確保連接的計(jì)算使用連接的數(shù)據(jù)第14頁，課件共16頁，創(chuàng)作于2023年2月小結(jié)以上示例說闡述了如下概念：利用應(yīng)用程序的空間本地性與時間本地性對于減少內(nèi)存延遲及提高有效內(nèi)存帶寬非常重要。計(jì)算次數(shù)與內(nèi)存訪問次數(shù)的比是一個很好的預(yù)測內(nèi)存帶寬的承受程序的指標(biāo)。內(nèi)存的布局以及合理組織計(jì)