1、什么是 GPFS 文件系統(tǒng)GPFS（General Parallel File System）是 IBM 公司開發(fā)的高性能集群文件系統(tǒng)，從 1998 年開始首先應(yīng)用于 AIX 集群，2001 年后應(yīng)用于 Linux 集群。 文件系統(tǒng)允許集群中所有的節(jié)點(diǎn)訪問同一文件的數(shù)據(jù)，并提供統(tǒng)一的文件存儲空間。應(yīng)用可以使用標(biāo)準(zhǔn)的UNIX GPFS 32 64 100TB。GPFS 可以動態(tài)的增加或減少文件系統(tǒng)的容量。S提供了標(biāo)準(zhǔn)的X（O（文件打開時使用C或C標(biāo)示符、I/O（kernel asynchronous I/O 系統(tǒng)調(diào)用實(shí)現(xiàn)）I/O（Direct I/OI/O）I/O 可以O(shè)_DIRECT 標(biāo)識打開

2、文件，也可以在文件系統(tǒng)級使用dio 參數(shù)掛接文件系統(tǒng)。I/O I/O 并行文件系統(tǒng)區(qū)別于其他的集群文件系統(tǒng)的特點(diǎn)是、Linux 尤其是大數(shù)據(jù)量的順序操作，盡管典型的 GPFS 但對單個節(jié)點(diǎn)也能提供有益的性能。GPFS 文件系統(tǒng)適用于 AIX 和 Linux 節(jié)點(diǎn)的異構(gòu)集群GPFS 2.2 AIX Linux GPFS AIX GPFS Linux 版本基于同樣的源代碼，只是適應(yīng)于不同的硬件環(huán)境和不同的操作系統(tǒng)環(huán)境。GPFS 使用共享硬盤的模式（Shared Disk Model）GPFS 使用共享硬盤的方式，可以通過多種方式實(shí)現(xiàn)硬盤的共享： 1）基于硬件的SAN 2） Shared 對集群節(jié)點(diǎn)

3、體統(tǒng)D調(diào)度O操作3使用（k GPFSNSDI/OVSDNSD的環(huán)境中使用 GPFS，為增強(qiáng) GPFS 的性能，建議存儲和節(jié)點(diǎn)之間通過高速的通道互連，增加數(shù)據(jù)的帶寬。提高 GPFS 性能的關(guān)鍵點(diǎn)以下 GPFS 的特點(diǎn)可以幫助 GPFS 文件系統(tǒng)取得高性能的 I/O：跨越多個硬盤和多個節(jié)點(diǎn)的條帶化數(shù)據(jù)高效的客戶端數(shù)據(jù)緩存允許管理員配置大的數(shù)據(jù)塊，滿足應(yīng)用的特點(diǎn)使用預(yù)讀和后臺寫（write-behind）技術(shù)使用字節(jié)級的鎖技術(shù)，提供數(shù)據(jù)的一致性要求，可以使多個應(yīng)用節(jié)點(diǎn)并發(fā)訪問同一文件GPFS 元數(shù)據(jù)（GPFS metadata） GPFS（fixed 服務(wù)器，元數(shù)據(jù)服務(wù)器將變成一個單點(diǎn)故障。高可靠性

4、的 GPFSGPFS 是高可靠性的文件系統(tǒng)，即使是在下列失敗的情況下，仍可以配置為不間斷的數(shù)據(jù)訪問：計算節(jié)點(diǎn)I/O服務(wù)器節(jié)點(diǎn)硬盤的連接GPFS 訪問的情況下，仍可以保持操作的連續(xù)性。另外，GPFS 也可以與 RAID 或者其他硬件冗余的功能協(xié)同使用，提供商業(yè)的連續(xù)性（business continuity）。要達(dá)到這一目的，需配置多個I/O 服務(wù)器，當(dāng)某一 I/O 服務(wù)器失敗時，I/O 請求仍可以通過備份服務(wù)器實(shí)現(xiàn)。在 GPFS 的環(huán)境中，某一節(jié)點(diǎn)的硬盤連接丟失，不會影響到其他的節(jié)點(diǎn)，GPFS 使用 RSCT 的功能持續(xù)的監(jiān)控不同文件模塊的健康狀態(tài)，當(dāng)任一錯誤被檢測到時，相應(yīng)的恢復(fù)動作將自動執(zhí)

5、行。GPFS 還提供了額外的日志和恢復(fù)功能，可以維持元數(shù)據(jù)的一致性。GPFS 順序讀寫的性能建議在配置高性能 GPFS 文件系統(tǒng)的過程中，從性能方面考慮，有幾種配置GPFS 響。配置硬盤GPFS VSD AIX 在一些大的集群中是一個比較好的選擇，在使用 Performance 的系統(tǒng)中，VSD HPS VSD 是建立在邏輯卷組（Logical Volume）之上的，I/O 大小是有卷組（Volume Group）的 LTG（Logical Track LTG GPFS， 比較來看，GPFS 2.2 128KB LTG 大小。數(shù)據(jù)條帶AIX 環(huán)境下，GPFS I/O RAID5， 可以考慮三種

6、方式：GPFSRAID5GPFSGPFS的最典型的方法，對大數(shù)據(jù)量順序讀寫，可以充分利用GPFS 預(yù)讀和延遲寫（pre-fetch/wirte-behind）的功能。AIX邏輯卷 Volume 條帶，條帶化的邏輯卷可以使用部分或全部的 RAID5 組，構(gòu)成 GPFS 的邏輯盤。GPFS AIX GPFS方式b 和方式c 并發(fā)操作。GPFS 塊大小GPFS I/O GPFS 文件系統(tǒng)的塊大小，GPFS 2.2 1MB。使用連續(xù)的數(shù)據(jù)存儲塊GPFS GPFS GPFS 后續(xù)的版本中，將是一個新的GPFS 2.2 仍然是隨機(jī)的在每一個邏輯盤上申請存儲塊GPFS優(yōu)化GPFS GPFS 分可調(diào)整的參數(shù)如

7、下：pagepool ：GPFS緩存可申請使用的容量prefetchThreadsGPFS 服務(wù)進(jìn)程可使用的讀寫線程數(shù)，此參數(shù)GPFS可使用的最大并發(fā)請求數(shù)maxMBpSI/OprefetchThreads的數(shù)量maxBuddyBufferSizeVSD 通訊數(shù)據(jù)包大小應(yīng)用方面的建議考慮 GPFS 的性能時，應(yīng)當(dāng)考慮到應(yīng)用方面的影響，有些I/O 比較敏感的應(yīng)用使用單個線程執(zhí)行大數(shù)據(jù)量的順序讀寫操作，通常情況下，GPFS 能很好的執(zhí)行讀或者寫系統(tǒng)調(diào)用，GPFS 會使用多個線程調(diào)度 I/O 操作到多個磁盤，這種操作方式使用GPFS 文件系統(tǒng)的緩存存儲被切割的數(shù)據(jù)。在單節(jié)點(diǎn)，I/O 密集的負(fù)載中，處

8、理器的使用可能會占用較多的處理器時間，影響到系統(tǒng)的性能。在處理器瓶頸的情況下，為提高 I/O 的性能，應(yīng)用可以考慮使用直接 I/O（Direct I/O），避免數(shù)據(jù)在文件系統(tǒng)緩存和應(yīng)用緩存之間拷貝數(shù)據(jù)， I/O I/O (pinned)。使用固定緩存可I/O 請求的內(nèi)存換頁出去。固定（pining）緩存的操作比較消耗處理器時間，如果應(yīng)用的緩存的固定（pin）操作在初始化過程中完成，可以節(jié)省處理器的時間，這要求文件系統(tǒng)存在一種機(jī)制知道應(yīng)用的緩存已經(jīng)被固定，因而不需要在調(diào)度I/O 時再固定同樣的緩存。GPFS 2.2 版本不存在這種識別應(yīng)用緩存是否被固定的能力，但GPFS 版本中將會增加這一新的功

9、能。應(yīng)用可以通知GPFS， I/O（direct I/O）的應(yīng)用緩存已經(jīng)被固定（pinned）， GPFS不需要重新固定緩存。注意：直接的目的是直接讀或?qū)憯?shù)據(jù)到應(yīng)用緩存，這種方式會限制 GPFS 的預(yù)取功能，可以從異步 I/O 或者多線程讀寫的方式彌補(bǔ)性能的損失。GPFS read-behind-write 性能Read-behind-write 技術(shù)常被一些高端用戶采用，目的是降低延遲，提高Read-behind-write 開始寫操作， 讀I/O 性相應(yīng)的操作可能會演化為并行寫整個文件，然后再并行讀回數(shù)據(jù)。實(shí)施read-behind-write （writer） 寫完紀(jì)錄后，等待讀者讀取紀(jì)錄，然后再處理此項紀(jì)錄，盡read-behind-write 對都有同一個目