曙光石油化工解決方案資料內(nèi)容僅供參考，如有不當(dāng)或者侵權(quán)，請聯(lián)系本人改正或者刪除。目錄曙光高性能計(jì)算機(jī)助力中國石油勘探工業(yè) 2中石油4.2萬億次應(yīng)用案例 5曙光高性能計(jì)算機(jī)服務(wù)中國海洋石油物探1229 10石油地震資料處理系統(tǒng)解決方案 14AMD64位架構(gòu)服務(wù)器在石油地震勘探中的成功應(yīng)用 30

曙光高性能計(jì)算機(jī)助力中國石油勘探工業(yè)曙光高性能計(jì)算機(jī)

助力中國石油勘探工業(yè)

國產(chǎn)高性能計(jì)算機(jī)在石油勘探領(lǐng)域的作用與日俱增,成為提升石油企業(yè)核心技術(shù)水平,增強(qiáng)國際競爭力的基礎(chǔ)保障,也被公認(rèn)為是中國石油提高國際競爭力的一把金鑰匙。

石油關(guān)系到中國的能源安全戰(zhàn)略。隨著中國經(jīng)濟(jì)和社會的飛速發(fā)展,各領(lǐng)域?qū)κ唾Y源的需求急劇攀升。當(dāng)前,中國已經(jīng)是世界第五大產(chǎn)油國和第二大石油消費(fèi)國,石油產(chǎn)量每年1.6%的增長率遠(yuǎn)遠(yuǎn)低于GDP每年9%的增長速度。落實(shí)科學(xué)發(fā)展觀,實(shí)施”走出去”戰(zhàn)略,成為中國石油行業(yè)開拓國際市場,在全球范圍內(nèi)獲取石油資源的重要途徑。而采用高精尖裝備,進(jìn)行技術(shù)創(chuàng)新則是提升石油企業(yè)核心技術(shù)水平,增強(qiáng)國際競爭力的基礎(chǔ)保障。

高性能計(jì)算機(jī)是提升石油勘探水平、增強(qiáng)國際競爭力的關(guān)鍵

石油勘探一般由野外數(shù)據(jù)采集、地震資料處理、資料解釋三個流程組成,承擔(dān)著找儲油構(gòu)造、定井位的重要任務(wù)。由于石油開采過程中鉆井費(fèi)用非常高昂,打一口油井往往要花費(fèi)幾百萬甚至上億元,如果井位定的不準(zhǔn),將會給石油企業(yè)和國家造成極大的損失。同時(shí),如果沒有計(jì)算機(jī)輔助,石油勘探的時(shí)間成本也相當(dāng)可觀。為了提高石油勘探的準(zhǔn)確度,縮短勘探時(shí)間,在短時(shí)間內(nèi)找準(zhǔn)井位,就需要獲得更精確和更豐富的數(shù)據(jù),并進(jìn)行三維計(jì)算分析,而這離開了高性能計(jì)算機(jī)是無法進(jìn)行的。專家估計(jì),借助一套每秒運(yùn)算十萬億次的高性能計(jì)算系統(tǒng),能夠在一年內(nèi)處理2萬平方公里的石油勘探面積。

在中國,石油勘探是國內(nèi)能源行業(yè)對高性能計(jì)算機(jī)需求最大、應(yīng)用最深的領(lǐng)域。由于具有數(shù)據(jù)量大、連接外設(shè)多、并行任務(wù)多、網(wǎng)絡(luò)體系復(fù)雜等特點(diǎn),石油勘探領(lǐng)域成為高性能計(jì)算機(jī)的用武之地。在11月發(fā)布的中國高性能計(jì)算機(jī)TOP100排行榜上,已有29套高性能計(jì)算系統(tǒng)用于石油勘探領(lǐng)域,其中10個系統(tǒng)峰值浮點(diǎn)計(jì)算速度超過了萬億次。該領(lǐng)域運(yùn)算速度最快的超級計(jì)算機(jī)是由國產(chǎn)服務(wù)器第一品牌曙光公司制造的曙光4000L機(jī)群服務(wù)器,峰值運(yùn)算速度達(dá)到了6.45萬億次每秒,服務(wù)于全球最大的陸地石油勘探企業(yè)——中石油東方地球物理公司(簡稱BGP)。

可見,有了更強(qiáng)大的高性能計(jì)算機(jī),中國石油勘探企業(yè)不但能提高生產(chǎn)效率,為國家節(jié)省大量資金,更重要的是能大大提升石油企業(yè)的國際競爭力,為國家能源戰(zhàn)略的實(shí)施打下堅(jiān)實(shí)的基礎(chǔ)。

采用國產(chǎn)高性能計(jì)算機(jī)是中國石油戰(zhàn)略的必由之路

以前,中國境內(nèi)石油勘探領(lǐng)域全部采用國外大公司的進(jìn)口設(shè)備。由于外國公司處于壟斷地位,賣給中國的軟硬件產(chǎn)品價(jià)格奇高,同時(shí)還要向國內(nèi)用戶按銷售額的10%收取系統(tǒng)集成費(fèi)。在軟硬件設(shè)備引進(jìn)、系統(tǒng)集成和后期維護(hù)服務(wù)過程中,國家為此花費(fèi)了數(shù)以百億計(jì)的大量資金。同時(shí),對于性能更高的設(shè)備,西方國家和國外公司一般采取限制進(jìn)口、監(jiān)控使用等手段,從而大大限制了中國石油勘探技術(shù)水平的快速發(fā)展。

為了打破國外封鎖與壟斷,十多年來,在國家863計(jì)劃和中科院知識創(chuàng)新工程的支持與推動下,中科院計(jì)算所國家智能計(jì)算機(jī)研究開發(fā)中心先后研制成功了曙光一號、曙光1000、曙光、曙光3000、曙光4000等一代代高性能計(jì)算機(jī),并經(jīng)過曙光公司成功實(shí)現(xiàn)了產(chǎn)業(yè)化,使曙光機(jī)成為國內(nèi)市場上一支與國外大公司相抗衡的重要力量。

曙光高性能計(jì)算機(jī)

助力中國石油勘探走出國門

在石油勘探領(lǐng)域,經(jīng)過中科院計(jì)算所、曙光公司及眾多合作伙伴的多年共同努力,曙光高性能計(jì)算機(jī)得到了大量成功應(yīng)用。1997年,曙光天潮1000A落戶遼河油田,實(shí)現(xiàn)了國產(chǎn)高性能計(jì)算機(jī)在該領(lǐng)域零的突破。隨后,曙光機(jī)在國內(nèi)石油領(lǐng)域攻城略地,逐漸占領(lǐng)市場:,曙光3000進(jìn)入BGP;中石化南京物探采用曙光超級計(jì)算機(jī),并在”中石化系統(tǒng)地質(zhì)勘探比武”榮獲第一;同年6月,BGPWHAT采購4.2萬億次計(jì)算能力的曙光4000L超級計(jì)算機(jī)。,曙光在海洋石油勘探領(lǐng)域再顯身手,在湛江和天津兩地為中海油成功構(gòu)建了兩大地震數(shù)據(jù)處理中心。截止到當(dāng)前,中石油、中石化和中海油三大石化巨頭共采購曙光超級服務(wù)器的計(jì)算力總和已經(jīng)超過10萬億次每秒。

從到間,先后有20多套曙光高性能計(jì)算機(jī)用于BGP的石油物探生產(chǎn)作業(yè),分布在尼日爾、巴基斯坦、伊朗、尼日利亞等6個國家、多個地區(qū),曙光機(jī)已經(jīng)具備解決國家關(guān)鍵戰(zhàn)略性任務(wù)的實(shí)力。在BGP的機(jī)房,已經(jīng)有近70%的高性能計(jì)算機(jī)都是曙光機(jī)。BGP已成為國內(nèi)石油領(lǐng)域高性能計(jì)算機(jī)應(yīng)用規(guī)模最大、運(yùn)算速度最快、處理能力最強(qiáng)的專業(yè)機(jī)構(gòu)。特別是在國際市場競爭中,高性能計(jì)算機(jī)的計(jì)算能力規(guī)模已成為BGP贏得用戶青睞的重要武器。借助先進(jìn)、成熟的國產(chǎn)高性能計(jì)算機(jī),BGP已發(fā)展成全球陸地石油勘探第一、綜合第三的著名物探企業(yè),其業(yè)務(wù)已經(jīng)發(fā)展到12個省區(qū)15個油田,全球4大洲27個國家,累計(jì)為60多個國際油公司和國家油公司提供地球物理技術(shù)服務(wù)。

值得關(guān)注的是,在11月8日揭曉的中國高性能計(jì)算機(jī)性能TOP100排行榜中,國產(chǎn)服務(wù)器陣營首次以51%的微弱優(yōu)勢超過國外兵團(tuán),其中,15套曙光4000系列超級計(jì)算機(jī)服務(wù)于中國石油勘探領(lǐng)域。

雙核服務(wù)器

為石油勘探提供未來新動力

在頻率成為CPU性能和系統(tǒng)性能進(jìn)一步提升的瓶頸之后,雙核和多核平臺已成為未來高性能計(jì)算的新趨勢。曙光公司在年初就全球同步推出了10款從雙路、四路到八路的雙核服務(wù)器,并作為高性能計(jì)算服務(wù)器節(jié)點(diǎn)得到了大量成功應(yīng)用。憑借高性價(jià)比、高密度、穩(wěn)定可靠等優(yōu)勢,雙核四路服務(wù)器R4380A、雙核八路服務(wù)器A950已成為小型機(jī)的成功替代品REALLY?。當(dāng)前,曙光基于AMD雙核皓龍?zhí)幚砥髌脚_的服務(wù)器已經(jīng)在石油勘探、濟(jì)南公安、上海多媒體服務(wù)平臺等用戶得到了成功應(yīng)用。

WHATREALLY?

中石油4.2萬億次應(yīng)用案例”找油先鋒”找到曙光

東方物探公司是中國最大的計(jì)算機(jī)軟件國際工程中心和國家甲級工程咨詢單位,為整個中石油提供石油勘探、海量數(shù)據(jù)處理等方面的服務(wù),當(dāng)前中石油全球陸地石油開采量已經(jīng)占到世界第一,而東方物探也被冠以了”找油先鋒”的美稱。石油行業(yè)對高性能計(jì)算能力的需求能夠說是無止境的,由于一直以來高端商用領(lǐng)域的超級計(jì)算機(jī)設(shè)備一直為國外品牌所壟斷,東方物探數(shù)據(jù)處理中心一直采用的都是進(jìn)口設(shè)備,國外超級計(jì)算機(jī)不但價(jià)格高而且維護(hù)費(fèi)用昂貴。隨著曙光機(jī)群高性能計(jì)算機(jī)在國內(nèi)應(yīng)用的急速擴(kuò)張,中石油開始積極關(guān)注這個成熟度高、TCO更低的國內(nèi)機(jī)群超級計(jì)算機(jī)品牌。基于國內(nèi)已經(jīng)被廣泛、成熟應(yīng)用了的機(jī)群超級計(jì)算機(jī),曙光公司憑借其世界領(lǐng)先的集群技術(shù)和豐富、成熟的行業(yè)應(yīng)用經(jīng)驗(yàn),推出了3萬億次以上、存儲字節(jié)達(dá)百萬億的曙光4000L超級計(jì)算機(jī),這為中國大型商業(yè)高端計(jì)算機(jī)用戶提供了計(jì)算能力符合需求、價(jià)格合理、服務(wù)到位的民族品牌產(chǎn)品和全面解決方案。經(jīng)過一系列商業(yè)談判,6月,東方物探最終決定采購具備4.2萬億次計(jì)算能力的曙光4000L超級計(jì)算機(jī),現(xiàn)在,有了曙光4000L的東方物探公司已經(jīng)成為國內(nèi)商業(yè)領(lǐng)域計(jì)算機(jī)應(yīng)用規(guī)模最大、運(yùn)算速度最快、處理能力最強(qiáng)的超級計(jì)算機(jī)用戶。

4.2萬億次強(qiáng)大的應(yīng)用價(jià)值

曙光4000L由曙光公司和國家智能計(jì)算機(jī)研究中心聯(lián)合開發(fā)、面向網(wǎng)格WHAT的超級計(jì)算機(jī),作為石油領(lǐng)域高性能計(jì)算機(jī)的杰出代表,其占據(jù)兩大關(guān)鍵要素:一是曙光成熟的技術(shù)和深厚的應(yīng)用積累;二是國家智能計(jì)算機(jī)研究中心(NCIC)強(qiáng)大的技術(shù)研發(fā)實(shí)力支持。曙光4000L作為IDC數(shù)據(jù)處理主機(jī),整個系統(tǒng)由40個機(jī)柜組成。該系統(tǒng)最大可”在線”擴(kuò)展到80個機(jī)柜,1300個CPU,每秒6.75萬億次峰值速度,4000G內(nèi)存,600T存儲的海量處理系統(tǒng)。其軟、硬件包括:智能控制臺,硬件監(jiān)控和終端切換網(wǎng)絡(luò),智能網(wǎng)卡及其軟件,機(jī)群操作系統(tǒng),并行編程環(huán)境,機(jī)群文件系統(tǒng),高可用軟件,智能文件瀏覽器,網(wǎng)格監(jiān)控中心軟件,遠(yuǎn)程磁帶備份軟件,數(shù)據(jù)密集應(yīng)用性能評價(jià)軟件等。

曙光4000L獨(dú)具的技術(shù)特色:

·當(dāng)前國內(nèi)最大的IDC數(shù)據(jù)處理主機(jī),存儲與處理能力均十分強(qiáng)大

·當(dāng)前國內(nèi)最大的百萬億數(shù)據(jù)處理超級服務(wù)器,被譽(yù)為超級服務(wù)器中的”航空母艦”

·同時(shí)適用于高性能"科學(xué)計(jì)算"和"信息服務(wù)"兩大領(lǐng)域,對于正由"科學(xué)計(jì)算"向"信息服務(wù)"轉(zhuǎn)型的國產(chǎn)高性能計(jì)算機(jī)產(chǎn)業(yè)而言,是一次劃時(shí)代的革命

·不但具備百萬億字節(jié)的數(shù)據(jù)處理能力,而且在支持?jǐn)?shù)據(jù)密集應(yīng)用的技術(shù)上實(shí)現(xiàn)了多項(xiàng)重大突破

WHAT

開發(fā)兩項(xiàng)網(wǎng)格使能技術(shù):使用Grid

TerminalWHAT技術(shù)開發(fā)的智能控制臺能夠?qū)崿F(xiàn)龐大系統(tǒng)的安全管理;GridView網(wǎng)格監(jiān)控中心軟件則提供了邏輯視角、視角的可伸縮性、歷史記錄分析三項(xiàng)特色,被稱為系統(tǒng)的”千里眼”。

中石油面向網(wǎng)格計(jì)算的解決方案描述

曙光公司提供的此套石油行業(yè)整體解決方案,不但有計(jì)算機(jī),還包括系統(tǒng)軟件、管理軟件、輸入輸出設(shè)備和存儲設(shè)備。曙光不但在硬件設(shè)備、集群管理軟件、監(jiān)控軟件都應(yīng)用成熟、性能過硬,而且在工程實(shí)施能力和行業(yè)應(yīng)用等方面都極具優(yōu)勢。

WHAT

鑒于高性能計(jì)算應(yīng)用的特殊性,用戶對高性能計(jì)算的擴(kuò)展性、穩(wěn)定性以及先進(jìn)的技術(shù)需求性要求高、變化快,特別在物探等長期、大量使用高性能計(jì)算機(jī)的行業(yè)對此更為關(guān)鍵。

談到中國石油集團(tuán)東方地球物理公司選擇4.2萬億次的曙光4000L作為應(yīng)用平臺的決定時(shí),東方物探研究院副總工程師賴能和介紹說,選擇曙光4000L主要基于四個方面的原因:

1.基于Linux平臺的PC

Cluster更適于疊前偏移等密集型算法

為了解決超大計(jì)算量的處理問題,過去曾采用的主機(jī)帶陣列機(jī)、向量計(jì)算機(jī),以至90年代采用的大規(guī)模并行計(jì)算機(jī),對于提高計(jì)算速度和處理能力都起到了重要的作用。

當(dāng)前隨著地質(zhì)結(jié)構(gòu)越來越復(fù)雜,疊前偏移工作量越來越多,大量的疊前偏移處理任務(wù)需要花費(fèi)越來越多昂貴的CPU時(shí)間。如果完全選擇基于Unix的超級計(jì)算機(jī)系統(tǒng)則需要巨大投資。正是由于PC集群高性能并行機(jī)的性能價(jià)格比較基于Unix并行機(jī)更為優(yōu)越以及它有極強(qiáng)的可用性、可擴(kuò)展性和可管理性,用它來完成Unix并行機(jī)的密集算法,將大大節(jié)省昂貴的CPU資源費(fèi)用。

2.當(dāng)前數(shù)據(jù)處理面臨Unix并行機(jī)嚴(yán)重老化,常規(guī)處理能力嚴(yán)重不足的實(shí)際問題

當(dāng)前國內(nèi)數(shù)據(jù)處理生產(chǎn)使用的系統(tǒng)一般包括有IBM、HP、SUN、SGI

origin、PC

Cluster集群等并行機(jī)、Unix工作站集群(IBM、DEC、SGI、SUN、曙光)和Linux

PC圖形工作站群等多種平臺。其特點(diǎn)是Unix并行機(jī)嚴(yán)重老化,主頻低、處理能力嚴(yán)重不足。完全依賴它們來完成處理任務(wù),已經(jīng)很難解決數(shù)據(jù)處理過程中所面臨的難度越來越大、處理周期越來越短、數(shù)據(jù)量越來越大和資料所在區(qū)地質(zhì)構(gòu)造越來越復(fù)雜等實(shí)際問題。

3.新的許多處理算法需要消耗更多寶貴的CPU資源

隨著國內(nèi)外地震物探高、新技術(shù)的快速發(fā)展,對數(shù)據(jù)處理技術(shù)也提出了新要求,需采用許多新的花費(fèi)更多CPU的模塊,如模擬退火靜校正、DMO、SCD、SCAC、SMA、PSDM以及把PSTM納入常規(guī)處理流程等。當(dāng)前的Unix并行機(jī)主頻太低和內(nèi)存太小,很難實(shí)現(xiàn)新的處理流程,而PC

Cluster正好適合于這種密集型的科學(xué)計(jì)算。

4.基于Linux平臺PC高性能專業(yè)圖形工作站是解決地震數(shù)據(jù)交互處理的有效方案,與PC

Cluster一起構(gòu)成地震數(shù)據(jù)處理與解釋一體化系統(tǒng)的實(shí)用方案。

隨著CPU

芯片性能提高、圖形處理能力的增加,選擇基于Linux平臺高性能價(jià)格比的PC

專業(yè)圖形工作站,配備高性能圖形卡,交互軟件的本地化安裝與配置。既實(shí)現(xiàn)了交互軟件與服務(wù)器節(jié)點(diǎn)單獨(dú)分開而在本地PC專業(yè)圖形工作站上直接運(yùn)行交互程序,解決了在遠(yuǎn)程主機(jī)上運(yùn)行交互速度響應(yīng)慢的問題;又實(shí)現(xiàn)了經(jīng)過性能良好的圖形終端,用戶直接在本地完成交互拾取速度譜等交互處理任務(wù)。

賴能和說,國產(chǎn)曙光PC

Cluster技術(shù)上已經(jīng)成熟并具有很強(qiáng)的并行化處理能力,與國外的PC

Cluster相比,具有很強(qiáng)的竟?fàn)幜?。同時(shí)由于和曙光這種技術(shù)導(dǎo)向型企業(yè)合作,東方物探能夠很好地結(jié)合自身實(shí)際情況,與廠商共同就未來網(wǎng)格計(jì)算等領(lǐng)域的研究展開合作。

研究院實(shí)景:

方案拓?fù)鋱D:

一份極具吸引力的應(yīng)用結(jié)論

4.2萬億次的曙光4000L在東方物探的研究大樓里跑起來了,她帶給客戶的是如下的應(yīng)用結(jié)論:

1.PC

Cluster在地震數(shù)據(jù)常規(guī)處理和深度域處理中已經(jīng)證明了應(yīng)用的成功。

2.高性能PC

Cluster并行機(jī)很適合密集型運(yùn)算,能夠?yàn)榻鉀Q復(fù)雜區(qū)地震成像問題提供有效的計(jì)算環(huán)境。

3.相同運(yùn)算能力下,Cluster投資大約需Unix并行機(jī)的1/10,而速度提高3倍以上。

4.PC

Cluster與應(yīng)用軟件的有效集成是實(shí)現(xiàn)地震數(shù)據(jù)并行處理成功應(yīng)用的關(guān)鍵。

5.主頻的提高、CPU數(shù)的增加與駐機(jī)時(shí)間的減少之間的關(guān)系不是線性的。

曙光4000L助力中石油邁向網(wǎng)格計(jì)算

曙光4000L是曙光公司推出的首款面向網(wǎng)格計(jì)算的IA機(jī)群超級服務(wù)器,其網(wǎng)格技術(shù)體現(xiàn)在數(shù)據(jù)密集技術(shù)(Data-intensive)、支持網(wǎng)格(Grid-enabling)、多目標(biāo)系統(tǒng)(Multiple-system)、應(yīng)用專用技術(shù)(Application-specific)四個方面,同時(shí)也滿足在管理、廣域通信、廣域文件、資源發(fā)現(xiàn)、體系結(jié)構(gòu)上的要求。當(dāng)前石油行業(yè)對高性能服務(wù)器的需求巨大,

特別是在地震數(shù)據(jù)常規(guī)處理和深度域處理、密集型運(yùn)算等諸多復(fù)雜問題,曙光4000L采用IA機(jī)群架構(gòu),其超強(qiáng)的數(shù)據(jù)處理能力、高效的處理速度、高可用性、完全勝任石油行業(yè)對于穩(wěn)定性、可靠性、處理性能的苛刻要求,廣泛融合了曙光在高性能超級服務(wù)器多種成熟高端技術(shù),成為中國服務(wù)器行業(yè)標(biāo)準(zhǔn)”SUMAWHAT”的完美體現(xiàn)?，F(xiàn)今曙光超級計(jì)算機(jī)在國內(nèi)的應(yīng)用超過了1000套,應(yīng)用遍布各個領(lǐng)域,并占據(jù)著國內(nèi)品牌超級計(jì)算機(jī)市場90%的份額,同時(shí)成功實(shí)現(xiàn)了海外銷售。曙光4000L的推出不但代表著國產(chǎn)高性能計(jì)算機(jī)產(chǎn)業(yè)的全面發(fā)展,也進(jìn)一步彰顯了中國在高性能計(jì)算機(jī)技術(shù)方面的強(qiáng)大實(shí)力,這無論對于本產(chǎn)業(yè)的健康發(fā)展,還是對于國民經(jīng)濟(jì)、國防等領(lǐng)域的全面進(jìn)步都具有十分重大的意義。

曙光超級計(jì)算機(jī)在石油、石化行業(yè)典型應(yīng)用

·1997年10月曙光天潮1000A落戶遼河油田。這也是中國高性能計(jì)算機(jī)首次獨(dú)立進(jìn)入市場,實(shí)現(xiàn)了國產(chǎn)高性能服務(wù)器商品化的零的突破

·1999年1月曙光承擔(dān)中國石油工程建設(shè)集團(tuán)的樓宇自控工程建設(shè)工程

·1999年9月曙光和石油天然氣總公司合作進(jìn)行天羅天聯(lián)推廣合作項(xiàng)目

·以色列帕拉代姆公司采用了曙光1700服務(wù)器

·10月中國石油集團(tuán)東方地球物理公司諑州物探局采購曙光4000L

Linux/PC

Cluster作為應(yīng)用平臺,曙光超級服務(wù)器占據(jù)國內(nèi)石油領(lǐng)域

·中石化南京物探采用曙光超級計(jì)算機(jī),并在”中石化系統(tǒng)地質(zhì)勘探比武”榮獲第一名

·中石油集團(tuán)采用曙光4.2萬億次集群超級計(jì)算機(jī)

·中石油集團(tuán)東方地球物理勘探有限責(zé)任公司簽單合作,為其西部最大的數(shù)據(jù)處理中心庫爾勒分中心提供了一套適用于石油行業(yè)的成熟應(yīng)用解決方案

WHAT

另外,石油勘探開發(fā)研究院、江漢油田、藍(lán)領(lǐng)油田、河南油田、石油發(fā)展總公司均采用了曙光的高性能計(jì)算機(jī)和超級服務(wù)器。

曙光高性能計(jì)算機(jī)服務(wù)中國海洋石油物探1229一路鶯歌,探尋海洋里的寶藏

——曙光高性能計(jì)算機(jī)服務(wù)中國海洋石油物探

據(jù)史料記載,多年前中國就開始用鉆井法開采地下石油;公元220年左右開始開采天然氣;公元1521年就能從1000多米深的地下開采出石油……然而,當(dāng)美國人于1896年開始開發(fā)海洋油氣的試驗(yàn),1947年在墨西哥灣首次用鋼制鉆井平臺鉆出了世界上第一口商業(yè)性油井,以及隨后在世界范圍內(nèi)涌起勘探開發(fā)海洋石油熱潮時(shí),中國的海洋石油工業(yè)卻依然是一片空白。直到上世紀(jì)五十年代那個激情燃燒的夜晚!

1956年的一個夜晚,正在觀看露天地影《海上巴庫》的鶯歌海漁民神經(jīng)被觸動了:既然巴庫附近海面上那嘟嘟冒出的氣泡是寶貴的石油、天然氣,我們鶯歌海不也有同樣的”寶貝”?于是,油氣苗,鶯歌海面上那個汩汩跳動的氣泡便伴隨著一路鶯歌,走向廣州,走向北京。中國海洋石油這部雄偉壯觀的戲劇就這樣拉開了序幕……

發(fā)展到今天,人們已經(jīng)開始普遍利用超級計(jì)算機(jī)來尋找和開發(fā)海洋里的石油寶藏。地震數(shù)據(jù)處理就是石油物探中非常關(guān)鍵的一個環(huán)節(jié)。日前,中國海洋石油東方數(shù)據(jù)處理中心和南海西部計(jì)算中心就分別采用了兩套曙光4000L超級計(jì)算機(jī)來構(gòu)建位于塘沽和堪江的兩大地震數(shù)據(jù)處理系統(tǒng),一個面向渤海,一個面向南海。超級計(jì)算機(jī),走向海洋

中海油的歷史就是一部中國海洋石油工業(yè)的歷史。而高性能計(jì)算機(jī)是這部歷史背后的”幕后英雄”。基于LINUX的高性能計(jì)算機(jī)主要用在盆地模擬、地震資料處理和油藏?cái)?shù)值模擬等三大領(lǐng)域。地震數(shù)據(jù)處理因?yàn)閿?shù)據(jù)量大、計(jì)算量大等行業(yè)特點(diǎn),成為高性能計(jì)算機(jī)這一超級武器威力四射的舞臺。

人們經(jīng)過汽槍、放炮等人工手段獲得原始的震源,由檢波器在分布于震源附近的檢波點(diǎn)定時(shí)收集一系列脈沖信號,從而采集到大量原始的地震波信號。隨后把海量數(shù)據(jù)輸入到超級計(jì)算機(jī)里,運(yùn)行帕拉戴姆、CGG、OMEGA、Landmark、GeoEast等地震資料處理軟件,經(jīng)過常規(guī)處理以及疊前偏移等過程,最終得到一個地震剖面圖。然后由經(jīng)驗(yàn)豐富的地質(zhì)專家經(jīng)過解釋地震剖面圖,得到地層的構(gòu)造情況,從而為石油和天然氣礦藏的識別提供依據(jù)。其中地震資料處理的過程,因?yàn)閿?shù)據(jù)量、計(jì)算量和通訊量都很大,因此對計(jì)算機(jī)的存儲能力、計(jì)算能力和I/O通訊能力都提出了很高的要求。而這正是高性能計(jì)算機(jī)的擅長之處。

在中國,曙光公司生產(chǎn)的高性能計(jì)算機(jī)是國內(nèi)石油領(lǐng)域應(yīng)用最廣、裝機(jī)量最多、應(yīng)用最普及的產(chǎn)品。經(jīng)過多年發(fā)展,曙光的PCCluster技術(shù)已經(jīng)非常成熟并具有很強(qiáng)的并行化處理能力,而且比國外的產(chǎn)品具有更高的性價(jià)比。曙光4000L是曙光和國家智能計(jì)算機(jī)研究中心聯(lián)合開發(fā)的面向網(wǎng)格的超級計(jì)算機(jī)。依托曙光成熟的技術(shù)、深厚的應(yīng)用經(jīng)驗(yàn)積累以及國家智能計(jì)算機(jī)研究中心強(qiáng)大的技術(shù)研發(fā)實(shí)力,采用IA機(jī)群架構(gòu)的曙光4000L憑借其超強(qiáng)的數(shù)據(jù)處理能力、高效的處理速度、高可用性以及對多種成熟高端技術(shù)的融合,當(dāng)之無愧地成為石油領(lǐng)域高性能計(jì)算機(jī)的杰出代表。

曙光高性能計(jì)算機(jī)的應(yīng)用不但使用戶能夠把疊前偏移等以前的非常規(guī)處理程序當(dāng)作常規(guī)處理來對待,而且能夠滿足現(xiàn)在物探行業(yè)測線加密、精度要求增加等更高的需求,這是高性能計(jì)算機(jī)給地震勘探帶來的飛躍,使構(gòu)造地質(zhì)分析、井位確定更準(zhǔn)確,不但節(jié)省了資金,而且加快了石油勘探的步伐,提升了效益。超級計(jì)算機(jī),有容乃大

為了提高處理精度,測線間距越來越小,而采樣點(diǎn)則越來越多,導(dǎo)致采集到的數(shù)據(jù)量也越來越大,有時(shí)一個文件就有200～300GB甚至更多;疊前深度偏移等算法的出現(xiàn)使得CPU資源的耗用越來越多;隨著計(jì)算能力的提高以及物探行業(yè)競爭的加劇,客戶對處理中心要求的數(shù)據(jù)處理周期也越來越短;而石油勘探領(lǐng)域的拓展和深入,也導(dǎo)致處理中心會遇到越來越多的復(fù)雜地質(zhì)構(gòu)造。而且由于并行用戶和任務(wù)非常多,對I/O的要求也很苛刻。各種因素的變化對石油物探企業(yè)的綜合競爭能力提出了更新更苛刻的要求,同樣也催生了背后高性能計(jì)算技術(shù)和產(chǎn)品的發(fā)展和成熟。

曙光4000L對于石油勘探的海量數(shù)據(jù)處理任務(wù),能夠很好的提升地震處理的速度,而且具備高度穩(wěn)定性,從而更好的滿足石油行業(yè)對于先進(jìn)技術(shù)要求高、變化快的特性。4000L在海量數(shù)據(jù)的計(jì)算、存儲、通訊、管理和監(jiān)控方面已經(jīng)形成自己的特色。其強(qiáng)大的"在線"擴(kuò)展能力,能夠在保障整個系統(tǒng)應(yīng)用穩(wěn)定運(yùn)行的前提下,及時(shí)發(fā)現(xiàn)并解決問題,維護(hù)系統(tǒng)和數(shù)據(jù)安全,動態(tài)擴(kuò)展系統(tǒng)的配置。同時(shí)曙光提出的數(shù)據(jù)密集型算法,可支持文件的快速檢索和瀏覽,在密集型科學(xué)計(jì)算領(lǐng)域如石油行業(yè)的數(shù)據(jù)處理、全3D可視化體解釋、油藏模擬、存儲管理等方面廣泛應(yīng)用。

地震數(shù)據(jù)傳輸和處理的并行,對網(wǎng)絡(luò)性能也提出了很高的要求,I/O通訊能力也往往成為制約系統(tǒng)效率發(fā)揮的一大瓶頸。但一味地增加I/O節(jié)點(diǎn)數(shù)并不是一個很好的辦法。為了解決這一問題,曙光的技術(shù)工程師除了對系統(tǒng)進(jìn)行很多優(yōu)化外,還在石油行業(yè)首創(chuàng)了”雙網(wǎng)卡綁定”的做法,經(jīng)過將兩個1000M的網(wǎng)卡綁定使用,使單個I/O節(jié)點(diǎn)的帶寬增加了到了2G。LINUX集群系統(tǒng),凱歌高奏

為了解決海量處理問題,人們曾經(jīng)使用過主機(jī)帶陣列機(jī)、向量計(jì)算機(jī)和大規(guī)模并行計(jì)算機(jī)。當(dāng)前國內(nèi)數(shù)據(jù)處理生產(chǎn)使用的系統(tǒng)一般包括有IBM、HP、SUN、SGIorigin、PCCluster集群等并行機(jī)、Unix工作站集群(IBM、DEC、SGI、SUN、曙光)和LinuxPC圖形工作站群等多種平臺。

石油行業(yè)現(xiàn)在的Unix大型機(jī)面臨嚴(yán)重老化、主頻低、處理能力嚴(yán)重不足等實(shí)際問題,但如果進(jìn)行升級,其高昂的投資成本卻離用戶的實(shí)際承受能力越來越遠(yuǎn)。而如果采用基于Linux平臺的PCCluster,不但能獲得極強(qiáng)的可用性、可擴(kuò)展性和可管理性,同時(shí)能大大降低成本,性價(jià)比遠(yuǎn)遠(yuǎn)優(yōu)于昂貴的大型機(jī)系統(tǒng)。據(jù)測算,相同運(yùn)算能力下,Cluster投資大約需Unix并行機(jī)的1/10,而速度提高3倍以上。曙光4000L正是基于Linux平臺的PC集群高性能并行機(jī),系統(tǒng)的部分指標(biāo)達(dá)到了電信級標(biāo)準(zhǔn),能抵御8級地震的沖擊,而且提供了7項(xiàng)系統(tǒng)監(jiān)控功能,使系統(tǒng)的可靠性達(dá)到了新的高度,是密集型科學(xué)計(jì)算領(lǐng)域矚目的焦點(diǎn)。

隨著國內(nèi)外石油勘探技術(shù)的快速發(fā)展,人們往往把模擬退火靜校正、DMO、SCD、SCAC、SMA、PSDM、PSTM納入常規(guī)處理流程。許多新算法如疊前偏移的出現(xiàn)和普遍應(yīng)用,也使得地震數(shù)據(jù)處理需要消耗更多寶貴的CPU資源。這都是低主頻、小內(nèi)存的Unix并行機(jī)所難以實(shí)現(xiàn)的,而PCCluster正好適合于這種密集型的科學(xué)計(jì)算?；贚INUX平臺的曙光4000L作為IDC數(shù)據(jù)處理主機(jī),系統(tǒng)最大可”在線”擴(kuò)展到80個機(jī)柜,1300個CPU,每秒6.75萬億次峰值速度,4000G內(nèi)存,600T存儲的海量處理系統(tǒng)。

另外,基于Linux平臺的PC高性能專業(yè)圖形工作站也是解決地震數(shù)據(jù)交互處理的有效方案,與PCCluster一起構(gòu)成地震數(shù)據(jù)處理與解釋一體化系統(tǒng)的實(shí)用方案。曙光,找油之途一路鶯歌

早在1997年,曙光天潮1000A落戶遼河油田,一舉打破了國外高性能計(jì)算機(jī)一統(tǒng)河山的局面,實(shí)現(xiàn)了國產(chǎn)高性能服務(wù)器商品化零的突破。隨后的兩年里,曙光高性能計(jì)算機(jī)在國內(nèi)石油領(lǐng)域攻城破掠池,不斷取得市場突破。,曙光1700服務(wù)器和以色列帕拉代姆公司地震處理軟件攜手進(jìn)入東方地球物理公司效力。中石化南京物探采用曙光超級計(jì)算機(jī),并在”中石化系統(tǒng)地質(zhì)勘探比武”榮獲第一。同年6月,中國石油集團(tuán)東方物探采購具備4.2萬億次計(jì)算能力的曙光4000L超級計(jì)算機(jī),使東方物探公司成為國內(nèi)商業(yè)領(lǐng)域計(jì)算機(jī)應(yīng)用規(guī)模最大、運(yùn)算速度最快、處理能力最強(qiáng)的超級計(jì)算機(jī)用戶。

,曙光在海洋石油勘探領(lǐng)域再次取得新的突破,在湛江和天津兩地為中海油成功構(gòu)建了兩大地震數(shù)據(jù)處理中心。截止到當(dāng)前,中石油、中石化和中海油三大石化巨頭共采購曙光超級服務(wù)器的計(jì)算力總和已經(jīng)超過10萬億次每秒。

據(jù)國際能源署預(yù)測,中國原油進(jìn)口將達(dá)1.2億噸,成為世界上繼美國之后第二大石油消費(fèi)國。能源短缺已經(jīng)成為制約中國經(jīng)濟(jì)發(fā)展的瓶頸。隨著一些陸上油田進(jìn)入枯竭期,海洋石油正快速發(fā)展,第11個五年計(jì)劃期間,中國原油產(chǎn)量中的增量部分將主要來自海上石油。中國是一個海洋大國,擁有大陸海岸線18000多公里,島嶼岸線達(dá)14000多公里,”藍(lán)色國土”面積約為300多萬平方公里。這既為中國海洋石油工業(yè)的生存發(fā)展與創(chuàng)造無限可能提供了一個遼闊空間,同時(shí)也為高性能計(jì)算機(jī)的應(yīng)用營造了一個神奇而壯闊的舞臺。

石油地震資料處理系統(tǒng)解決方案摘要:曙光公司根據(jù)其多年從事高性能計(jì)算機(jī)研究、生產(chǎn)和服務(wù)于石油行業(yè)特別是地震資料處理的經(jīng)驗(yàn),推出了基于曙光4000超級計(jì)算機(jī)的石油地震資料處理系統(tǒng)解決方案。該解決方案結(jié)合高性能計(jì)算機(jī)和地震資料處理的特點(diǎn),充分的考慮了整個系統(tǒng)的可靠性,有效地緩解了系統(tǒng)瓶頸,合理地分配系統(tǒng)資源,確保了整個系統(tǒng)高效、穩(wěn)定、連續(xù)的運(yùn)行。同時(shí)又充分考慮了整個系統(tǒng)今后的擴(kuò)容、升級,切實(shí)地保護(hù)用戶的投資。

關(guān)鍵字:Paradiam、石油地震資料、集群、石油勘探

1方案構(gòu)成

1.1.地震資料處理軟件

地震資料處理類軟件較多,當(dāng)前采用較多的有以色列Paradigm公司的Paradigm軟件的GEO疊前深度偏移系統(tǒng)Geodepth、西方地球物理公司的OMEGA處理軟件、ADS的炮域波動方程系統(tǒng)VIEWS、CGG公司的Geovector系統(tǒng)、Landmark公司的PROMAX處理系統(tǒng)、PGS的CM地震處理系統(tǒng)、ScreenSeis并行地震處理系統(tǒng)等等。

這一類軟件有一個共同的特征是:文件IO量巨大,其輸入輸出文件一般都是以T作為計(jì)算單位,IO系統(tǒng)的性能嚴(yán)重影響著整個系統(tǒng)的性能。因此,地震資料處理系統(tǒng)要求有巨大、高效的存儲系統(tǒng)。其次,它對計(jì)算性能也有一定的要求,特別是浮點(diǎn)處理能力。

1.2.曙光400032位集群方案

整個系統(tǒng)采用當(dāng)前流行的Linux集群系統(tǒng),主要包括節(jié)點(diǎn)機(jī)、網(wǎng)絡(luò)、存儲系統(tǒng)、管理和監(jiān)控系統(tǒng)、機(jī)柜和電源系統(tǒng)、集群軟件和并行軟件。

圖1:整體結(jié)構(gòu)圖1.2.1.節(jié)點(diǎn)機(jī)

節(jié)點(diǎn)機(jī)主要包括三類節(jié)點(diǎn):計(jì)算節(jié)點(diǎn)、管理/登入節(jié)點(diǎn)、IO節(jié)點(diǎn)。其中:

計(jì)算節(jié)點(diǎn)

主要用于完成計(jì)算,擔(dān)負(fù)著完成地震資料處理的巨大的計(jì)算任務(wù)。例如采用炮域波動方程的方法完成疊前深度偏移時(shí),計(jì)算節(jié)點(diǎn)主要任務(wù)是完成求解炮域波動方程。這就要求計(jì)算節(jié)點(diǎn):

有很強(qiáng)的計(jì)算能力,特別是浮點(diǎn)運(yùn)算能力。

有適量的內(nèi)存以能容納求解方程時(shí)所有的數(shù)據(jù)和程序,一旦內(nèi)存空間不夠使用系統(tǒng)緩存,這將極大的影響系統(tǒng)性能;但同時(shí)沒有必要內(nèi)存空間過大,經(jīng)測試表明,一般情況下每個CPU配置1GB內(nèi)存為最佳。

有很好的通訊網(wǎng)絡(luò),以便保證在作并行計(jì)算時(shí)計(jì)算節(jié)點(diǎn)間通訊的帶寬和延遲。

由于計(jì)算節(jié)點(diǎn)的任務(wù)主要是計(jì)算,對IO要求并不高,所有沒有必要有很強(qiáng)的IO擴(kuò)展能力。同時(shí),在一套集群系統(tǒng)中,計(jì)算節(jié)點(diǎn)眾多,因此采用高密節(jié)點(diǎn)機(jī)為佳,一般都采用1U、2U節(jié)點(diǎn)機(jī)。

綜合以上分析,在地震資料處理系統(tǒng),我們一般采用天闊R210XP或者R210XV作為計(jì)算節(jié)點(diǎn),配置兩顆IntelXeonCPU,每個節(jié)點(diǎn)2GB內(nèi)存,計(jì)算網(wǎng)絡(luò)一般采用千兆以太網(wǎng)。

IO節(jié)點(diǎn)

IO節(jié)點(diǎn)與存儲設(shè)備、NFS文件系統(tǒng)、HA軟件等組成存儲系統(tǒng)。IO節(jié)點(diǎn)作為NFS文件系統(tǒng)主節(jié)點(diǎn),外掛磁盤陣列或者連接其它存儲設(shè)備,負(fù)責(zé)文件的I/O操作。其它節(jié)點(diǎn)包括計(jì)算節(jié)點(diǎn)和管理登入節(jié)點(diǎn)的訪問存儲設(shè)備的請求都要經(jīng)過I/O節(jié)點(diǎn)完成。IO節(jié)點(diǎn)有如下特點(diǎn):

有豐富的外設(shè),如光驅(qū)、軟驅(qū)、USB口等等

一般需要外接一些IO設(shè)備和插一些IO擴(kuò)展卡,因此要求節(jié)點(diǎn)機(jī)較強(qiáng)的IO可擴(kuò)展性,要求節(jié)點(diǎn)機(jī)有較大的空間,一般都采用2U、4U甚至空間更大的節(jié)點(diǎn)機(jī)

對性能有較高的要求,系統(tǒng)中所有節(jié)點(diǎn)的IO操作都需要經(jīng)過IO節(jié)點(diǎn),因此一定要保證IO節(jié)點(diǎn)的性能

有較大的內(nèi)存,大內(nèi)存有利于IO操作性能的提供

一般需要安裝高可用軟件,IO節(jié)點(diǎn)一般是系統(tǒng)的單一故障點(diǎn),因此能夠經(jīng)過高可用系統(tǒng)消除這一單一故障點(diǎn)

由于IO節(jié)點(diǎn)和存儲系統(tǒng)密切相關(guān),因此IO節(jié)點(diǎn)將在后面存儲系統(tǒng)中詳細(xì)討論。

管理/登陸節(jié)點(diǎn)

管理/登入節(jié)點(diǎn)是外部設(shè)備和集群系統(tǒng)之間連接的橋梁,任何用戶和系統(tǒng)的管理員都只能經(jīng)過管理/登入節(jié)點(diǎn)才可能登陸到節(jié)點(diǎn)機(jī)子系統(tǒng)上,事實(shí)上,管理/登入節(jié)點(diǎn)是一個多種身份于一身的節(jié)點(diǎn),它主要由以下幾項(xiàng)功能:

閱至此處

登入:它是用戶登陸整個系統(tǒng)的第一道設(shè)備,用戶在經(jīng)過系統(tǒng)的防火墻以后就能夠登陸到管理節(jié)點(diǎn),由此用戶能夠遠(yuǎn)程連接到計(jì)算節(jié)點(diǎn)上進(jìn)行運(yùn)算,用戶也能夠直接經(jīng)過管理節(jié)點(diǎn)提交計(jì)算任務(wù),總之用戶必須經(jīng)過管理節(jié)點(diǎn)對整個集群系統(tǒng)進(jìn)行操作,它為整個系統(tǒng)提供了一個更加安全的設(shè)備保障。

管理:在這個節(jié)點(diǎn)上安裝絕大多數(shù)的曙光集群管理系統(tǒng)軟件,系統(tǒng)管理員能夠經(jīng)過在管理節(jié)點(diǎn)上的圖形界面對整個集群進(jìn)行有效的管理。

作業(yè)遞交:在這里安裝了曙光作業(yè)調(diào)度系統(tǒng),用戶能夠在這個節(jié)點(diǎn)上提交并行任務(wù)。

上述身份對管理/登入節(jié)點(diǎn)有如下要求:

對性能要求不高。管理/登入節(jié)點(diǎn)雖然身兼數(shù)職,但每一項(xiàng)任務(wù)對節(jié)點(diǎn)機(jī)的性能沒有過高的要求。

管理/登入節(jié)點(diǎn)安裝了很多軟件,包括集群管理監(jiān)控、作業(yè)調(diào)度系統(tǒng)、防火墻等等,因此與計(jì)算節(jié)點(diǎn)相比,它需要連接一些外部設(shè)備、一定的存儲空間。

需要多塊網(wǎng)卡。管理/登入節(jié)點(diǎn)不但要和集群內(nèi)部網(wǎng)絡(luò)相連,同時(shí)還必須和外部網(wǎng)絡(luò)連接,因此相比與其它節(jié)點(diǎn),管理/登入節(jié)點(diǎn)需要增加一塊與外部網(wǎng)絡(luò)相連的網(wǎng)卡。

總的來說,系統(tǒng)對管理/登入節(jié)點(diǎn)要求不高,只要采用相對經(jīng)濟(jì)的配置就能夠了,但必須保持和計(jì)算節(jié)點(diǎn)、IO節(jié)點(diǎn)同構(gòu)。

1.2.2.網(wǎng)絡(luò)

網(wǎng)絡(luò)的設(shè)計(jì)是系統(tǒng)中很重要的一部分,網(wǎng)絡(luò)系統(tǒng)特別是計(jì)算網(wǎng)絡(luò)的性能很大程度上影響著整個系統(tǒng)的性能。本方案的網(wǎng)絡(luò)系統(tǒng)的設(shè)計(jì)從性能和可靠兩個原則出發(fā),采用兩套網(wǎng)絡(luò)實(shí)現(xiàn)方式。實(shí)現(xiàn)雙網(wǎng)分離、專網(wǎng)專用、相互備份,達(dá)到系統(tǒng)的高性能和高可靠性。

由于并行計(jì)算時(shí)的數(shù)據(jù)通訊和NFS文件系統(tǒng)的數(shù)據(jù)傳遞對網(wǎng)絡(luò)的要求較高,為了管理、監(jiān)控等操作不對計(jì)算通訊和文件IO操作產(chǎn)生任何干擾,本方案設(shè)計(jì)了兩套網(wǎng)絡(luò)系統(tǒng),實(shí)現(xiàn)雙網(wǎng)分離、專網(wǎng)專用,保證了系統(tǒng)的高效性。同時(shí),兩套網(wǎng)絡(luò)又起著相互備份的功能,當(dāng)其中一套網(wǎng)絡(luò)由于某種故障癱瘓時(shí),另一套網(wǎng)絡(luò)就會擔(dān)負(fù)起其功能,雖然會在一定程度上影響到系統(tǒng)性能,但卻能保證系統(tǒng)在某一套網(wǎng)絡(luò)癱瘓時(shí)正常運(yùn)行,提高了系統(tǒng)的可靠性。

兩套網(wǎng)絡(luò)包括計(jì)算網(wǎng)絡(luò)和管理網(wǎng)絡(luò)。其中計(jì)算網(wǎng)絡(luò)采用千兆以太網(wǎng),管理網(wǎng)絡(luò)為百兆以太網(wǎng),如圖:閱至此處

圖2:網(wǎng)絡(luò)結(jié)構(gòu)圖

在作地震資料處理時(shí),計(jì)算網(wǎng)絡(luò)主要擔(dān)負(fù)著并行計(jì)算時(shí)的數(shù)據(jù)通訊和NFS文件系統(tǒng)的數(shù)據(jù)傳遞。并行計(jì)算時(shí)的數(shù)據(jù)通訊主要是求解方程組時(shí)各個計(jì)算節(jié)點(diǎn)間的數(shù)據(jù)交換;這種數(shù)據(jù)交換主要是發(fā)生在計(jì)算節(jié)點(diǎn)之間,每次交換的數(shù)據(jù)相對不是很大,但交換的次數(shù)較為頻繁。NFS文件系統(tǒng)的數(shù)據(jù)傳遞主要是讀寫數(shù)據(jù)文件和其它文件;這種網(wǎng)絡(luò)通訊主要發(fā)生在計(jì)算節(jié)點(diǎn)和IO節(jié)點(diǎn)之間,計(jì)算節(jié)點(diǎn)經(jīng)過IO節(jié)點(diǎn)讀寫存儲設(shè)備;其特點(diǎn)是網(wǎng)絡(luò)通訊并不頻繁,一般發(fā)生在程序運(yùn)行的開始、結(jié)束以及中間特定的時(shí)間,可是每次通訊的數(shù)據(jù)量很大,因此對網(wǎng)絡(luò)的帶寬要求較高。

根據(jù)計(jì)算網(wǎng)絡(luò)這樣一些特點(diǎn),本方案采用千兆以太網(wǎng)作為計(jì)算網(wǎng)絡(luò),其優(yōu)越的性能足以在地震資料處理系統(tǒng)中擔(dān)負(fù)起計(jì)算網(wǎng)絡(luò)的角色。同時(shí),其相對于其它專用高速網(wǎng)絡(luò)更為便宜的價(jià)格以及方便的安裝維護(hù),通用的接口,具有極高的性價(jià)比。

管理網(wǎng)絡(luò)主要用于系統(tǒng)管理、監(jiān)控、登入等,這些操作對網(wǎng)絡(luò)性能沒有較高的要求,因此在本系統(tǒng)采用經(jīng)濟(jì)的百兆以太網(wǎng)作為管理網(wǎng)絡(luò)。

1.2.3.存儲系統(tǒng)

存儲系統(tǒng)由IO節(jié)點(diǎn)、存儲設(shè)備、NFS文件系統(tǒng)、HA軟件等組成。存儲設(shè)備能夠是DAS,也能夠是SAN。

下圖是采用DAS方式的存儲系統(tǒng)結(jié)構(gòu)圖:

圖3:DAS存儲系統(tǒng)結(jié)構(gòu)圖

下圖是采用SAN方式的存儲系統(tǒng)結(jié)構(gòu)圖:

圖4:SAN存儲系統(tǒng)結(jié)構(gòu)圖

在作地震資料處理時(shí),所有計(jì)算節(jié)點(diǎn)都經(jīng)過IO節(jié)點(diǎn)從存儲設(shè)備上讀寫數(shù)據(jù)文件,此時(shí),IO節(jié)點(diǎn)和存儲設(shè)備就成為系統(tǒng)的瓶頸,特別是與IO相連的網(wǎng)絡(luò)。千兆以太網(wǎng)的理論傳輸速度為1000Mbps,NFS系統(tǒng)在千兆以太網(wǎng)上最大傳輸速度在110MB/s左右,也就是說所有的計(jì)算節(jié)點(diǎn)此時(shí)分享110MB/s的帶寬。為了緩解NFS文件系統(tǒng)的數(shù)據(jù)傳遞時(shí),IO節(jié)點(diǎn)網(wǎng)絡(luò)的瓶頸,本方案在IO節(jié)點(diǎn)上,對于計(jì)算網(wǎng),采用了雙千兆網(wǎng)卡或者三千兆網(wǎng)卡綁定的方法,提高IO節(jié)點(diǎn)網(wǎng)絡(luò)連接帶寬。下表是千兆以太網(wǎng)在采用雙網(wǎng)卡/網(wǎng)卡綁定時(shí)的性能:

表1:千兆以太網(wǎng)卡性能表

從上表能夠看出,在IO節(jié)點(diǎn)上配置雙網(wǎng)卡綁定或者多網(wǎng)卡綁定,有利于提高IO節(jié)點(diǎn)的網(wǎng)絡(luò)傳輸帶寬,從而更好地提高整個系統(tǒng)的性能。而由于雙網(wǎng)卡綁定會使得計(jì)算機(jī)的網(wǎng)絡(luò)傳輸延遲變長,這不利于計(jì)算節(jié)點(diǎn)之間的頻繁的網(wǎng)絡(luò)通信,因此不建議計(jì)算節(jié)點(diǎn)采用雙網(wǎng)卡綁定的方式。

IO節(jié)點(diǎn)是系統(tǒng)中的單一故障點(diǎn),一旦其癱瘓,整個系統(tǒng)將無法運(yùn)行。為了消除這一單一故障點(diǎn),本方案采用了高可用(HA)方式。經(jīng)過曙光高可用軟件(DHA)實(shí)現(xiàn)兩個IO節(jié)點(diǎn)的高可用。平時(shí)只有一個IO節(jié)點(diǎn)工作,當(dāng)工作的IO節(jié)點(diǎn)由于意外情況發(fā)生故障時(shí),另一個IO節(jié)點(diǎn)自動接替工作,并向系統(tǒng)管理員報(bào)告。這一接替過程自動完成,對于管理員和應(yīng)用軟件完全透明。

1.2.4.集群操作系統(tǒng)

集群操作系統(tǒng)位于節(jié)點(diǎn)操作系統(tǒng)之上應(yīng)用軟件之下。經(jīng)過集群操作系統(tǒng),實(shí)現(xiàn)了集群系統(tǒng)單一系統(tǒng)映象,使得整個集群系統(tǒng)便于管理、使用和維護(hù)。

集群操作系統(tǒng)在真?zhèn)€系統(tǒng)中的位置

不同的應(yīng)用系統(tǒng)對于集群操作系統(tǒng)有不同的要求。對于地震資料處理系統(tǒng)來說,主要需要集群操作系統(tǒng)中集群管理、集群監(jiān)控、作業(yè)調(diào)度和并行環(huán)境等功能。本方案中,包括曙光集群管理系統(tǒng)(DCMS)、曙光集群監(jiān)控系統(tǒng)(DCMM)、曙光集群部署系統(tǒng)(DCIS)、并行命令系統(tǒng)(MTERM)、作業(yè)調(diào)度系統(tǒng)PBS和并行環(huán)境MPICH。

1.2.5.管理和監(jiān)控系統(tǒng)

管理和監(jiān)控系統(tǒng)包括SKVM網(wǎng)絡(luò)、I2C硬件監(jiān)控網(wǎng)絡(luò)、監(jiān)控臺、監(jiān)控機(jī)、管理監(jiān)控軟件等。其中SKVM能夠?qū)崿F(xiàn)遠(yuǎn)程的多節(jié)點(diǎn)同時(shí)本地控制;硬件監(jiān)控系統(tǒng)能夠?qū)崿F(xiàn)對集群中所有節(jié)點(diǎn)的實(shí)時(shí)監(jiān)控;

1.3.曙光400064位集群方案

1.3.1.方案背景

到當(dāng)前為止,在計(jì)算機(jī)行業(yè)中已經(jīng)大量出現(xiàn)了基于64位架構(gòu)的計(jì)算機(jī)系統(tǒng),而在服務(wù)器領(lǐng)域,當(dāng)前也基本上實(shí)現(xiàn)了從32位服務(wù)器到64位服務(wù)器的過渡。而在石油地震資料處理系統(tǒng)這種應(yīng)用中,過去采用64位服務(wù)器系統(tǒng)的還非常的少,原因主要在于:

1．石油地震資料處理系統(tǒng)是一套完整龐大的應(yīng)用系統(tǒng)。它涉及到計(jì)算、前處理、后處理、網(wǎng)絡(luò)、存儲、備份以及資料加工等等的一整套解決方案,64位服務(wù)器系統(tǒng)在其上的應(yīng)用還沒有完全被切換過來。

2．石油地震資料處理軟件一般規(guī)模龐大,開發(fā)周期長,實(shí)現(xiàn)64位過渡較慢。

3．64位服務(wù)器應(yīng)用在石油地震資料處理系統(tǒng)中的應(yīng)用性能還沒有得到大量的測試依據(jù)。

4．石油領(lǐng)域最核心的地震疊前偏移處理軟件模塊還沒有被切換到64位上。

當(dāng)前,Paradiam公司、東方地球物理公司、曙光公司等多家國際國內(nèi)權(quán)威機(jī)構(gòu)正在極力地推動石油地震資料處理系統(tǒng)32位系統(tǒng)向64位系統(tǒng)的切換。Paradiam公司專門開發(fā)出針對曙光最新的Opteron64位處理器的疊前時(shí)間偏移模塊Epos3.0,用來代替過去運(yùn)行在32位平臺上的PG2.0疊前時(shí)間偏移模塊。針對這個最新的模塊,曙光公司聯(lián)合Paradiam公司和東方地球物理公司共同進(jìn)行實(shí)際的測試,測試的環(huán)境參見(附件1)。

1.3.2.64位疊前時(shí)間偏移模塊Epos3.0在曙光64位集群上的測試

5月,地球物理勘探局研究院處理中心組織帕拉代姆地球物理公司北京辦事處和曙光計(jì)算機(jī)公司對處理中心新采購的AMD64位架構(gòu)PC機(jī)群和老的INTEL32位架構(gòu)PC機(jī)群進(jìn)行了偏移效率對比測試。本次測試的目的一是要驗(yàn)證AMD64位架構(gòu)PC機(jī)群的偏移效率,獲得具體的偏移效率數(shù)據(jù),二是獲得優(yōu)化AMD64位架構(gòu)PC機(jī)群的經(jīng)驗(yàn)。經(jīng)過這次測試,我們主要得出了如下幾點(diǎn)結(jié)論:

基于64位操作系統(tǒng)開發(fā)的Epos3.0軟件(疊前時(shí)間偏移)在AMD64位PC機(jī)群上的偏移效率是32位PG2.0在INTEL32位機(jī)群的5－7倍。如果單純考慮AMD64位和INTEL32位的影響(應(yīng)當(dāng)在2倍左右),那么,采用64位編譯的Epos3.0應(yīng)當(dāng)比32位編譯的PG2.0快3－4倍。下表是兩種對比環(huán)境(附件1)下的運(yùn)行結(jié)果,時(shí)間越短性能越好:

經(jīng)過當(dāng)前已經(jīng)完成的測試,能夠看出:Epos3.0運(yùn)行在32個節(jié)點(diǎn)一下,其偏移效率是線性提高,即:32個節(jié)點(diǎn)是16個節(jié)點(diǎn)的2倍速度。能夠預(yù)見,當(dāng)節(jié)點(diǎn)數(shù)提高到64,128甚至256以后,整個系統(tǒng)依然能夠獲得較高的性能加速比。

經(jīng)過前面的測試結(jié)果能夠清楚地看到,采用最新的Epos3.0疊前時(shí)間偏移模塊,配合曙光公司提供的64位的集群系統(tǒng),能夠使得整個系統(tǒng)的性能提高到過去32位系統(tǒng)應(yīng)用方案7－8倍的性能,如此優(yōu)異的測試結(jié)果無疑將更好地將64位集群系統(tǒng)推向石油地震資料處理領(lǐng)域。

1.3.3.曙光針對Epos3.0提供的高性能集群系統(tǒng)

節(jié)點(diǎn)機(jī)

針對Epos系統(tǒng)對集群系統(tǒng)節(jié)點(diǎn)機(jī)的需求,曙光公司適時(shí)地推出最新的1UOpteron64位節(jié)點(diǎn)機(jī)系統(tǒng)――曙光天闊R210A,它在很多特性上符合Epos3.0的應(yīng)用需求:

1U節(jié)點(diǎn)機(jī)設(shè)計(jì)。曙光天闊R210A采用密度最高的1U2P設(shè)計(jì),這樣能夠極大地降低系統(tǒng)的空間占用,一般石油領(lǐng)域?qū)Ψ?wù)器的高度有特殊的要求,采用較薄設(shè)計(jì)的結(jié)構(gòu)解決石油領(lǐng)域大量集群服務(wù)器空間占用大的問題。

采用雙路性能超強(qiáng)的AMDOpteron處理器,Epos3.0的系統(tǒng)能夠很好地運(yùn)行在該處理器上并獲得了較為深入的優(yōu)化,AMDOpteron處理器和Epos3.0的完美的和諧使得64位應(yīng)用性能盡顯無余。

支持雙核擴(kuò)展。該服務(wù)器系統(tǒng)支持處理器的雙核擴(kuò)展,這也就意味著用戶能夠經(jīng)過更換雙核處理器來實(shí)現(xiàn)系統(tǒng)的成倍性能擴(kuò)展。

支持曙光公司32位集群方案種的所有應(yīng)用軟件。AMDOpteron處理器采用64位系統(tǒng)兼容32位應(yīng)用的模式,能夠更好地保護(hù)用戶和研發(fā)機(jī)構(gòu)的研發(fā)投資,幫助實(shí)現(xiàn)系統(tǒng)的平滑過渡,在過去的集群方案種的所有應(yīng)用軟件和硬件系統(tǒng)都能夠直接移植到該節(jié)點(diǎn)構(gòu)成的集群系統(tǒng)中。曙光天闊R210A系統(tǒng)外觀集群管理系統(tǒng)

由于采用了基于Opteron的架構(gòu),曙光天闊R210A完全支持曙光的集群軟件和硬件系統(tǒng),包括SKVM、硬件監(jiān)控系統(tǒng)、網(wǎng)絡(luò)系統(tǒng)、DCOS(DCMM、DCMS、Mterm、DCIS)、機(jī)柜系統(tǒng)、電源系統(tǒng)等。

1.4.一個小型地震數(shù)據(jù)處理系統(tǒng)

下面是一個基于曙光4000L的小型地震數(shù)據(jù)處理系統(tǒng)解決方案。該系統(tǒng)共采用了35個節(jié)點(diǎn)(包括32個計(jì)算節(jié)點(diǎn)、2個IO節(jié)點(diǎn)和1個管理登入節(jié)點(diǎn)),存儲系統(tǒng)采用DAS方式,配置2T存儲。

本方案適用于中小型地震數(shù)據(jù)處理系統(tǒng)。

硬件配置:

節(jié)點(diǎn)機(jī):

計(jì)算節(jié)點(diǎn)

天闊R210A

32臺

詳細(xì)配置:2個AMDOpteron248CPU/2GBDDR內(nèi)存/73GBSCSI硬盤/2個千兆以太網(wǎng)網(wǎng)卡

IO節(jié)點(diǎn)

天闊R220A

2臺

詳細(xì)配置:2個AMDOpteron248CPU/4GBDDR內(nèi)存/146GBSCSI硬盤/2個千兆以太網(wǎng)網(wǎng)卡/1個百兆以太網(wǎng)網(wǎng)卡/1塊光線HBA卡

管理/登入節(jié)點(diǎn)

天闊R220A

1臺

詳細(xì)配置:2個AMDOpteron244CPU/2GBDDR內(nèi)存/73GBSCSI硬盤/2個千兆以太網(wǎng)網(wǎng)卡/1個百兆以太網(wǎng)網(wǎng)卡/1塊光線存儲卡

網(wǎng)絡(luò):

千兆以太網(wǎng)

HPProCurveSwitch2848

1臺

詳細(xì)配置:44個10/100/1000端口、4個雙功能定制端口、背板71.4mpps96Gbps

百兆以太網(wǎng)

D-LinkDES1024

1臺

詳細(xì)參數(shù):48口百兆以太網(wǎng)交換機(jī)

存儲:

磁盤陣列

DS-3140F

1臺

詳細(xì)配置:14塊146GB硬盤/雙冗余2Gb光纖控制器/4個2Gbps光纖通道FC主機(jī)接口/2個2GbpsFC-AL磁盤通道/支持RAID013510/冗余電源

管理及監(jiān)控:

視頻切換系統(tǒng)

曙光視頻切換系統(tǒng)

1套

詳細(xì)配置:1U內(nèi)置控制臺/1個USTS/35個CIM

監(jiān)控系統(tǒng)

曙光硬件監(jiān)控系統(tǒng)

1套

詳細(xì)配置:12’液晶監(jiān)控觸摸屏/硬件監(jiān)控網(wǎng)/35個硬件監(jiān)控卡

機(jī)柜及電源:

機(jī)柜曙光集群主機(jī)柜、從機(jī)柜各1套(包含布線系統(tǒng))

電源曙光集群專用電源系統(tǒng)1套

軟件配置:

曙光集群系統(tǒng)監(jiān)控軟件(DCMM)1套

曙光集群系統(tǒng)管理軟件(DCMS)1套

曙光集群系統(tǒng)部署軟件(DCIS)1套

并行命令軟件(Mterm)

1套

PBS作業(yè)調(diào)度系統(tǒng)

1套

MPICH并行系統(tǒng)

1套

曙光高可用軟件(DHA)

1套

2曙光的優(yōu)勢

2.1.技術(shù)和品牌

曙光公司是國內(nèi)最早從事研發(fā)、生產(chǎn)服務(wù)器和服務(wù)器集群的專業(yè)廠家。曙光公司依托中國科學(xué)院計(jì)算所、國家高性能計(jì)算機(jī)工程中心、國家智能計(jì)算機(jī)研究開發(fā)中心作為技術(shù)后盾。提出了”SUMA”服務(wù)器標(biāo)準(zhǔn),開發(fā)出獨(dú)具特色的集群管理技術(shù),多級監(jiān)控、單機(jī)監(jiān)控、可視化監(jiān)控管理、SKVM等技術(shù),在用戶中得到一致歡迎,并在實(shí)際生產(chǎn)中得到充分應(yīng)用,是國內(nèi)集群系統(tǒng)市場占有率最高的廠商。

2.2.國內(nèi)品牌本地化

曙光集群系統(tǒng)具有很高的性價(jià)比,不但改變了國外高性能集群在中國的高價(jià)政策,而且在實(shí)施能力、周期和后期維護(hù)費(fèi)用等方面具有極強(qiáng)的優(yōu)勢,在綜合成本上保持最低,不但僅只是初期的采購費(fèi)用,因此在國內(nèi)數(shù)次竟標(biāo)中,多次取勝。

2.3.專業(yè)化的服務(wù)

曙光公司設(shè)有為石油物探行業(yè)服務(wù)的專業(yè)隊(duì)伍,人員畢業(yè)于石油專業(yè)院校,具有多年的實(shí)際工作經(jīng)驗(yàn)。服務(wù)工程師參加過應(yīng)用軟件廠家的相關(guān)培訓(xùn),對石油應(yīng)用軟件有相當(dāng)多的經(jīng)驗(yàn),對于集群、網(wǎng)絡(luò)、存儲、石油行業(yè)應(yīng)用軟件等綜合技術(shù)的掌握大大加快了用戶集群投入實(shí)際生產(chǎn)的進(jìn)度。

此方面的優(yōu)勢在與多個石油行業(yè)用戶的合作中得到充分驗(yàn)證,保證了用戶的項(xiàng)目順利的實(shí)施。

2.4.眾多行業(yè)成功案例

曙光公司已經(jīng)在國內(nèi)外石油地震資料處理部門實(shí)施安裝了大量用于實(shí)際生產(chǎn)的集群系統(tǒng),為用戶產(chǎn)生了巨大的經(jīng)濟(jì)效益。當(dāng)前,已有幾十套曙光集群系統(tǒng)、上千顆CPU應(yīng)用于國內(nèi)外石油地震資料處理部門。具體的成功案例以及節(jié)點(diǎn)數(shù)參加(附件2)

3附件

3.1.附件1:Opteron集群和Xeon測試環(huán)境配置

Opteron集群配置:

Xeon集群配置

3.2.附件2:曙光集群系統(tǒng)石油領(lǐng)域成功案例

截止8月

3.3.附件3:方案相關(guān)編纂人員介紹

曹振南:

所學(xué)專業(yè):并行計(jì)算機(jī)系統(tǒng)應(yīng)用

工作部門:曙光公司技術(shù)支持部產(chǎn)品經(jīng)理組。

工作方向:集群產(chǎn)品產(chǎn)品經(jīng)理,集群產(chǎn)品測試和技術(shù)咨詢。

王璟:

所學(xué)專業(yè):并行計(jì)算和并行系統(tǒng)應(yīng)用

工作部門:曙光公司技術(shù)支持部深度技術(shù)支持項(xiàng)目組

工作方向:深度售前技術(shù)咨詢,售前方案制作和呈現(xiàn)

唐景濤

所學(xué)專業(yè):石油資料處理

工作部門:曙光公司高性能事業(yè)部

工作方向:石油領(lǐng)域售前售后支持,方案制作和呈現(xiàn)

AMD64位架構(gòu)服務(wù)器在石油地震勘探中的成功應(yīng)用

隨著石油工業(yè)的不斷發(fā)展和國家能源開發(fā)戰(zhàn)略轉(zhuǎn)向新、難、深領(lǐng)域,地震油氣勘探難度和復(fù)雜程度不斷增加,對地震勘探精度的要求越來越高,對石油勘探開發(fā)技術(shù)和地震勘探數(shù)據(jù)處理許多提出了新的技術(shù)需求,特別是對疊前偏移地震處理技術(shù)的發(fā)展和應(yīng)用提出了客觀要求。石油地震勘探地震資料處理也呈現(xiàn)出許多新的特點(diǎn):

(1)計(jì)算機(jī)技術(shù)的發(fā)展使疊前偏移、精確地震成像處理成為現(xiàn)實(shí)。隨著國際油價(jià)的高位震蕩,促使國內(nèi)外各個油田公司加大勘探資金的投入,以尋找新的接替儲量,拉動了數(shù)據(jù)采集和資料處理市場,越來越注重復(fù)雜構(gòu)造和深部構(gòu)造的精確成像。為了解決復(fù)雜區(qū)地質(zhì)構(gòu)造成像問題,滿足地震勘探的需求,越來越多資料需要做疊前偏移。但由于疊前偏移處理需要消耗巨大的CPU等軟硬件資源,疊前時(shí)間偏移計(jì)算量至少是疊后時(shí)間偏移的覆蓋次數(shù)倍數(shù),比如,以陸地面積為200平方公里、面元為25x25米、40次覆蓋的陸地三維地震數(shù)據(jù)為例,用1個CPU,主頻為2.4Ghz的計(jì)算機(jī),約需用1000天;用66個CPU,2.4Ghz的主頻的PCCluster做一次迭代,就需做21天,但疊前偏移是需多次迭代。如果是1000平方公里、面元為12.5x25米、80次覆蓋的海上三維地震數(shù)據(jù),用1個CPU,主頻為2.4Ghz的計(jì)算機(jī),需用35000天(約96年)。因此,長期以來我們不得不采用疊后時(shí)間偏移做為替代方法,即是能完成疊前偏移,也一直局限于試處理階段。近幾年來,由于計(jì)算機(jī)的芯片、并行化、圖形化、內(nèi)外存儲容器的容量和性能、存儲與網(wǎng)絡(luò)、外設(shè)I/O速度等計(jì)算機(jī)技術(shù)的飛速發(fā)展和硬件成本的大幅度下降,相對于昂貴的基于Unix平臺的并行機(jī),基于IA架構(gòu)Linux系統(tǒng)平臺的PCCluster高性能并行系統(tǒng)以其快速和低的軟硬件價(jià)格,更具有竟?fàn)幜?為疊前偏移處理技術(shù)的發(fā)展提供了現(xiàn)實(shí)的硬件基礎(chǔ),促進(jìn)了高性能并行計(jì)算機(jī)在石油勘探資料處理領(lǐng)域的應(yīng)用,疊前(時(shí)間和深度)偏移技術(shù)才得到了日漸廣泛的應(yīng)用,并正在全面取代疊后時(shí)間偏移技術(shù),而成為提高地震勘探精度、提高油氣勘探開發(fā)效益的重要手段。實(shí)踐證明,PCCluster是實(shí)現(xiàn)該目標(biāo)既經(jīng)濟(jì)又可行、有效的選擇。

(2)高密度采集、多波勘探技術(shù)和4D勘探技術(shù)開始應(yīng)用,數(shù)據(jù)量劇增,對存儲和網(wǎng)絡(luò)技術(shù)要求越來越高。伴隨國內(nèi)外地震勘探高、新技術(shù)的快速發(fā)展,當(dāng)前大面積三維勘探項(xiàng)目、三維連片處理項(xiàng)目越來越多,采樣間隔和道距越來越小,覆蓋次數(shù)越來越高,采集數(shù)據(jù)體越來越大。與5年以前同樣面積大小的三維勘探項(xiàng)目的數(shù)據(jù)相比,無論是每炮的道數(shù)、覆蓋次數(shù)、面元大小都發(fā)生了巨大的變化,數(shù)據(jù)量劇增了至少8倍。

(3)新時(shí)期地震勘探節(jié)奏明顯加快,地震勘探新技術(shù)、新方法的不斷發(fā)展與應(yīng)用,對計(jì)算機(jī)的速度提出更高的要求,需要有規(guī)?；挠?jì)算機(jī)資源作為保證。疊前時(shí)間和深度偏移等一系列的密集型科學(xué)計(jì)算算法和新技術(shù),都需要巨大的CPU資源,而且與五年前的三維數(shù)據(jù)處理