目錄 4 72.1中國油氣信息化發(fā)展歷程 82.1.1數(shù)據(jù)油氣的理論與發(fā)展(1999 2.2智慧油氣的特征與定義 402.2.1智慧油氣的特征 41 3大數(shù)據(jù)時代油氣數(shù)據(jù)挖掘發(fā)展趨勢 4.1智慧油氣的總體架構(gòu) 4.2智慧油氣解決方案主要功能 464.3智慧油氣的實現(xiàn)目標(biāo) 47 5.1支撐體系的總體構(gòu)成 475.2關(guān)鍵技術(shù)支撐體系概述 5.3主要方法論支撐體系概述 5.4組織及制度保障體系概述 6.1云計算平臺基礎(chǔ)架構(gòu)體系 6.1.1設(shè)計原則 6.1.2系統(tǒng)總體架構(gòu) 56.1.3虛擬化拓?fù)涞慕Y(jié)構(gòu) 6.2云計算中心虛擬化組件 6.2.2高可靠性(HA) 6.2.4動態(tài)資源分配 6.2.5分布式電源管理 6.3分布式集群存儲平臺 6.3.1方案拓?fù)鋱D 6.3.2方案描述 626.3.3存儲系統(tǒng)介紹 7.1平臺功能框架 737.1.1分布式存儲功能 737.1.2分布式計算功能 74 7.1.4數(shù)據(jù)倉庫功能 757.1.5分布式協(xié)調(diào)功能 757.1.6工作流管理功能 767.1.7維護(hù)管理功能 767.2油氣數(shù)據(jù)分析系統(tǒng)架構(gòu) 7 7.2.2對格式化數(shù)據(jù)的全文檢索合多線索加權(quán)檢索 77.2.3完善的業(yè)務(wù)分析報表系統(tǒng) 787.2.4國內(nèi)油氣存儲分布分析圖 7.2.5分析各國油氣交易形勢圖 78 7.2.7交易數(shù)據(jù)存儲管理分析系統(tǒng)架構(gòu) 797.2.8油氣大數(shù)據(jù)統(tǒng)一平臺 7.3云計算中心安全層規(guī)劃設(shè)計 927.3.1云平臺安全建設(shè)需求 7.3.2云平臺安全建設(shè)思路 7.3.3云數(shù)據(jù)中心安全系統(tǒng)總體設(shè)計 957.3.4云平臺安全防護(hù)詳細(xì)設(shè)計 7.3.5云計算數(shù)據(jù)中心備份設(shè)計 智慧油氣是在數(shù)字油氣的基礎(chǔ)上，通過實時監(jiān)測、實時數(shù)據(jù)自動開發(fā)、油氣井生產(chǎn)管理、工程技術(shù)服務(wù)、集輸儲運、生產(chǎn)保障等各業(yè)實現(xiàn)數(shù)據(jù)知識共享化、生產(chǎn)流程自動化、科研工作協(xié)同化、系統(tǒng)應(yīng)用一體化、生產(chǎn)指揮可視化和分析決策科學(xué)化，提高油氣田生產(chǎn)決策的及時性和準(zhǔn)確性，達(dá)到節(jié)約投資與運行成本的目的。將油氣生產(chǎn)的自動化與信息化相結(jié)合，將物聯(lián)網(wǎng)和云計算技術(shù)應(yīng)用到油氣生產(chǎn)流程中，通過先進(jìn)的實時傳感系統(tǒng)和網(wǎng)絡(luò)系統(tǒng)，把先進(jìn)的實時傳感設(shè)備、自動控制設(shè)備、視頻監(jiān)控設(shè)備等，部署到井下、井口、計量間、注水站、聯(lián)合站及井區(qū)廠區(qū)、集輸管網(wǎng)和車輛等位置，對油氣藏、計量間、油氣站庫、油氣水井等資產(chǎn)動態(tài)實時監(jiān)測、實時數(shù)據(jù)自動采集。通過物聯(lián)網(wǎng)實現(xiàn)各類設(shè)備、人員、井筒等的信息交換與通訊，以實現(xiàn)智能化識別、定位、跟蹤、監(jiān)控和管理。在可視化、一體化的集成運營中心和協(xié)同環(huán)境下，管理人員、科研人員根據(jù)實時信息，通過在線模擬環(huán)境，快速分析、判斷趨勢和異常，及時指導(dǎo)現(xiàn)場，自動控制和自動執(zhí)行。借助基于業(yè)務(wù)模型的知識庫和專家系統(tǒng)，以多學(xué)科協(xié)作的勘探開發(fā)綜合研究、單井動態(tài)分析、油藏評價、數(shù)值模擬等依托，輔助油氣進(jìn)行勘探部署、井位論證、開發(fā)生產(chǎn)等決策，科學(xué)的預(yù)測和決策，實現(xiàn)油氣、油氣井等相關(guān)資產(chǎn)的統(tǒng)籌經(jīng)營與管理，提高油氣田的采收率，對油氣進(jìn)行適時的最優(yōu)開發(fā)。中國主要油田分布圖春曉氣田川南氣區(qū)3m油氣開發(fā)指標(biāo)分析和預(yù)測是油氣開發(fā)規(guī)劃、開發(fā)方案設(shè)計與決策管理的重要依據(jù)。隨著信息技術(shù)的快速發(fā)展，利用各信息系統(tǒng)所提供的數(shù)據(jù)對油氣開發(fā)進(jìn)行分析決策已經(jīng)成為實現(xiàn)油氣田生產(chǎn)經(jīng)營管理目標(biāo)的重要行為之一，信息化的管理方式已經(jīng)深入到生產(chǎn)與管理的各但是隨著油氣信息化建設(shè)模式由數(shù)字化向智能化轉(zhuǎn)變，為解決單項需求和部門應(yīng)用，越來越多各自獨立的子系統(tǒng)建成并投入使用，存在的問題也逐漸暴露出來：1、大量重復(fù)功能及兼容性問題造成資源浪費、管理復(fù)雜低效、信息傳遞沖突不暢。2、各系統(tǒng)內(nèi)的數(shù)據(jù)彼此獨立，互不關(guān)聯(lián)，形成信息孤島，數(shù)據(jù)3、生產(chǎn)數(shù)據(jù)量和數(shù)據(jù)類型復(fù)雜度不斷增大，實時數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)不斷增多，傳統(tǒng)數(shù)據(jù)庫或數(shù)據(jù)存儲方式已不能滿足今后發(fā)展需求。4、面對日趨復(fù)雜的海量生產(chǎn)數(shù)據(jù)，傳統(tǒng)分析方式已經(jīng)顯得力不從心，制約了油氣生產(chǎn)的分析決策水平。針對以上問題，我們需要建立一個基于大數(shù)據(jù)的油氣生產(chǎn)挖掘平臺，將油氣現(xiàn)有、在建及未來將建的生產(chǎn)、經(jīng)營等各類信息系統(tǒng)進(jìn)行統(tǒng)一整合。通過整合，改變現(xiàn)有單一專業(yè)縱向生產(chǎn)管理和研究模式，使管理人員、研究人員和技術(shù)人員能夠輕松獲取和共享來自油氣不同專業(yè)的數(shù)據(jù)。在豐富的數(shù)據(jù)基礎(chǔ)上，不僅可以開展油氣研究、進(jìn)行生產(chǎn)分析、還可以實時獲取現(xiàn)場生產(chǎn)數(shù)據(jù)、監(jiān)控生產(chǎn)運行狀態(tài)，更好的管理和經(jīng)營油氣。2智慧發(fā)展現(xiàn)狀智慧油氣田是油氣企業(yè)技術(shù)發(fā)展的趨勢。信息技術(shù)對企業(yè)的作用越來越顯著。智慧油氣的概念最早可追朔到1991年，在《Oil&GasJournal》雜志上就出現(xiàn)了智慧油氣(SmartField)詞匯和論述。2005年，IBM與挪威國家石油公司展開智慧油氣項目合作。根據(jù)“智慧油氣(SmartField)”的發(fā)展歷程，我們可以得出這樣的結(jié)論：實際上“智慧油氣”的概念的提出與發(fā)展更早于“智慧地球”概念的提出，或者說“智慧地球”的概念是IBM在“數(shù)據(jù)地球”的基礎(chǔ)上，并在總結(jié)“智慧油氣”的理論與實踐的基礎(chǔ)上，提出的一整套全球化的概念，然后在又從“智慧地球”→“智慧城市”→“智慧油氣”反過來推動了“智慧油氣”蓬勃發(fā)展。也可以說這是IBM全球營銷的一種商業(yè)運作手段，也就是說：企由于國際上“智慧油氣”概念的提出(1991)更早于中國“數(shù)據(jù)油氣”概念的提出(1999),而中國直到2010年才提出智慧油氣的概念，所以筆者把中國智慧油氣的發(fā)展和國際智慧油氣的發(fā)展分開敘述，2.1中國油氣信息化發(fā)展歷程目前，國際先進(jìn)石油石化行業(yè)信息化進(jìn)程進(jìn)入智慧化階段，但中慧化起步階段，與國際先進(jìn)水平相比還存在較大差距(如下圖所示)國際石油石化行業(yè)信息化進(jìn)程—國際石油石化行業(yè)信息化進(jìn)程—進(jìn)入智能化階段智能化價值延伸；頂層管理者利用公司知識資產(chǎn)作出正確決策企業(yè)已經(jīng)建設(shè)了一電子化計算機(jī)網(wǎng)絡(luò)興起，中國實際上只處在集成化階段都有一次大的飛躍。①第一階段，小型機(jī)與記錄儀時代(1950-1979):在20世紀(jì)50年代至70年代，引進(jìn)二維地震數(shù)據(jù)處理解釋技術(shù)，年代達(dá)到頂峰。第二階段，微型機(jī)與局域網(wǎng)時代(1980-1995):80年代中期，工作站產(chǎn)生了革命替逐漸替代了小型機(jī)作為地震解釋的主要機(jī)型。80年代后期到90年代初，3D地震成為主導(dǎo)，但是仍為在生產(chǎn)管理與經(jīng)營管理方面：80年代中期，引進(jìn)了微信機(jī)(如蘋果、TRS-80、IBM-XT等),主要用在生產(chǎn)管理(報表編制)和財務(wù)電算化方面(單機(jī)版),危機(jī)的操作系統(tǒng)主要是DOS。1989年10月根據(jù)當(dāng)時中國石油天然氣總公司(以下簡稱總公司)440號文件精神，在北京成立了《油氣勘探、開發(fā)、鉆井?dāng)?shù)據(jù)庫總體90年代初期，局域網(wǎng)興起，各油氣開始組建信息中心(當(dāng)時形成了管理局和采油廠兩級信息中心),建立油氣內(nèi)部各單位的局域網(wǎng)以及采油廠與管理局的城域網(wǎng)。當(dāng)時的網(wǎng)絡(luò)操作系統(tǒng)主要是NOVELL網(wǎng)操作系統(tǒng)(主要功能是文件共享)UNIX網(wǎng)絡(luò)操作系統(tǒng)。經(jīng)過近3年的努力，于1991年8月發(fā)布了第一版(91版)中國1992年全國各油氣根據(jù)總公司的《油氣勘探、開發(fā)數(shù)據(jù)庫字典》開始細(xì)化擴(kuò)展各自油氣的勘探、開發(fā)數(shù)據(jù)庫邏輯結(jié)構(gòu)設(shè)計，并形成各油氣自己的《油氣勘探、開發(fā)、鉆井?dāng)?shù)據(jù)庫邏輯字典》1993年，總公司根據(jù)各油氣的反饋，對91版數(shù)據(jù)字典進(jìn)行了修訂，發(fā)布了第二版(93版)中國石油天然氣總公司《油氣勘探、開發(fā)、鉆井?dāng)?shù)據(jù)庫邏輯字典》。93版后來基本成為全國各油氣普遍使用的數(shù)據(jù)標(biāo)準(zhǔn)。在90年代初、中起，各油氣單機(jī)版的應(yīng)用軟件(如油氣開發(fā)生產(chǎn)管理軟件、財務(wù)電算化軟件等)開發(fā)也漸入佳勁，形成了油氣信息化的第一次高潮。1995年，WINDOWS95視窗操作系統(tǒng)開始推出，個人電腦操作系統(tǒng)從DOS時代進(jìn)入了WINDOWS時代，個人電腦的應(yīng)用也進(jìn)入了一個嶄新的時代。③第三階段，互聯(lián)網(wǎng)及群雄并起時代(1996-1999):1996年，互聯(lián)網(wǎng)開始在各油氣普及，各油氣紛紛接入互聯(lián)網(wǎng)，主要出口是通過512K帶寬接入中國石油天然氣總公司總部，再由總公司統(tǒng)一出口進(jìn)入Internet網(wǎng)絡(luò)。隨后各油氣又從本地建立了更高速的互聯(lián)網(wǎng)出口(如10M,100M)。1997年，中國石油天然氣總公司又對93版字?jǐn)?shù)據(jù)字典進(jìn)行了修訂，發(fā)布了發(fā)布了第三版(97版)中國石油天然氣總公司《油氣勘探、開發(fā)數(shù)據(jù)庫邏輯字典》。97版數(shù)據(jù)字典在全國各油氣并沒有得到普遍的使用。1999年10月中國石油行業(yè)重組，形成了中國石油，中國石化，中國海油三大石油公司的格局，其中中國石油和中國石化形成了上下游一體化的互相競爭局面，勝利油氣等劃入中石化。同時，無線網(wǎng)絡(luò)開始興起，由于各油氣基層采油廠礦都是地處偏僻野外，無線網(wǎng)技術(shù)比較適合基層單位的網(wǎng)絡(luò)接入(如大港油氣采油三廠1996年建成了覆蓋各采油礦、隊的無線網(wǎng)絡(luò)，1998年通過無線網(wǎng)技術(shù)建成了采油三廠、采油二廠到管理局的城域網(wǎng))。這個時期，信息化建設(shè)屬于群雄并起的時代，各油氣紛紛把單機(jī)版的應(yīng)用軟件改造升級為網(wǎng)絡(luò)版應(yīng)用(Intranet)。興起了油氣信息化的第二次高潮。④第四階段，互聯(lián)網(wǎng)及集中統(tǒng)一時代(2000-2009):2000年中國石油股份公司編制了《“十五”IT戰(zhàn)略規(guī)劃》,開創(chuàng)了中國國企信息戰(zhàn)略規(guī)劃編制的先河，提出了6統(tǒng)一的信息化原則(“統(tǒng)一規(guī)劃、統(tǒng)一標(biāo)準(zhǔn)、統(tǒng)一設(shè)計、統(tǒng)一投資、統(tǒng)一建設(shè)、統(tǒng)一管理”)。從此，中國石油進(jìn)入的信息化大集中大統(tǒng)一的時代，也引領(lǐng)了中國國企信息化大集中大統(tǒng)一的先河。2001年以后，中國石油統(tǒng)一的廣域網(wǎng)及其他基礎(chǔ)設(shè)施建設(shè)以及企業(yè)門戶等系統(tǒng)建設(shè)的相繼展開。同期，中國石化開始在各煉化企業(yè)推廣使用ERP(企業(yè)資源規(guī)劃)系統(tǒng)，但是沒有統(tǒng)一標(biāo)準(zhǔn)，造成了未來集團(tuán)總部集成的困難。2003年由中國石油股份公司勘探與生產(chǎn)分公司發(fā)布了第四版(2003版)中國石油《油氣勘探、開發(fā)數(shù)據(jù)庫邏輯字典》。但第四版標(biāo)準(zhǔn)還未得到推廣使用，就被后來的中國石油信息管理部從拉德馬克公司引入并改造的EPDM模型所取代。由于原先的中國石油天然氣總公司《油氣勘探、開發(fā)數(shù)據(jù)庫邏輯字典》沒有按照勘探開發(fā)一體化的思路設(shè)計，存在勘探與開發(fā)的條塊分割、數(shù)據(jù)冗余與數(shù)據(jù)不一致等問題，大大影響了勘探、開發(fā)數(shù)據(jù)共享；各油氣又根據(jù)自己的情況進(jìn)行擴(kuò)展，造成了比較混亂的局面；其并不是所有子模型都能形成以井為中心的，模型可擴(kuò)展性較差。2003年，中國石油開始編制《地球科學(xué)與鉆井系統(tǒng)》和《上游生產(chǎn)系統(tǒng)》實施方案，開始引入國外縣城軟件和國外石油數(shù)據(jù)模型。其中，大塊數(shù)據(jù)管理引入MDS數(shù)據(jù)模型，結(jié)構(gòu)化數(shù)據(jù)引入EDM數(shù)據(jù)模型，成果及文檔數(shù)據(jù)引入CDS數(shù)據(jù)模型。后來EDM數(shù)據(jù)模型在結(jié)合中國石油的實際情況后，改造成為EPDM數(shù)據(jù)模型(即勘探開發(fā)數(shù)據(jù)模型)。2005年《地球科學(xué)與鉆井系統(tǒng)》和《上游生產(chǎn)系統(tǒng)》在大慶油氣試點實施。同時，ERP及其他系統(tǒng)建設(shè)也相繼展開。2006年—2009年，《地球科學(xué)與鉆井系統(tǒng)》和《上游生產(chǎn)系統(tǒng)》在中國石油其他各油氣推廣。由于EDM模型是在參考國際石油行業(yè)標(biāo)準(zhǔn)POSC模型基礎(chǔ)上設(shè)計的一套先進(jìn)的數(shù)據(jù)模型，也是實現(xiàn)了勘探開發(fā)一體化的石油數(shù)據(jù)模型，其體系架構(gòu)具有明顯的分層結(jié)構(gòu)，層次邏輯關(guān)系非常清晰。改造后的EPDM模型繼承了EDM模型的優(yōu)點，并結(jié)合了中國石油的實際情況和應(yīng)用特點，同時向集成化的方向發(fā)展。⑤第五階段，物聯(lián)網(wǎng)與智慧化時代(2010-):物聯(lián)網(wǎng)技術(shù)的興起為生產(chǎn)現(xiàn)場智慧感知創(chuàng)造了條件，而計算智慧的應(yīng)用為智慧分析與決策提供了技術(shù)支持，開創(chuàng)了智慧化的新時代。中國石油《“十二五”IT戰(zhàn)略規(guī)劃》增加了“油氣生產(chǎn)物聯(lián)網(wǎng)”和“工程技術(shù)物聯(lián)網(wǎng)”兩個項目，為油氣智慧化奠定了基礎(chǔ)。2010年，中國首家智慧油氣項目在中國石油新疆油氣啟動，標(biāo)志著中國油氣開始進(jìn)入智慧化時代。2012年，中國石化燕山煉廠智慧煉廠項目啟動；2013年，中國石化勝利油氣智慧油氣項目啟動。2012年，中國海油提出了：促進(jìn)公司信息化工作的加快發(fā)展，推動“智慧油氣”建設(shè)目標(biāo)。發(fā)展階段發(fā)展階段發(fā)展階段提出階段①數(shù)字油氣概念的提出與發(fā)展1998年1月31日，美國副總統(tǒng)戈爾在加利福尼亞科學(xué)中心演講1999年末，國內(nèi)大慶油氣首次提出了“數(shù)字油氣”的概念，并將數(shù)字油氣作為企業(yè)發(fā)展的一個戰(zhàn)略目標(biāo)(據(jù)說是由大慶油氣信息中心王權(quán)首次提出的),很快得到全國各油氣的普遍認(rèn)同。設(shè)更好地服務(wù)于企業(yè)生產(chǎn)和管理，為油氣田企業(yè)的發(fā)展創(chuàng)造良好的信息支撐環(huán)境。新疆油氣對數(shù)組有油氣的定義：數(shù)字油氣以油氣實體為對象，以地理空間坐標(biāo)為依據(jù)，通過海量存儲和異構(gòu)數(shù)據(jù)的融合，用多媒體和虛擬現(xiàn)實技術(shù)實現(xiàn)油氣地上地下的多維空間表達(dá)。空間化、數(shù)字化、網(wǎng)絡(luò)化和可視化是數(shù)字油氣的基本特征。這一概念將油氣當(dāng)作一個整體進(jìn)行信息化管理，強(qiáng)調(diào)信息化整體的一致性和業(yè)務(wù)板塊的協(xié)調(diào)性，是對早起信息化建設(shè)理念的重大改進(jìn)(摘自《智慧油氣：數(shù)字油氣發(fā)展的高級階段》作者：支志英、李清輝、賈鹿)。筆者的定義：所謂“數(shù)字油氣”就是以油氣實體為對象，以地理空間坐標(biāo)為基礎(chǔ)，以油氣勘探、評價、開發(fā)、生產(chǎn)、儲運價值鏈為主線，以分層的業(yè)務(wù)架構(gòu)為主體，建立一套“橫向到邊、縱向到底”統(tǒng)一的流程標(biāo)準(zhǔn)和數(shù)據(jù)標(biāo)準(zhǔn)體系，整合全價值鏈上的生產(chǎn)管理、科學(xué)研究、經(jīng)營管理等各種同構(gòu)、異構(gòu)數(shù)據(jù)，應(yīng)用地理信息技術(shù)和可視化、虛擬現(xiàn)實等技術(shù)實現(xiàn)油氣各種對象信息的地上地下的多維空間表達(dá)。國內(nèi)各油氣企業(yè)在2000年后紛紛將數(shù)字油氣列為企業(yè)信息化發(fā)展的戰(zhàn)略目標(biāo)。2000年，大港油氣首次編制了數(shù)字油氣發(fā)展五年規(guī)劃暨“十五信息化發(fā)展規(guī)劃”并實施數(shù)字油氣規(guī)劃。2002年，塔里木油氣提出并實施數(shù)字油氣規(guī)劃。2003年，勝利油氣、塔河油氣、克拉瑪依油氣等相繼提出并實施數(shù)字油氣規(guī)劃。2005年后，全國各油氣全面進(jìn)入數(shù)字油氣建設(shè)。2009年新疆油氣在國內(nèi)率先宣布建成了數(shù)字油氣，成為國內(nèi)數(shù)字化油氣建設(shè)的一面旗幟。②數(shù)字油氣的關(guān)鍵技術(shù)“十五”期間，中國國家科技部設(shè)立重大科技攻關(guān)課題“數(shù)字氣田關(guān)鍵技術(shù)及應(yīng)用示范研究”,主要研究了基于無線公網(wǎng)的氣田采輸生產(chǎn)過程中氣井、管線等的數(shù)據(jù)實時采集、傳輸和控制技術(shù)，氣田網(wǎng)絡(luò)集成技術(shù)，氣田采輸生產(chǎn)數(shù)據(jù)的整合與交換技術(shù)，以及氣井管理與輔助決策等技術(shù)。在中石化西南分公司的新場氣田進(jìn)行了示范應(yīng)用?！笆晃濉逼陂g，為加快數(shù)字油氣建設(shè)步伐，國家科技部設(shè)立863項目“數(shù)字油氣田關(guān)鍵技術(shù)研究”,重點攻關(guān)油氣田多源、異構(gòu)數(shù)據(jù)集成技術(shù)和多尺度三維表征等技術(shù)，初步建成數(shù)字油氣田應(yīng)用系統(tǒng)，為數(shù)字油氣田理論完善和油氣田信息化實踐提供指導(dǎo)。該項目由勝利油氣和石油大學(xué)、北京科技大學(xué)聯(lián)合承擔(dān)。2009年9月14日，通過項目實施方案評審。主要關(guān)鍵技術(shù)包含以下七大部分(編者注：這種技術(shù)分類可能缺乏系統(tǒng)性，有不太科學(xué)的地方):數(shù)字化技術(shù)信息主動服務(wù)技術(shù)可視化技術(shù)業(yè)務(wù)流程優(yōu)化技術(shù)專業(yè)軟件配置基于知識的決策技術(shù)基礎(chǔ)配置優(yōu)化技術(shù)③數(shù)字油氣的基本特征標(biāo)準(zhǔn)化、數(shù)字化、網(wǎng)絡(luò)化、可視化、自動化和制度化是數(shù)字油氣的6大基本特征。制度化，就是要建立一套長效的信息化管理與覺得機(jī)制，保證數(shù)字油氣建設(shè)的持續(xù)進(jìn)行。自動化(監(jiān)控系統(tǒng)的自動控制和生產(chǎn)數(shù)據(jù)的自動采集)是數(shù)字油氣建設(shè)的重要基礎(chǔ)?？梢暬?，是數(shù)據(jù)油氣的具備有二維與三維空間的展示功能，是數(shù)據(jù)油氣的高級性能。網(wǎng)絡(luò)化，是實現(xiàn)信息共享的基本要求，也是互聯(lián)化時代的最基本的基礎(chǔ)設(shè)施能力需求。數(shù)據(jù)化，就是把以前模擬信息以及紙質(zhì)數(shù)據(jù)，全部轉(zhuǎn)化成電子數(shù)據(jù)，然后加載的中心數(shù)據(jù)庫中。標(biāo)準(zhǔn)化，特別數(shù)據(jù)標(biāo)準(zhǔn)化是數(shù)字油氣建設(shè)的前提和保障。數(shù)字油氣強(qiáng)調(diào)信息化的整體性、一致性和業(yè)務(wù)板塊的協(xié)調(diào)性，是對早期信息化建設(shè)理念的重大提升。④數(shù)字油氣的框架結(jié)構(gòu)數(shù)字油氣的總體框架主要包裹5大部分：數(shù)字油氣的總體框架主要包裹5大部分：IT基礎(chǔ)設(shè)施架構(gòu)、數(shù)據(jù)架構(gòu)、應(yīng)用架構(gòu)、門戶架構(gòu)、IT治理架構(gòu)。但I(xiàn)T治理架構(gòu)主要是制度與標(biāo)準(zhǔn)體系內(nèi)容方面。一般來說，數(shù)字油氣的框架結(jié)構(gòu)基本類似，但不同的公司表達(dá)與呈現(xiàn)的方式有所不同。下面分別把大慶油氣、中石化、中海油以及筆者自己設(shè)計的幾個數(shù)字油氣框架羅列出來，以供參考。企業(yè)信息門戶知識管理地面工程源數(shù)據(jù)庫經(jīng)營油田基礎(chǔ)地理信息庫勘探開發(fā)數(shù)據(jù)倉庫及輔助決策支持：市場、行業(yè)預(yù)測分析/經(jīng)濟(jì)數(shù)據(jù)倉庫及輔助決策支持：市場、行業(yè)預(yù)測分析/經(jīng)濟(jì)活動分析/資源優(yōu)化/績效考核/預(yù)測預(yù)警營銷管理全球油氣資源評價決策組合管理生產(chǎn)運行管理油氣勘探開發(fā)天然氣運輸油氣生產(chǎn)運行管理與分析天然氣運營監(jiān)控指揮業(yè)務(wù)協(xié)同管理生產(chǎn)調(diào)度HSE管理液化天然氣管理長輸運行HSE管理專業(yè)決策支持專業(yè)技術(shù)支持企業(yè)信息資源中心軟硬件資源共享勘探開發(fā)數(shù)據(jù)中心油氣勘探開發(fā)信息化標(biāo)準(zhǔn)經(jīng)營管理層生產(chǎn)執(zhí)行層勘探開發(fā)數(shù)據(jù)服務(wù)基礎(chǔ)支持層中國石化數(shù)據(jù)油氣整體框架結(jié)構(gòu)■圍繞“一條主線、二個基礎(chǔ)、三類系統(tǒng)、四個中心”,分步開展數(shù)字油田建設(shè)，實現(xiàn)以資產(chǎn)管理為核心的管理模式的轉(zhuǎn)變。資產(chǎn)生產(chǎn)信息化范疇鉆井作業(yè)中心油藏研究中心生產(chǎn)作業(yè)中心應(yīng)急指揮中心cnoOC經(jīng)營分析與戰(zhàn)略決策(BI/EDW)銷售分銷財務(wù)管理IT基礎(chǔ)設(shè)施(網(wǎng)絡(luò))天然氣生產(chǎn)管道運營地面工程油氣生產(chǎn)產(chǎn)能建設(shè)石油工程地球物理勘探生產(chǎn)生產(chǎn)管理經(jīng)營管理主營業(yè)務(wù)基礎(chǔ)支持大型專業(yè)軟硬件資源云共享平臺(地質(zhì)研究、工程設(shè)計)通用軟件地理信息系統(tǒng)設(shè)備管理人力資源業(yè)務(wù)規(guī)則科研協(xié)同數(shù)據(jù)標(biāo)準(zhǔn)企業(yè)信息門戶(內(nèi)部門戶，外部門戶，移動門戶)績效考核(KPI)經(jīng)營分析與戰(zhàn)略決策生產(chǎn)預(yù)警與應(yīng)急指揮井位論證與勘探?jīng)Q策方案論證與開發(fā)決策決策支持平臺(BI/EDW)生產(chǎn)運行及調(diào)度指揮經(jīng)營管理平臺生產(chǎn)管理平臺協(xié)同研究平臺ERP數(shù)據(jù)分析化驗礦權(quán)與儲量從業(yè)務(wù)架構(gòu)到IT架構(gòu)對齊的一體化解決方案林道遠(yuǎn)版權(quán)所有!Page73管道運營地面工程生產(chǎn)作業(yè)產(chǎn)能建設(shè)石油工程地球物理勘探生產(chǎn)投資管理行政辦公管理物流管理銷售管理物資管理人力資源管理財務(wù)管理石油工程研究石油地質(zhì)研究投資并購研究油氣勘探開發(fā)綜合數(shù)據(jù)庫空間數(shù)據(jù)地震數(shù)據(jù)產(chǎn)量文檔成果數(shù)據(jù)勘探開發(fā)生產(chǎn)數(shù)據(jù)數(shù)據(jù)管理數(shù)據(jù)源林道遠(yuǎn)之?dāng)?shù)字油氣應(yīng)用架構(gòu)藍(lán)圖⑤數(shù)字油氣的建設(shè)目標(biāo)與內(nèi)容數(shù)字油氣建設(shè)的根本目標(biāo)就是：提供勘探、開發(fā)一體化，生產(chǎn)、經(jīng)營一體化的業(yè)務(wù)支撐，提高企業(yè)核心業(yè)務(wù)能力、經(jīng)營管理能力以及戰(zhàn)略決策能力。實現(xiàn)“橫向到邊、縱向到底”的立體式業(yè)務(wù)支撐。最終達(dá)到增儲、增效，提高采收率和經(jīng)濟(jì)效益。業(yè)務(wù)戰(zhàn)略推動IT戰(zhàn)略IT引領(lǐng)業(yè)務(wù)創(chuàng)新IT戰(zhàn)略支撐業(yè)務(wù)戰(zhàn)略經(jīng)營管理能力核心業(yè)務(wù)能力戰(zhàn)略決策能力2000年后，國內(nèi)各大油氣紛紛開展了數(shù)字油氣總體規(guī)劃和頂層設(shè)計工作，為數(shù)字油氣的全面建設(shè)奠定了良好的基礎(chǔ)。數(shù)字油氣基本的建設(shè)內(nèi)容包括以下5大方面：(1)基礎(chǔ)設(shè)施：主要包括網(wǎng)絡(luò)(有線網(wǎng)絡(luò)、無線網(wǎng)絡(luò))、服務(wù)器等設(shè)備(井場數(shù)據(jù)自動化采集設(shè)備、服務(wù)器、磁盤陣列、磁帶庫、機(jī)柜等信息化基礎(chǔ)設(shè)施)、基礎(chǔ)平臺軟件(操作系統(tǒng)、DBMS、中間件等)。(2)數(shù)據(jù)資源：以油氣中心數(shù)據(jù)庫建設(shè)為核心，采用統(tǒng)一的數(shù)據(jù)模型，統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)，各專業(yè)數(shù)據(jù)統(tǒng)一采集入庫。中心數(shù)據(jù)庫向全企業(yè)提供統(tǒng)一共享訪問接口。(3)應(yīng)用系統(tǒng)：包括經(jīng)營管理系統(tǒng)(ERP,OA等)和主營業(yè)務(wù)系統(tǒng)(生產(chǎn)管理系統(tǒng)和科研專業(yè)應(yīng)用系統(tǒng)),基于統(tǒng)一的主數(shù)據(jù)標(biāo)準(zhǔn)和業(yè)務(wù)架構(gòu)，建設(shè)全局性的跨業(yè)務(wù)的綜合應(yīng)用系統(tǒng)，避免煙沖式的、孤立的、分散的應(yīng)用系統(tǒng)。(4)信息門戶：按分層的業(yè)務(wù)架構(gòu)設(shè)計分層的信息門戶(總部、油公司、采油廠三級門戶結(jié)構(gòu)),然后基于門戶基礎(chǔ)上建立統(tǒng)一的權(quán)限管理和統(tǒng)一的身份認(rèn)證。(5)IT治理體系：組要包括IT治理的組織就規(guī)范，IT治理流程體系，IT治理制度體系、IT治理的標(biāo)準(zhǔn)體系，標(biāo)準(zhǔn)體系又包括：數(shù)據(jù)標(biāo)準(zhǔn)、技術(shù)標(biāo)準(zhǔn)。所以說，基礎(chǔ)設(shè)施是基礎(chǔ)，數(shù)據(jù)資源是核心，應(yīng)用系統(tǒng)是重點，信息門戶是入口，IT治理體系是保障。氣的數(shù)據(jù)化程度已達(dá)到了一定的水平，為向智慧油氣邁進(jìn)打下了堅實的基礎(chǔ)。同時，隨著物聯(lián)網(wǎng)技術(shù)在油氣的普及應(yīng)用，也為油氣向智慧化邁進(jìn)打下了技術(shù)基礎(chǔ)。無論是數(shù)字油氣還是智慧油氣，他們的目標(biāo)都是一致的，都是為最終達(dá)到增儲、增效，提高采收率和經(jīng)濟(jì)效益。但顧名思義，智慧油能夠做到智慧洞察。因此可以說，智慧油氣是數(shù)字油氣的高級階段。中國石油《“十二五”IT戰(zhàn)略規(guī)劃》增加了“油氣生產(chǎn)物聯(lián)網(wǎng)”和“工程技術(shù)物聯(lián)網(wǎng)”兩個項目，為油氣智慧化奠定了基礎(chǔ)。①中石油智慧油氣探索與實踐2010年，中國首家智慧油氣項目在中國石油新疆油氣啟動，標(biāo)志著中國油氣開始進(jìn)入智慧化時代。a)智慧油氣的內(nèi)涵與定義：■全面感知：借助傳感技術(shù)，建立覆蓋油氣各業(yè)務(wù)環(huán)節(jié)的傳感網(wǎng)絡(luò)，實現(xiàn)對油氣各業(yè)務(wù)環(huán)節(jié)的全面感知；■自動操控：利用先進(jìn)的自動化技術(shù)，對與油氣井與管網(wǎng)設(shè)備進(jìn)行自動化控制，對油氣管網(wǎng)進(jìn)行自動平衡與智慧調(diào)峰，實現(xiàn)對生產(chǎn)設(shè)施自動操控；■預(yù)測趨勢：利用模型分析技術(shù)，進(jìn)行油藏的動態(tài)模擬，單井運行分析與預(yù)測，生產(chǎn)過程優(yōu)化，智慧完井和實時跟蹤，利用專業(yè)數(shù)學(xué)模型提高系統(tǒng)模擬與分析能力、預(yù)測和預(yù)警能力、實現(xiàn)對油氣生產(chǎn)趨勢進(jìn)行分析與預(yù)測；■優(yōu)化決策：利用可視化協(xié)作環(huán)境為油氣提供信息整合與知識管理能力，充分利用勘探開發(fā)地質(zhì)研究專家的經(jīng)驗與知識，實現(xiàn)油氣勘探的科學(xué)部署，提高系統(tǒng)自我學(xué)習(xí)能力，生產(chǎn)持續(xù)優(yōu)化能力，真真做到業(yè)務(wù)、計算機(jī)系統(tǒng)與人的智慧相融合，輔助油氣進(jìn)行科學(xué)決策、優(yōu)化管理。定義：“智慧油氣”就是在數(shù)字油氣的基礎(chǔ)上，借助先進(jìn)信息技術(shù)和專業(yè)技術(shù)，全面感知油氣動態(tài)，自動操控油氣行為，預(yù)測油氣變化趨勢，持續(xù)優(yōu)化油氣管理，科學(xué)輔助油氣決策，使用計算機(jī)信息系統(tǒng)智慧的管理油氣。也就是說，智慧油氣就是能夠全面感知的油氣，能夠自動操控的油氣，能夠預(yù)測趨勢的油氣，能夠優(yōu)化決策的油氣。b)智慧油氣的特點：6個典型特征6個■實時感知：利用傳感網(wǎng)絡(luò)實現(xiàn)對油氣各業(yè)務(wù)環(huán)節(jié)的全面感知。不僅要對油氣生產(chǎn)現(xiàn)場的設(shè)施進(jìn)行時數(shù)據(jù)采集，還可通過視頻技術(shù)直接查看工作場地、會議場所的場景?！鋈媛?lián)系：在實時感知的基礎(chǔ)上，進(jìn)一步提供油氣現(xiàn)場與指揮室之間、人與儀器之間相互協(xié)同，遠(yuǎn)程操作?！鲎詣犹幚恚豪米詣踊夹g(shù)、優(yōu)化技術(shù)，通過對采集到的數(shù)據(jù)進(jìn)行計算分析，將操作指令反饋到現(xiàn)場，對油氣井與管網(wǎng)設(shè)備進(jìn)行自動化控制?！鲱A(yù)測預(yù)警：在對歷史數(shù)據(jù)進(jìn)行分析的基礎(chǔ)上，通過數(shù)據(jù)挖掘、模型分析，對油氣生產(chǎn)趨勢進(jìn)行模擬和預(yù)測。如油藏的動態(tài)模擬，單井運行分析與預(yù)測，生產(chǎn)事故預(yù)警。■輔助決策：利用可視化的信息協(xié)作環(huán)境、油氣專家的經(jīng)驗、專業(yè)領(lǐng)域知識、成功項目研究成果，進(jìn)行綜合分析，提出決策建議。■分析優(yōu)化：通過建立各種標(biāo)準(zhǔn)化的評價指標(biāo)體系，利用綜合評價技術(shù)，對生產(chǎn)運行的狀況、油氣藏地質(zhì)條件、決策結(jié)果進(jìn)行評價和分析，提出優(yōu)化方案，是油氣生產(chǎn)、管理不斷優(yōu)化和完善，實現(xiàn)油氣的最優(yōu)化發(fā)展。c)智慧油氣的目標(biāo)：5大宏觀目標(biāo)■新增儲量■提高采收率■提高生產(chǎn)效率■保障安全生產(chǎn)■提高經(jīng)濟(jì)效益d)智慧油氣的組成：包括如下內(nèi)容(8233工程)工作1)全面的傳感網(wǎng)絡(luò)1)自動操控環(huán)境2)主動優(yōu)化環(huán)境應(yīng)用基礎(chǔ)2提供建設(shè)覆蓋完善智能勘探與評價智能戰(zhàn)略決策智能的生產(chǎn)保障智能的井場4D地焉智能完井圖例：應(yīng)用領(lǐng)域智能油藏管理動態(tài)模擬預(yù)測智能生產(chǎn)管理智能的油氣井管理智能氣井設(shè)備監(jiān)測管線監(jiān)測智能注水井智能井下傳感器實時鉆井e)智慧油氣的應(yīng)用架構(gòu)智能油田應(yīng)用框架智能油田應(yīng)用框架改進(jìn)臺建設(shè)分析系統(tǒng)系統(tǒng)油氣管網(wǎng)智能運統(tǒng)統(tǒng)數(shù)據(jù)和應(yīng)用統(tǒng)IT運維統(tǒng)支撐環(huán)境綜合核心應(yīng)用基礎(chǔ)信息f)智慧油氣的項目規(guī)劃：智慧新疆油氣建設(shè)10年內(nèi)初步建成，包括12類49個項目②中石化智慧油氣探索與實踐2012年，中國石化燕山煉廠智慧煉廠項目啟動；2013年，中國石化勝利油氣智慧油氣項目啟動。a)智慧油氣的內(nèi)涵與定義：所謂“智慧油氣”就是在數(shù)字油氣的基礎(chǔ)上，圍繞上游的油藏、井、管網(wǎng)、設(shè)備設(shè)施等核心資產(chǎn)，借助信息技術(shù)全面輔助資產(chǎn)管理和整體優(yōu)化的油氣，推動增儲上產(chǎn)、綠色安全、高效運營、精細(xì)管理，達(dá)到資產(chǎn)價值最大化。■實時感知的油氣指通過上游資源的傳感網(wǎng)絡(luò)部署實時監(jiān)測各■全面協(xié)同的油氣指通過集成可視技術(shù)在各個業(yè)務(wù)領(lǐng)域內(nèi)實現(xiàn)跨專業(yè)遠(yuǎn)程協(xié)同，如勘探開發(fā)協(xié)同、生產(chǎn)現(xiàn)場與一體化指揮中心協(xié)同、鉆井現(xiàn)場與鉆井中心的協(xié)同；b)智慧油氣的特點：■可視化是支撐：將各個業(yè)務(wù)領(lǐng)域的靜態(tài)及動態(tài)數(shù)據(jù)借助圖形化、三維、移動等技術(shù)以直觀形式隨時隨地按需展現(xiàn)，并支持交互處理?！黾苫顷P(guān)鍵：包括通過數(shù)據(jù)中心建設(shè)促進(jìn)數(shù)據(jù)集成、通過企業(yè)服務(wù)總線實現(xiàn)應(yīng)用集成、通過門戶技術(shù)實現(xiàn)界面集成?！瞿Ｐ突呛诵模喝诤蠈＜医?jīng)驗，對油氣資產(chǎn)(油藏、井、關(guān)鍵設(shè)備、管網(wǎng)等)進(jìn)行全面建模并支持一體化模擬、診斷、優(yōu)化。c)智慧油氣建設(shè)目標(biāo)：■管控實時化：通過“四化”建設(shè)，實現(xiàn)生產(chǎn)前端實時監(jiān)控、無人值守、電子巡護(hù)、機(jī)動巡檢；通過制度e化，基于業(yè)務(wù)流程實現(xiàn)業(yè)務(wù)節(jié)點的實時管控■運行物聯(lián)化：基于生產(chǎn)實時數(shù)據(jù)，通過建立診斷優(yōu)化模型，對生產(chǎn)系統(tǒng)進(jìn)行系統(tǒng)優(yōu)化，根據(jù)工藝流程實現(xiàn)設(shè)備的自適應(yīng)、自調(diào)整、自保護(hù)、自優(yōu)化?！龇治瞿Ｐ突好嫦蛉﹂]評價、儲量評價、油藏分經(jīng)濟(jì)評估、績效考核等一系列模型，實現(xiàn)油氣勘探開發(fā)過程的模擬、預(yù)測、優(yōu)化?！鲇蜌饪梢暬航?gòu)造—油藏—井筒—地面一體化的虛擬研究環(huán)境，實現(xiàn)地質(zhì)體虛擬化展示，地面生產(chǎn)設(shè)施的數(shù)字化描述，生產(chǎn)經(jīng)營指標(biāo)的可視化展示。■管理協(xié)同化：優(yōu)化再造油氣管理流程，細(xì)化節(jié)點業(yè)務(wù)規(guī)范，基于完整的業(yè)務(wù)流程，實現(xiàn)油氣業(yè)務(wù)全生命周期的閉環(huán)式網(wǎng)上協(xié)同管理?！鰶Q策科學(xué)化：按照決策主題集成決策信息、成果，應(yīng)用模型手段及決策系統(tǒng)，實現(xiàn)“三流合一”的量價匹配分析，輔助科學(xué)決策，提高決策的科學(xué)性和及時性。d)智慧油氣業(yè)務(wù)架構(gòu)經(jīng)營管理經(jīng)營管理勘探開發(fā)信息共享基礎(chǔ)理理理理一個基礎(chǔ)服務(wù)、兩套體系保障、四項智能應(yīng)用f)智慧油氣建設(shè)規(guī)劃基礎(chǔ)整合期基礎(chǔ)整合期(2014-2015年)示范推廣期(2016-2017年)創(chuàng)新突破期(2018-2020年)2、油田“四化”建設(shè)工程4、智能應(yīng)用試點示范工程6、安全保障能力建設(shè)工程1、數(shù)據(jù)資源開發(fā)利用計劃2、公共服務(wù)共享應(yīng)用計劃3、企業(yè)管理流程再造計劃4、大項目大工程帶動計劃5、知識型人才培養(yǎng)計劃1、信息基礎(chǔ)資源優(yōu)化工程3、現(xiàn)有系統(tǒng)集成整合工程5、一體化管理系統(tǒng)工程三個階段③中海油智慧油氣探索與實踐整體優(yōu)化決策遠(yuǎn)程監(jiān)控與監(jiān)測油藏管理井筒監(jiān)測與控制地面工藝外輸節(jié)點管線數(shù)據(jù)總輸出量組織變革、業(yè)務(wù)優(yōu)化遠(yuǎn)程監(jiān)控全面控制獲取數(shù)據(jù)：靜態(tài)數(shù)據(jù)跨專業(yè)協(xié)同運作度原油交易節(jié)點生產(chǎn)設(shè)施節(jié)點信息標(biāo)準(zhǔn)化油藏節(jié)點氣▲生含水率產(chǎn)液量變化分析析油氣藏生產(chǎn)運營生產(chǎn)運營體化智能智能地油氣藏面工程智能地面工程建設(shè)目標(biāo)生產(chǎn)運營一體化通過工作方式、管理機(jī)制的變革和流程優(yōu)化，輔以技術(shù)手段支撐的協(xié)同工作環(huán)境，使相關(guān)人員能夠跨地域、跨專業(yè)高效協(xié)同工作，充分發(fā)揮各領(lǐng)域技術(shù)當(dāng)出現(xiàn)臺風(fēng)或重大事故時，資源協(xié)調(diào)的難度和工作量跨地域協(xié)同—過協(xié)同工作環(huán)境會上討論，克服了地域、時間的障礙， 2.1.3中國智慧油氣面臨的挑戰(zhàn)看到成績的同時，我們也應(yīng)該認(rèn)識到智慧油氣建設(shè)的艱巨性和復(fù)雜性。雖然中國三大石油公司先后都進(jìn)入了智慧油氣建設(shè)，但都是在試點階段，還沒有大面積普及推廣，在智慧油氣建設(shè)過程中存在的問題仍然很多。也就是說，從“數(shù)字油氣”到“智慧油氣”的進(jìn)程中仍然面臨著嚴(yán)峻的挑戰(zhàn)。①缺乏企業(yè)架構(gòu)設(shè)計，條塊分割、孤島叢生、煙囪林立：沒有真正從缺乏企業(yè)架構(gòu)導(dǎo)入，導(dǎo)致IT規(guī)劃與企業(yè)實際業(yè)務(wù)存在一定的脫節(jié)問題；在進(jìn)行IT投資時，也都跳過企業(yè)架構(gòu)這個關(guān)鍵的環(huán)節(jié)直接進(jìn)入IT項目建設(shè)。這樣必然會導(dǎo)致煙囪式的建設(shè)方式，單片電路式的應(yīng)用系統(tǒng)，舊的信息孤島沒有消除，新的信息孤島不斷涌現(xiàn)等現(xiàn)象(如下圖所示)。發(fā)布渠道通展現(xiàn)層●沒有整體的企業(yè)架構(gòu)，很難適用于業(yè)務(wù)需求的變化●數(shù)據(jù)標(biāo)準(zhǔn)不統(tǒng)一，系統(tǒng)邊界不清晰，系統(tǒng)實施阻力大●基層需求缺失多，無法滿足基層生產(chǎn)管理與科研的需要●功能的重復(fù)建設(shè)造成投資的浪費●較少的故變就需要大量的投資和人力資源●整合與集成的成本將是重新開發(fā)成本的幾倍甚至幾十倍數(shù)據(jù)結(jié)構(gòu)“智慧油田”的整體支撐體系“智慧油田”的整體支撐體系關(guān)鍵技術(shù)2智慧油田3(IT治理體系)支撐體系工這三大支撐體系理論也符合自然科學(xué)的三角形的穩(wěn)定性原理。關(guān)鍵技術(shù)支撐體系，是實現(xiàn)智慧油氣的技術(shù)基礎(chǔ)；主要方法論支撐體系，是設(shè)計智慧油氣框架結(jié)構(gòu)的理論基礎(chǔ)；IT治理體系是智慧油氣成功的基本制度保障，這三大支撐體系相互相成，缺一不可。關(guān)于三大支撐體系的具體細(xì)節(jié)，將在每個章節(jié)中詳細(xì)論述(詳見本書的第二章、第三章和第六章)。本節(jié)先期對三大支撐體系做些簡單的概要性論述，讓讀者有個宏觀的認(rèn)知。石油上游業(yè)務(wù)，從大的專業(yè)劃分，可以分成石油工程技術(shù)與地球科學(xué)與技術(shù)兩大專業(yè)領(lǐng)域。出現(xiàn)交叉重疊或缺失等混亂狀態(tài)(目前各專業(yè)媒體上對智慧油氣的關(guān) (如地理信息技術(shù))和前沿領(lǐng)域的新技術(shù)(如物聯(lián)網(wǎng)技術(shù)、云技術(shù)技術(shù)、大數(shù)據(jù)技術(shù)、虛擬現(xiàn)實技術(shù)等等)。油氣的信息化建設(shè)或智慧油氣的建設(shè)，同樣需要理論(方法論)面(至少會缺乏結(jié)構(gòu)化、完整性和系統(tǒng)性)。但是，現(xiàn)在一些咨詢公司(包括一些國際知名的公司)給石油行業(yè)編制的IT戰(zhàn)略規(guī)劃方案或智慧油氣頂層設(shè)計方案時，要不缺乏這來的IT戰(zhàn)略規(guī)劃方案或智慧油氣頂層設(shè)計方案缺乏結(jié)構(gòu)化、體系化設(shè)計和大型軟件工程設(shè)計上成功實踐。石油業(yè)務(wù)分析模型，也是筆者自創(chuàng)的一套方法論，主要用在業(yè)務(wù)分析與軟件工程的業(yè)務(wù)設(shè)計上。其中，PEST分析模型和SWOT分析模型，主要用在IT規(guī)劃的環(huán)境分析上，對于智慧油氣的分析和設(shè)計用處不大，本書暫時不做介紹。5.4組織及制度保障體系概述基本制度保障體系(IT治理體系)是確保智慧油氣成功的關(guān)鍵。IT治理的根本目標(biāo)就是：為企業(yè)確定IT運作的基本框架、流程標(biāo)準(zhǔn)和制度體系，實現(xiàn)決策與管理權(quán)限的分離和相互制衡，確保IT目標(biāo)與企業(yè)目標(biāo)一致，實現(xiàn)業(yè)務(wù)與IT的深度融合，使IT的決策風(fēng)險和管理風(fēng)險降到最低程度，確保企業(yè)戰(zhàn)略目標(biāo)的實現(xiàn)(這里是確保智慧油氣建設(shè)的成功)。IT治理主要包括三大方面，首先是IT治理的組織結(jié)構(gòu)，即要制定一個決策與監(jiān)督、管理與控制、服務(wù)與支持相互分離與制衡的IT運作的基本框架；其次是IT治理的流程標(biāo)準(zhǔn)，就是確定一個閉合循環(huán)的IT治理流程，確保IT治理流程的科學(xué)性；第三是IT治理的制確保制度的完整性。這三大方面也即組成了IT治理的三大支柱(如下圖所示)。驅(qū)動要素IT定位IT原則影響因素(四大流程)三大支柱(三權(quán)分立)(六大體系)治理結(jié)構(gòu)目前，中國石油行業(yè)IT內(nèi)控體系早已建成，但它還不是完整的IT治理體系，缺少分權(quán)制衡的內(nèi)涵，因此，IT6云數(shù)據(jù)中心資源層規(guī)劃設(shè)計6.1云計算平臺基礎(chǔ)架構(gòu)體系系統(tǒng)設(shè)計注重實用性，系統(tǒng)配置滿足整個預(yù)警平臺的實際應(yīng)用需要并符合用戶的實際需要。4.可擴(kuò)展性系統(tǒng)設(shè)計考慮了預(yù)警平臺未來功能擴(kuò)充發(fā)展的需要，留有充分的擴(kuò)充余地，方便地實現(xiàn)系統(tǒng)的平滑擴(kuò)展和升級。5.易用性系統(tǒng)設(shè)計注重易用性，要求系統(tǒng)參數(shù)配置少，調(diào)整少，自動化程度高，使用方便，操作簡單，管理方便。6.安全性系統(tǒng)設(shè)計具備安全性，采用多種安全防范技術(shù)和措施，在物理、系統(tǒng)、網(wǎng)絡(luò)、應(yīng)用以及管理上全面的保障系統(tǒng)的安全。7.可靠性系統(tǒng)設(shè)計注重可靠性，能夠長期穩(wěn)定工作，保證7*24小時不間斷地穩(wěn)定可靠運行，適應(yīng)工作環(huán)境能力強(qiáng)，故障率低，維護(hù)維修方便。8.前瞻性系統(tǒng)設(shè)計具有前瞻性，整個系統(tǒng)的硬件配置，應(yīng)符合長遠(yuǎn)的規(guī)劃和設(shè)計，保證3年內(nèi)系統(tǒng)的需要。通過需求分析我們可以得知，本次項目建設(shè)項目的設(shè)計目標(biāo)是構(gòu)造一個功能齊全、設(shè)備先進(jìn)、運行高效、使用靈活、維護(hù)方便、易于擴(kuò)展、投資省、高安全可靠的信息系統(tǒng)。云計算技術(shù)的出現(xiàn)卻給我們一最佳的選擇，隨著數(shù)據(jù)信息的增長，技術(shù)也需要隨之變化。這些變化常常實施在運行關(guān)鍵業(yè)務(wù)應(yīng)用的復(fù)雜系統(tǒng)內(nèi)。通常會對共享硬件和軟件資源有越來越多的需求，虛擬環(huán)境下有效的管理和控制了這種需求。虛擬化是通過對IT硬件資源整合、優(yōu)化、共享的成熟高新技術(shù)，是實現(xiàn)云計算最基礎(chǔ)的支撐技術(shù)。它可以有效增加組織的靈活性和效率，同時又可以降低其成本。虛擬化技術(shù)以其系統(tǒng)的先進(jìn)性、高可用性、系統(tǒng)的靈活擴(kuò)展能力、開放性以及高可管理性等可完全滿足當(dāng)前和未來幾年內(nèi)云數(shù)據(jù)平臺信息系統(tǒng)的發(fā)展需求。通過部署虛擬化軟件、服務(wù)器、存儲設(shè)備、網(wǎng)絡(luò)設(shè)備，內(nèi)部搭建虛擬化環(huán)境，通過虛擬化技術(shù)構(gòu)建新一代的數(shù)據(jù)中心，形成統(tǒng)一的云計算信息系統(tǒng)平臺。在數(shù)據(jù)中心，所有資源整合后在邏輯上以單一整體的形式呈現(xiàn)，這些資源根據(jù)需要進(jìn)行動態(tài)擴(kuò)展和配置，各單位最終信息系統(tǒng)業(yè)務(wù)按需使用資源。通過虛擬化技術(shù)，增強(qiáng)數(shù)據(jù)中心的可管理性，提高應(yīng)用的兼容性和可用性，加速應(yīng)用的部署，提升硬件資源的利用率，降低能源消耗。虛擬化是云計算的基礎(chǔ)，在數(shù)據(jù)中心，通過虛擬化技術(shù)將物理服務(wù)器進(jìn)行虛擬化，具體為CPU虛擬化、內(nèi)存虛擬化、設(shè)備I/0虛擬化等，實現(xiàn)在單一物理服務(wù)器上運行多個虛擬服務(wù)器(虛擬機(jī)),把應(yīng)用程序?qū)Φ讓拥南到y(tǒng)和硬件的依賴抽象出來，從而解除應(yīng)用與操作系統(tǒng)和硬件的耦合關(guān)系，使得物理設(shè)備的差異性與兼容性與上層應(yīng)用透明，不同的虛擬機(jī)之間相互隔離、互不影響，可以運行不同的操作系統(tǒng)，并提供不同的應(yīng)用服務(wù)。什么是服務(wù)器虛擬化服務(wù)器虛擬化將硬件、操作系統(tǒng)和應(yīng)用程序一同裝入一個可遷移的虛擬機(jī)檔案文件中如OperatingSystemVMwareVirtualizatio·軟件必須與硬件相結(jié)合·每臺機(jī)器上只有單一的操作系統(tǒng)鏡像·每個操作系統(tǒng)只有一個應(yīng)用程序負(fù)載圖6-1服務(wù)器虛擬化在單臺服務(wù)器虛擬化基礎(chǔ)上，通過虛擬化管理中心(vCenter)將多臺服務(wù)器、存儲硬件基礎(chǔ)資源進(jìn)行整合，構(gòu)建硬件(CPU、內(nèi)存、I/0)資源池，實現(xiàn)數(shù)據(jù)中心整體硬件資源的按需分配。虛擬化結(jié)構(gòu)如圖所示：應(yīng)用程序1應(yīng)用程序1內(nèi)存設(shè)備I/O硬件資源池：內(nèi)存圖6-2服務(wù)器虛擬化結(jié)構(gòu)將服務(wù)器物理資源抽象成邏輯資源，讓一臺服務(wù)器變成幾臺甚至上百臺相互隔離的虛擬服務(wù)器，或者讓幾臺服務(wù)器變成一臺服務(wù)器來用，我們不再受限于物理上的界限，而是讓CPU、內(nèi)存、磁盤、I/0等硬件變成可以動態(tài)管理的“資源池”,從而提高資源的利用率，簡化系統(tǒng)管理，實現(xiàn)服務(wù)器整合，讓IT對業(yè)務(wù)的變化更具適應(yīng)力，從而構(gòu)建出數(shù)據(jù)中心系統(tǒng)平臺的基礎(chǔ)。VirtualCanterVirtualCanter服務(wù)器群1集群存儲瀏寬器服務(wù)器群2圖形終端圖6-3虛擬化拓?fù)浣Y(jié)構(gòu)針對上面的拓?fù)鋱D，詳細(xì)說明如下：整體架構(gòu)可以分為三層，最底層為存儲網(wǎng)絡(luò)層，中間層為虛擬化系統(tǒng)，最上層為虛擬服務(wù)器層；其中，下面的兩層為資源提供方，最上層為資源用戶；而中間層的虛擬化系統(tǒng)又起到了資源分配調(diào)度的作用。部署虛擬化系統(tǒng)之后的整體架構(gòu)和傳統(tǒng)架構(gòu)下是沒很大區(qū)別的，利用共享存儲實現(xiàn)數(shù)據(jù)集中和共享，結(jié)合管理中心實現(xiàn)應(yīng)用系統(tǒng)的統(tǒng)一管理；虛擬化集群的形成，直接為應(yīng)用系統(tǒng)提供了高可用和負(fù)載均衡的功能。6.2云計算中心虛擬化組件6.2.1遷移使運行中的虛擬機(jī)從一臺物理服務(wù)器實時遷移到另一臺物理服務(wù)器，同時保持業(yè)務(wù)的連續(xù)運行。實現(xiàn)了零停機(jī)時間和連續(xù)可用的服務(wù)，并能全面保證事務(wù)的完整性。是用于創(chuàng)建動態(tài)、自動化、自我優(yōu)化的數(shù)據(jù)中心的關(guān)鍵促成技術(shù)。ApPApPNVMwareESXServerOpex86Architecture圖6-4擬機(jī)遷移自動監(jiān)控物理服務(wù)器的可用性?？蓹z測物理服務(wù)器故障，如果檢測到故障，可重新在資源池中其他物理服務(wù)器上啟動虛擬機(jī)，整個過程無需人工干預(yù)。該功能組件比傳統(tǒng)的雙機(jī)冷備更具有自動啟動的優(yōu)勢。操作系統(tǒng)6.2.4動態(tài)資源分配執(zhí)行零停機(jī)服務(wù)器維護(hù)。通過使用分布式電源管理來整合工作負(fù)載和關(guān)閉集群中的虛擬機(jī)暫時不需要的耗電服務(wù)器，從而減少數(shù)據(jù)中心的能耗。圖6-7動態(tài)資源分配(DRS)可用管理系統(tǒng)中，為了在虛擬化環(huán)境中能達(dá)到節(jié)能減排放的作用，設(shè)置了DPM的功能。這是一個高級電源管理功能它可以提供當(dāng)虛擬化環(huán)境中不需要那么大的運算資源的的時候，同過統(tǒng)一管理平臺功能管理模塊相結(jié)合?？梢允菍崿F(xiàn)當(dāng)我們的業(yè)務(wù)系統(tǒng)在不需要云平臺提供那么大的計算能力的時候，為了節(jié)能減排放.通過自動調(diào)度將某些服務(wù)器上的虛擬機(jī)通過在線遷移的方式自動遷移到平臺中的其它物理服務(wù)器中運行，將空閑服務(wù)器進(jìn)行下電。當(dāng)業(yè)務(wù)重新增長后，需要平臺提供大規(guī)模計算的時候，會重新啟動該服務(wù)器加入到平臺>>保證服務(wù)級別的同時減少電力消耗>虛擬機(jī)不中斷、不停機(jī)圖6-8分布式電源管理6.3分布式集群存儲平臺圖6-9分布式集群存儲架構(gòu)圖分布式存儲系統(tǒng)主要由云平臺下的應(yīng)用服務(wù)器集群、智能存儲服務(wù)器集群、元數(shù)據(jù)服務(wù)器集群三大部分組成，配置存儲服務(wù)器10臺，元數(shù)據(jù)服務(wù)器2臺。應(yīng)用服務(wù)器集群：運行客戶應(yīng)用程序的集群，進(jìn)行特定的計算、信息處理及業(yè)務(wù)服務(wù)等。應(yīng)用服務(wù)器上需要安裝分布式的應(yīng)用服務(wù)器模塊高效的訪問存儲。智能存儲服務(wù)器集群：由萬兆存儲服務(wù)器組成。存儲用戶的實際數(shù)據(jù)，是整個分布式存儲系統(tǒng)的存儲資源提供者。當(dāng)應(yīng)用服務(wù)器進(jìn)行數(shù)據(jù)訪問時，存儲服務(wù)器集群提供實際的數(shù)據(jù)IO服務(wù)。數(shù)據(jù)10壓力能夠非常均衡的分布在存儲服務(wù)器集群之間。元數(shù)據(jù)服務(wù)器集群：由萬兆元數(shù)據(jù)存儲服務(wù)器組成。管理文件系統(tǒng)的元數(shù)據(jù)(包括文件目錄樹組織、屬性維護(hù)、文件操作日志記錄、授權(quán)訪問等),管理整個存儲系統(tǒng)的命名空間，對外提供單一的系統(tǒng)映像，并負(fù)責(zé)整個存儲集群的管理監(jiān)控。元數(shù)據(jù)服務(wù)器協(xié)調(diào)指揮應(yīng)用服務(wù)器和存儲服務(wù)器之間的活動，并且元數(shù)據(jù)服務(wù)器集群能夠均衡的負(fù)擔(dān)整個分布式集群存儲系統(tǒng)的相關(guān)元數(shù)據(jù)訪問負(fù)載。本期項目配置10臺存儲服務(wù)器2臺元數(shù)據(jù)服務(wù)器組成存儲集群直接接入萬兆交換機(jī)，提供高性能共享存儲系統(tǒng)；計算節(jié)點均通過以太網(wǎng)交換機(jī)與存儲系統(tǒng)能共享存儲系統(tǒng)連接。工作機(jī)通過以太網(wǎng)與存儲系統(tǒng)相連。計算節(jié)點均安裝集群系統(tǒng)客戶端，可根據(jù)權(quán)限以本地盤符的方式訪問文件級統(tǒng)一命名空間，對存儲系統(tǒng)進(jìn)行并發(fā)訪問，而且所有計算節(jié)點均通過光纖直接共享存儲系統(tǒng)中數(shù)據(jù)，充分發(fā)揮光纖高帶寬，低延遲的特點，提高了效率。系統(tǒng)具有良好的可靠性和冗余措施，元數(shù)據(jù)服務(wù)器成對配置，當(dāng)其中1臺發(fā)生故障后，另1臺會自動接替系統(tǒng)服務(wù)，最大程度保證業(yè)務(wù)時效性。隨著規(guī)模、容量的不斷增加可以通過在線添加擴(kuò)展柜的方式，擴(kuò)展系統(tǒng)的容量、I0帶寬和負(fù)載能力。集群存儲系統(tǒng)的特點現(xiàn)有的諸多存儲方案一般都不具備存儲容量動態(tài)擴(kuò)展的能力，而且經(jīng)過動態(tài)擴(kuò)展之后如果沒有數(shù)據(jù)動態(tài)負(fù)載均衡的功能，即使存儲系統(tǒng)的容量增長，性能不會隨之增長。負(fù)載均衡模塊是專門針對存儲擴(kuò)展性需求較高的應(yīng)用環(huán)境而提供。當(dāng)存儲系統(tǒng)按需在線動態(tài)擴(kuò)展容量之后，管理員可以選擇在合適的時間啟動或者停止負(fù)載均衡軟件，該功能將數(shù)據(jù)在存儲服務(wù)器之間遷移，直到數(shù)據(jù)分布較為均衡停止。通過負(fù)載均衡模塊的數(shù)據(jù)遷移工作，分布式集群存儲系統(tǒng)的性能能夠隨著容量的增長而線性增長。自動均衡數(shù)據(jù)分布，提高硬件利用率自動均衡數(shù)據(jù)分布，提高硬件利用率品品圖3-2圖6-10自動均衡數(shù)據(jù)分布示意圖(2)靈活冗余能力靈活冗余模塊是一種高效的數(shù)據(jù)保護(hù)方式，通過將冗余數(shù)據(jù)同時存放到不同的存儲服務(wù)器上來對數(shù)據(jù)進(jìn)行保護(hù)，不但消除了單點故障，還能夠提高數(shù)據(jù)并發(fā)訪問性能。冗余數(shù)據(jù)存放在不同的服務(wù)器上防止數(shù)據(jù)丟失和存儲服務(wù)中斷。而且用戶可以將不同的數(shù)據(jù)設(shè)置不同的冗余數(shù)據(jù)等級，當(dāng)冗余等級越高，數(shù)據(jù)就能夠在極端惡劣的情況保證數(shù)據(jù)的完整性和服務(wù)的連續(xù)性。(3)故障自動恢復(fù)能力故障自動恢復(fù)模塊內(nèi)置有一整套完整的故障恢復(fù)流程，能夠自動探測集群存儲系統(tǒng)內(nèi)各類可能出現(xiàn)的故障，如磁盤損壞、系統(tǒng)宕機(jī)、網(wǎng)絡(luò)中斷等。該軟件一旦發(fā)現(xiàn)了軟硬件故障就會立刻啟動相應(yīng)的故障處理恢復(fù)流程對數(shù)據(jù)進(jìn)行相應(yīng)的恢復(fù)保護(hù)，確保數(shù)據(jù)的完整性，并且整個恢復(fù)過程完全不影響業(yè)務(wù)連續(xù)運行。而且由于故障自動恢復(fù)軟件能夠提供的是整個集群全局的數(shù)據(jù)恢復(fù)，充分的利用了集群內(nèi)的空閑資源進(jìn)行相應(yīng)的處理，能夠高出RAID技術(shù)五倍的數(shù)據(jù)恢復(fù)速度確保數(shù)據(jù)完整性，為業(yè)務(wù)長期穩(wěn)定運行打下基礎(chǔ)。多種軟硬件故障不影響前端使用多種軟硬件故障不影響前端使用龍威必事存儲池龍威必事存儲池高速多阻圖3-3圖6-11硬件故障恢復(fù)示意圖(4)大目錄支持能力傳統(tǒng)的存儲方案都存在著文件數(shù)量、單目錄下文件數(shù)量等諸多限制，并且當(dāng)存儲系統(tǒng)內(nèi)文件數(shù)量到達(dá)一定數(shù)量時，文件的檢索效率就會急劇下降，從而影響了業(yè)務(wù)的運行效率?！瓲I一■圖3-4圖6-12集群存數(shù)文件效率集群系統(tǒng)大目錄支持軟件打破了存儲系統(tǒng)在面向海量小文件時的種種限制，提供了幾乎無限的單目錄文件數(shù)量支持、高效的文件檢索效率支持，幫助企業(yè)解決海量小文件存儲帶來的煩惱。國產(chǎn)存儲服務(wù)器是基于專業(yè)控制器架構(gòu)的存儲陣列產(chǎn)品，提供標(biāo)準(zhǔn)網(wǎng)絡(luò)文件共享服務(wù)，實現(xiàn)IPSAN/NAS一體化解決方案，為各種視頻監(jiān)控系統(tǒng)提供大容量、高擴(kuò)展性、高安全性的集中存儲解決方案，支持外接擴(kuò)展柜，:分布式集群的硬件基礎(chǔ)采用我國完全自主研發(fā)的處理器，硬件和軟件設(shè)計完全自主可控。分布式存儲服務(wù)器采用了非X86架構(gòu)的高可靠性硬件平臺和國產(chǎn)睿思操作系統(tǒng)，從根本上保單目錄下高達(dá)千萬級的文件，單一文件系統(tǒng)文件數(shù)量支持超過千億(實際案例：260億單個共享文件系統(tǒng)支持上百PB級(4500TB、1024應(yīng)用節(jié)點支持實際案例);分布式集群存儲系統(tǒng)通過多臺存儲服務(wù)器提供同時數(shù)據(jù)存取服務(wù)的方法以滿足大量應(yīng)服務(wù)器上讀取數(shù)據(jù)。由于大量的數(shù)據(jù)IO請求都被分散到多臺存儲服務(wù)器上，使得所有的存聚合帶寬由多臺的存儲服務(wù)器上的I0帶寬相加而成，從而克服了NAS的單一出口點所造成工作站文件數(shù)據(jù)工作站工作站基于數(shù)據(jù)安全性方面的考慮，用戶可以通過分布通過將數(shù)據(jù)和校驗數(shù)據(jù)存放在不同存儲服務(wù)器的方法可以對一系列的軟硬件故障(網(wǎng)絡(luò)、主機(jī)、磁盤等)進(jìn)行自動的隔離，消除了存儲系統(tǒng)的任何單點故障用數(shù)據(jù)全局冗余技術(shù)取代Raid,提供了史無前例的可靠性；而工業(yè)標(biāo)準(zhǔn)的通用硬件良好的兼容性和可獲得性方便了整套存儲系統(tǒng)將來的使用和擴(kuò)展，分布式支持在1小時內(nèi)部署上百TB的存儲系統(tǒng)，無縫的在線增加存儲容量。(全局統(tǒng)一命名空間)圖4-2傳統(tǒng)與分布式擴(kuò)展對比分布式存儲系統(tǒng)的設(shè)計是面向通用的硬件和軟件環(huán)境，如使用通用的以太網(wǎng)絡(luò)作為數(shù)據(jù)傳輸通道可以確保充分利用現(xiàn)有的環(huán)境，并且可以無需對環(huán)境做出任何修改。另外分布式能夠直接支持Linux、Windows、Mac等常用的操作系統(tǒng)之間進(jìn)行數(shù)據(jù)共享，無需對操作系統(tǒng)做任何修改，所以能夠無縫的接入到企業(yè)現(xiàn)有的軟硬件環(huán)境。分布式大規(guī)模集群存儲系統(tǒng)能夠極大的降低構(gòu)建和運維成本，主要有以下幾點：極大地提高了數(shù)據(jù)可用性：通過分布式內(nèi)置的高可用和故障自動恢復(fù)功能等卓越的功能，無需任何第三方軟件，極大減少了系統(tǒng)由于維護(hù)或備份恢復(fù)所需的大量時間，從而徹底真正的按需購買立，有效降低人為因素造成的數(shù)據(jù)損壞，大幅度提升分布式存儲系統(tǒng)可與用戶的現(xiàn)有應(yīng)用環(huán)境無縫連用戶可在極短時間內(nèi)為分布式存儲系統(tǒng)部署上百TB存儲空間和上千臺應(yīng)用服務(wù)器。無減少培訓(xùn)費用分布式存儲系統(tǒng)對外提供單一的系統(tǒng)映像，所有圖4-3應(yīng)用協(xié)作對比圖分布式存儲系統(tǒng)高效的自動數(shù)據(jù)恢復(fù)技術(shù)，使得故障恢復(fù)時間是通用RAID技術(shù)的五分大數(shù)據(jù)油氣數(shù)據(jù)綜合分析平臺和大數(shù)據(jù)交易數(shù)據(jù)管理與分析系統(tǒng)分別是兩款大數(shù)據(jù)平視化與安全管理等全生命周期管理的綜合系統(tǒng)，但對數(shù)的關(guān)注點和管理方式7.1平臺功能框架據(jù)管理平臺還應(yīng)遵循統(tǒng)一的標(biāo)準(zhǔn)規(guī)范，充分考慮與外部系統(tǒng)(4A及其它網(wǎng)管系統(tǒng)、業(yè)務(wù)系統(tǒng)等)的接口。文檔文檔數(shù)據(jù)庫圖片音視頻郵件消息關(guān)系型數(shù)據(jù)非關(guān)系型數(shù)據(jù)流式數(shù)據(jù)多維數(shù)據(jù)龍威集群存儲(申威國產(chǎn)平臺)1)分布式集群存儲：基于對象的高性能3)HBase:分布式Key-Value數(shù)據(jù)庫。Hadoop分布式文件系統(tǒng)HDFS(HadoopDistributedFileSystem)能提供高吞吐量的HBase是一個高可靠性、高性能、面向列、可伸縮的分布式存儲系統(tǒng)，其設(shè)計目HBase使用場景有如下幾個特點：海量數(shù)據(jù)(TB或PB級別以上);需要很高的吞吐量；需要在海量數(shù)據(jù)中實現(xiàn)高效的隨機(jī)讀??；需要很好的伸縮能力；能夠同時處理結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)；不需要完全擁有傳統(tǒng)關(guān)系型數(shù)據(jù)庫所具備的ACID特性。UnitedHadoop的HBase支持地理容災(zāi)、二級索引等高級特性，滿足極高可靠性和開發(fā)易用性要求。HBase適合于建立海量數(shù)據(jù)存儲平臺，用于數(shù)據(jù)的存儲和實時訪問，例如歷史明細(xì)查詢、詳單查詢等業(yè)務(wù)。Hive是一個建立在Hadoop上的數(shù)據(jù)倉庫框架，提供類似SQL的HQL語言操作結(jié)構(gòu)化數(shù)據(jù)，其基本原理是將HQL語言自動轉(zhuǎn)換成MapReduce任務(wù)，從而完成對Hadoop集群中存儲的海量數(shù)據(jù)進(jìn)行查詢和分析。Hive主要特點如下：通過HQL語言非常容易的完成數(shù)據(jù)提取、轉(zhuǎn)換和加載(ETL);通過HQL完成海量結(jié)構(gòu)化數(shù)據(jù)分析；靈活的數(shù)據(jù)存儲格式，支持JSON,CSV,TEXTFILE,RCFILE,SEQUENCEFILE等存儲格式，并支持自定義擴(kuò)展；Hive的主要應(yīng)用于海量數(shù)據(jù)的離線分析(如日志分析，集群狀態(tài)分析)、大規(guī)模的數(shù)據(jù)挖掘(用戶行為分析，興趣分區(qū)，區(qū)域展示)等場景下。為保證Hive服務(wù)的高可用性、用戶數(shù)據(jù)的安全及訪問服務(wù)的可控制，UnitedHadoop的Hive具有如下特性：基于kerberos技術(shù)的安全認(rèn)證機(jī)制；數(shù)據(jù)文件加密機(jī)制；雙機(jī)熱備；完善的權(quán)限管理。Hive適合于結(jié)構(gòu)化數(shù)據(jù)或半結(jié)構(gòu)化數(shù)據(jù)的挖掘和分析。ZooKeeper是一個分布式、高可用性的協(xié)調(diào)服務(wù)。在Hadoop系統(tǒng)中主要提供兩個功能：一個功能是幫助系統(tǒng)避免單點故障，建立可靠的應(yīng)用程序，另一個功能是提供分布式協(xié)作服務(wù)和維護(hù)配置信息。ZooKeeper主要特點：●順序一致性：按照客戶端發(fā)送請求的順序更新數(shù)據(jù)。●原子性：更新要么成功，要么失敗，不會出現(xiàn)部分更新。●單一性：無論客戶端連接哪個server,都會看到同一個視圖。0ozie是一個用來管理Hadoopjob任務(wù)的工作流引擎，Oozie流程基于有向無環(huán)圖 (DirectedAcyclicalGraph)來定義和描述，支持多種工作流模式及流程定時觸發(fā)機(jī)制。Oozie主要特點：支持分發(fā)、聚合、選擇等工作流流程模式件緊密結(jié)合；流程變量支持參數(shù)化；支持流程定向接口包括OM類的Syslog、SNMP,以及安全管理對接接口LDAP。本地管理GUI界面提供系7.2油氣數(shù)據(jù)分析系統(tǒng)架構(gòu)軟件管理軟件管理報表統(tǒng)計自定義業(yè)務(wù)模型任務(wù)調(diào)度常用業(yè)務(wù)模型業(yè)務(wù)定義分類聚類圖形算子消息中心數(shù)據(jù)標(biāo)準(zhǔn)化海量普通數(shù)據(jù)基礎(chǔ)數(shù)據(jù)分布式數(shù)據(jù)庫授權(quán)流程日志審計檢索用戶權(quán)限去重清洗文件提取信令提取分布式文件協(xié)議還原數(shù)據(jù)匯聚基本算子業(yè)務(wù)分析設(shè)備管理內(nèi)容分析采集存儲、分析業(yè)務(wù)管理圖7-2情報分析系統(tǒng)系統(tǒng)架構(gòu)圖7.2.1非格式數(shù)據(jù)的分類存儲word,ppt,execl,pdf,rtf,txt等多種文件類型。7.2.2對格式化數(shù)據(jù)的全文檢索合多線索加權(quán)檢索檢索、業(yè)務(wù)定義等功能模塊，滿足客戶業(yè)務(wù)分析的管理需求，通過全文檢索和加權(quán)檢索，可以把不同的情報內(nèi)容針對一個時間、事件進(jìn)行關(guān)聯(lián)起來，并形成事件發(fā)展趨勢的分析圖表，用來提供領(lǐng)導(dǎo)層對金融項目的決策和分析。7.2.3完善的業(yè)務(wù)分析報表系統(tǒng)系統(tǒng)運維子系統(tǒng)管理整個系統(tǒng)的設(shè)備，軟件，配置等，采用統(tǒng)計報表、狀態(tài)顯示等多種方式展示系統(tǒng)運行狀態(tài)，維護(hù)整個系統(tǒng)穩(wěn)定運行，實現(xiàn)系統(tǒng)的高可用性，高擴(kuò)展性。存儲分析子系統(tǒng)是整個系統(tǒng)的核心部分。實現(xiàn)海量數(shù)據(jù)的存儲、檢索、分析等功能。實現(xiàn)對目標(biāo)數(shù)據(jù)、圖像信息、聲音信息等各種文件類型的海量存儲，實現(xiàn)對這些類型的文件的關(guān)鍵字快速檢索結(jié)果，并形成各種形式的業(yè)務(wù)報表系統(tǒng)。7.2.4國內(nèi)油氣存儲分布分析圖根據(jù)大數(shù)據(jù)中，油氣數(shù)據(jù)和勘探情況、質(zhì)量情況、油氣調(diào)整數(shù)據(jù)，分析每個全球油氣發(fā)7.2.5分析各國油氣交易形勢圖根據(jù)國家名稱可以方便把各個國家發(fā)展趨勢圖、油氣分布熱點分布圖分析出來；按照全球各大交易所數(shù)據(jù)技術(shù)分析各類產(chǎn)品的價格趨向圖；根據(jù)全球各個交易所每天的公開的價格數(shù)據(jù)，可以分析各種產(chǎn)品的價格趨勢圖(技術(shù)分用戶可以定制所關(guān)心的數(shù)據(jù)統(tǒng)計圖根據(jù)存在的數(shù)據(jù)和定義的算法，用戶可以定義自己關(guān)心的數(shù)據(jù)統(tǒng)計圖；7.2.6數(shù)據(jù)分類存儲與自動化數(shù)據(jù)引擎數(shù)據(jù)存儲層：支持海量異構(gòu)數(shù)據(jù)的統(tǒng)一可靠的存儲管理，對外提供統(tǒng)一的分布式調(diào)用接等Nosql分布式數(shù)據(jù)庫集群，對現(xiàn)有的數(shù)據(jù)ETL采集、清洗、轉(zhuǎn)換、匯總進(jìn)用海量數(shù)據(jù)分布存儲技術(shù)，用spark、storm等大數(shù)據(jù)處理軟件對hbase中的數(shù)據(jù)據(jù)交交易量、交易時間段、交易算法、交易品種、交易價交易數(shù)據(jù)按照產(chǎn)品分類趨勢分析圖交易數(shù)據(jù)按照客戶分類盈利分析圖交易數(shù)據(jù)按照傭金盈利分析圖交易數(shù)據(jù)按照客戶操作手法分析圖交易數(shù)據(jù)按照可戶盈利排名分析圖交易數(shù)據(jù)可以提示用戶適合那種產(chǎn)品交易根據(jù)用戶的交易數(shù)據(jù)，可以分析出每個客戶的分布情況，依據(jù)交易數(shù)中存在IP信根據(jù)交易信息，可以為用戶提供全方位的各種數(shù)據(jù)報表和數(shù)據(jù)產(chǎn)品，指導(dǎo)用戶去做自己的產(chǎn)品。分布式數(shù)據(jù)總線是分析系統(tǒng)的數(shù)據(jù)通路，其基于分布式內(nèi)存實現(xiàn)，可實現(xiàn)高速的數(shù)據(jù)交換、緩沖及轉(zhuǎn)換、遷移等。各子系統(tǒng)之間和子系統(tǒng)內(nèi)部的各個組件之間通過分布式數(shù)據(jù)總線互聯(lián)，實現(xiàn)數(shù)據(jù)在組件間的交換及同步；外部數(shù)據(jù)源接入內(nèi)部存儲組件前也要先經(jīng)過數(shù)據(jù)總線進(jìn)行緩沖、交換等預(yù)處理操作；此外為支持一體機(jī)對異構(gòu)數(shù)據(jù)的關(guān)聯(lián)融合，提供對異構(gòu)數(shù)據(jù)的關(guān)聯(lián)加載，并可利用數(shù)據(jù)總線的高速緩沖區(qū)進(jìn)行多集合數(shù)據(jù)的join統(tǒng)一格式轉(zhuǎn)換等處理；此外數(shù)據(jù)總線還可完成對異構(gòu)存儲組件內(nèi)數(shù)據(jù)聯(lián)合的功能，可支持上層一次操作對異構(gòu)數(shù)據(jù)集的聯(lián)合查詢。圖7-3:數(shù)據(jù)總線架構(gòu)圖數(shù)據(jù)總線處于數(shù)據(jù)傳輸?shù)年P(guān)鍵路徑上，因而對數(shù)據(jù)傳輸流起到控制作用，可完成對數(shù)據(jù)的分發(fā)和調(diào)度。同時還可根據(jù)上層存儲訪問的不同需求自動將數(shù)據(jù)分發(fā)到相應(yīng)的存儲組件，同時做到對上層透明。提供如下關(guān)鍵特性：●各組件間數(shù)據(jù)融合、緩存、交換支持Broker節(jié)點的動態(tài)在線添加數(shù)據(jù)接入數(shù)據(jù)接入模塊提供對多種接入數(shù)據(jù)的處理。對海主要是將任務(wù)輪詢獲取的所有有效任務(wù)進(jìn)行規(guī)則解析，數(shù)據(jù)存儲層采用了存儲服務(wù)器集群和元數(shù)據(jù)服務(wù)器集群通過千兆以太網(wǎng)絡(luò)/萬兆以太網(wǎng)分布式列數(shù)據(jù)庫可支持大于幾十個節(jié)點，PB存儲規(guī)模的scale-out;性能上其針對具體支持標(biāo)準(zhǔn)的K-V訪問接口之外，還可較好的兼容SQL標(biāo)準(zhǔn)及JDBC接口，可以很好的與既有在應(yīng)用場景方面，分布式列數(shù)據(jù)庫常被用作全量基礎(chǔ)數(shù)據(jù)的組織和存儲(包括結(jié)構(gòu)化及半結(jié)構(gòu)化數(shù)據(jù)),同時提供對此全量數(shù)據(jù)的實時查詢；可兼容傳統(tǒng)數(shù)據(jù)倉庫OLAP場景，●提供支持大數(shù)據(jù)分析的計算框架，包括MapReduce、內(nèi)存計算等并行計算框架，具備靈活定制型、彈性擴(kuò)展等特性。●提供面向大規(guī)模異構(gòu)數(shù)據(jù)源的抽取功能和異構(gòu)數(shù)據(jù)源統(tǒng)一組織模型，具備異構(gòu)數(shù)據(jù)的融合能力。●基于分布式計算框架的機(jī)器學(xué)習(xí)與數(shù)據(jù)挖掘、文本檢索、數(shù)值分析、地理位置計算、檢索統(tǒng)計等通用算子集；●對海量實時數(shù)據(jù)的統(tǒng)計特征的快速提取(如max,min,average,sum等)。機(jī)器學(xué)習(xí)音頻計算視頻計算分類協(xié)同過濾圖計算流計算統(tǒng)計類文本類地理位置類分布式計算框架圖7-4:計算引擎結(jié)構(gòu)圖如上圖所示，計算引擎分兩個層次：分布式計算框架和其上的各種基本計算模型。分布式計算框架提供對主流計算框架的支持以及編程接口，包括MapReduce、主流內(nèi)存計算框架等，分布式計算框架負(fù)責(zé)管理整個系統(tǒng)中的計算資源和數(shù)據(jù)資源，合理調(diào)度各個計算節(jié)點上的計算任務(wù)。計算框架提供一下功能：●計算任務(wù)拆分和分發(fā)。常用的分類算法有決策樹算法ID3和C4.5。ID3根據(jù)最大熵原理決定樹的每一個節(jié)點用哪一個特征進(jìn)行決策，直到建立起葉子節(jié)點。C4.5現(xiàn)的K-Means算法可擴(kuò)展可并行，對大數(shù)據(jù)環(huán)境有著很強(qiáng)的適應(yīng)性。4.SQL類算子SQL類算子針對結(jié)構(gòu)化數(shù)據(jù)的常用基本算法，支持常用SQL語句。6.圖計算7.流計算實時數(shù)據(jù)源，包括Kafka,flume,tcp等。支持對實時數(shù)據(jù)流的復(fù)雜算法操作，例如map,8.視頻圖像計算業(yè)務(wù)模型定義了數(shù)據(jù)分析的算法和執(zhí)行流程。業(yè)務(wù)模型由底層的基本算法組成。系統(tǒng)提供常用的基本業(yè)務(wù)模型，同時也可以根據(jù)客戶需要定制業(yè)務(wù)模型。系統(tǒng)提供的基本業(yè)務(wù)模型包括：綜合情報檢索、通信關(guān)系、時空碰撞、實時監(jiān)控、線索分析等。1.綜合情報檢索提供多維度大數(shù)據(jù)檢索功能，統(tǒng)一結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)檢索，提供統(tǒng)一的檢索數(shù)據(jù)功能。提供對word,ppt,execl,pdf,rtf,txt等多種文檔數(shù)據(jù)的統(tǒng)一檢索，可以按照不同的維度統(tǒng)一檢索各種文檔。2.通信關(guān)系提供以特定目標(biāo)為中心的通信關(guān)系圖。通過對海量數(shù)據(jù)統(tǒng)計，提取特定目標(biāo)的通信關(guān)系3.時空碰撞以時間和空間為約束，發(fā)現(xiàn)目標(biāo)的模型。4.實時監(jiān)控提供實時過濾入庫數(shù)據(jù)的功能，可以根據(jù)用戶設(shè)定的條件，實時分析入庫數(shù)據(jù)，匹配的數(shù)據(jù)作為重點數(shù)據(jù)跟蹤，同時可以提供告警功能。5.情報分析根據(jù)用戶設(shè)定的多種不同條件，在海量基礎(chǔ)數(shù)據(jù)中檢索符合情報條件的數(shù)據(jù)，并根據(jù)檢索結(jié)果進(jìn)行統(tǒng)計和匹配度計算，得到匹配度排序?？梢杂行У貛椭脩魷p少搜索范圍，快速鎖定目標(biāo)。業(yè)務(wù)管理為用戶提供全面的業(yè)務(wù)管理功能。包括用戶權(quán)限管理，業(yè)務(wù)管理，業(yè)務(wù)授權(quán)管理，審計，統(tǒng)計等功能。海量數(shù)據(jù)和關(guān)鍵業(yè)務(wù)往往是用戶的核心資產(chǎn)，對這些數(shù)據(jù)的訪問和操作必須有嚴(yán)格的控制。用戶權(quán)限管理模塊實現(xiàn)對用戶訪問權(quán)限的控制，控制用戶只可以看到需要看的數(shù)據(jù)和業(yè)務(wù)。用戶權(quán)限管理通過為不同用戶賦予不同的角色，賦予用戶不同的操作權(quán)限，用戶無法看到未授權(quán)的功能。在通過角色限制用戶的權(quán)限的同時，通過將用戶劃分為不同的業(yè)務(wù)組，分離不同業(yè)務(wù)組之間的業(yè)務(wù)數(shù)據(jù)。通過角色和業(yè)務(wù)組雙維度控制數(shù)據(jù)和業(yè)務(wù)訪問，有效防止信息泄露和數(shù)據(jù)濫用。業(yè)務(wù)管理為用戶提供業(yè)務(wù)任務(wù)的管理工作，用戶可以使用業(yè)務(wù)管理增加、刪除業(yè)務(wù)任務(wù)，可以修改業(yè)務(wù)的屬性。業(yè)務(wù)管理提供了綜合情報檢索、時空碰撞、通信關(guān)系、實時監(jiān)控、情報分析等常用的業(yè)務(wù)模型，用戶可以直接使用這些模型，快速開展常見的業(yè)務(wù)。綜合情報檢索功能提供全文檢索。實現(xiàn)對目標(biāo)信息、圖像信息、聲音信息等各類文檔綜合檢索，并提供直接鏈接，可以直接查看。如圖所示。業(yè)務(wù)定義線素分析綜合查詢×線素分析×￥圖7-5綜合檢索界面關(guān)聯(lián)賬號統(tǒng)計功能實現(xiàn)對檢索到的數(shù)據(jù)的統(tǒng)計功能，統(tǒng)計和情報相關(guān)的賬號出現(xiàn)次數(shù)，用于發(fā)現(xiàn)和情報高度相關(guān)的人員。如圖所示：■wejinsongOjztecenjangjinhu@jzteccn圖8-2綜合查詢×線素分析×日志審計圖8-3圖7-7賬號通訊關(guān)系%8圖7-8相關(guān)情報時序圖7.3云計算中心安全層規(guī)劃設(shè)計從“云計算”的概念提出以來。關(guān)于其數(shù)據(jù)安全性的質(zhì)疑就一直不曾平息，這里的安全性主要包括兩個方面：一是自己的信息不會被泄露，二是在需要時能夠保證準(zhǔn)確無誤地獲取這些信息。總結(jié)起來，用戶在選擇云計算服務(wù)時主要關(guān)注的安全風(fēng)險有以下幾方面：■資源聚合技術(shù)的應(yīng)用使得計算、存儲、網(wǎng)絡(luò)資源高度集中：用戶數(shù)據(jù)存儲、處理、網(wǎng)絡(luò)傳輸?shù)榷寂c數(shù)據(jù)中心密切相關(guān)如果發(fā)生故障造成的；后果較傳統(tǒng)數(shù)據(jù)中心更為嚴(yán)重?！鎏摂M化等技術(shù)的應(yīng)用使得傳統(tǒng)物理安全邊界缺失：傳統(tǒng)網(wǎng)絡(luò)安全設(shè)施與防御機(jī)制在防護(hù)能力、響應(yīng)速度等方面越來越難以滿足日益復(fù)雜的安全防護(hù)要求，用戶信息安全、用戶信息隔離問題在共享物理資源環(huán)境下的保護(hù)更為迫切?！鰯?shù)據(jù)傳輸安全：數(shù)據(jù)中心保存有大量的私密數(shù)據(jù)。在云計算模式下，面臨著幾個方面的問題：一是如何確數(shù)據(jù)在網(wǎng)絡(luò)傳輸過程中嚴(yán)格加密不被竊?。欢侨绾伪ＷC數(shù)據(jù)中心在得到數(shù)據(jù)時不將絕密數(shù)據(jù)泄露出去；三是在數(shù)據(jù)中心處存儲時，如何保證訪問用戶經(jīng)過嚴(yán)格的權(quán)限認(rèn)證并且是合法的數(shù)據(jù)訪問，并保證任何時候都可以安全訪問到自身的數(shù)據(jù)；■數(shù)據(jù)存儲安全：數(shù)據(jù)存儲是非常重要的環(huán)節(jié)，其中包括數(shù)據(jù)存儲的軟硬件配置、數(shù)據(jù)的存儲位置、數(shù)據(jù)的相互隔離、數(shù)據(jù)的恢復(fù)等。在云計算模式下，數(shù)據(jù)中心在高度整合的大容量存儲空間上，擁有權(quán)限的數(shù)據(jù)提供給各權(quán)屬單位使用。但相關(guān)單位并不清楚自己的數(shù)據(jù)被放置在哪臺服務(wù)器上，甚至根本不了解這臺服務(wù)器放置在哪個機(jī)柜；存儲服務(wù)器軟硬件均采用國產(chǎn)化服務(wù)器，從根本上保障了存儲數(shù)據(jù)的安全■數(shù)據(jù)審計安全：內(nèi)部數(shù)據(jù)管理時，為了保證數(shù)據(jù)的準(zhǔn)確性對數(shù)據(jù)審計對使用人員進(jìn)行認(rèn)證。作系統(tǒng)安全、交換機(jī)VLAN劃分、以及集群下存儲安全及服務(wù)器雙機(jī)熱備，保障可管理機(jī)制等；虛擬機(jī)安全：虛擬機(jī)安全隔離、訪問控制、惡意虛擬機(jī)防護(hù)(防地2.數(shù)據(jù)安全，尤其保障數(shù)據(jù)信息的CIA(可用性、保密性和完整性)■數(shù)據(jù)訪問控制：設(shè)置虛擬環(huán)境下的邏輯邊界安全訪問控制策略，實現(xiàn)虛擬機(jī)、虛■數(shù)據(jù)存儲安全：為用戶可選提供加密存儲服務(wù)；虛擬機(jī)服務(wù)則建議用戶對重要的3.運營管理安全，積極提高運營管理安全的水平和質(zhì)量，實現(xiàn)集中地安全事件監(jiān)控標(biāo)要求；制定數(shù)據(jù)中心安全事件應(yīng)急響應(yīng)機(jī)制■4A安全(帳號、認(rèn)證、授權(quán)、審計):用戶管理用戶管理用戶管理用戶管理：對用7.3.3云數(shù)據(jù)中心安全系統(tǒng)總體設(shè)計安全平臺體系架構(gòu)如下：云計算相關(guān)標(biāo)準(zhǔn)法律法規(guī)云計算安全管理解決方案圖7-9云數(shù)據(jù)中心安全系統(tǒng)總體設(shè)計7.3.4云平臺安全防護(hù)詳細(xì)設(shè)計對于云平臺來說，,我們?nèi)绾卧诒ＷC用戶獲取的數(shù)據(jù)便利性的同時，確保云用戶身份的合法性和云資源訪問權(quán)限的可控性，如何確保業(yè)務(wù)的安全性，云終端接入安全是云計算中心需要解決的一個重點的問題。其主要需要考慮的有：身份安全、終端安全、傳輸安全、權(quán)限安全?！錾矸菡J(rèn)證安全：支持多種認(rèn)證方式的多因素組合認(rèn)證，除了最基本的用戶名以，引入第三方的權(quán)威機(jī)構(gòu)CA,通訊的雙方都認(rèn)為CA是絕對可信任的。然后由CA給通訊的雙方頒發(fā)證書(身份證),通訊的雙方在接受到對方的這個證書的時候，就驗證是否是CACA(CertificateAuthority)是數(shù)字證書認(rèn)證中心的簡稱，是指發(fā)放、管理、廢除數(shù)字證書的機(jī)構(gòu)。CA的作用是檢查證書持有者身份的合法性，并簽發(fā)證書(在證書上簽字),以服務(wù)負(fù)載均衡可以有效地均衡IP應(yīng)用的負(fù)載，優(yōu)化網(wǎng)絡(luò)性能，可以監(jiān)視所有的用