分散存儲(chǔ)油氣生產(chǎn)動(dòng)態(tài)大數(shù)據(jù)的優(yōu)化管理與快速查詢王洪亮;穆龍新;時(shí)付更;劉凱銘;錢育蓉【期刊名稱】《《石油勘探與開發(fā)》》【年（卷），期】2019（046）005【總頁數(shù)】7頁（P959-965）【關(guān)鍵詞】油氣生產(chǎn)動(dòng)態(tài);大數(shù)據(jù);并行計(jì)算;多維分析;優(yōu)化管理;快速查詢;生產(chǎn)預(yù)警【作者】王洪亮;穆龍新;時(shí)付更;劉凱銘;錢育蓉【作者單位】中國(guó)石油勘探開發(fā)研究院北京100083;新疆大學(xué)烏魯木齊830008【正文語種】中文【中圖分類】TE3920引言中國(guó)石油油氣水井生產(chǎn)數(shù)據(jù)管理系統(tǒng)（簡(jiǎn)稱A2系統(tǒng)）是中國(guó)石油天然氣集團(tuán)有限公司（以下簡(jiǎn)稱“集團(tuán)公司”）的大型信息系統(tǒng)之一。A2系統(tǒng)以油氣生產(chǎn)管理為核心，實(shí)現(xiàn)了油、氣、水井生產(chǎn)數(shù)據(jù)的采集、處理、統(tǒng)計(jì)、匯總、存儲(chǔ)、上報(bào)、發(fā)布等一體化管理。A2系統(tǒng)管理了36x104余口油、氣、水井的生產(chǎn)數(shù)據(jù)，生產(chǎn)歷史近60年，數(shù)據(jù)記錄超過60x108條，結(jié)構(gòu)化數(shù)據(jù)量超過5TB，并發(fā)用戶4000多戶。由于生產(chǎn)數(shù)據(jù)量巨大、并發(fā)高和系統(tǒng)建設(shè)時(shí)技術(shù)所限，系統(tǒng)采用分散式部署，即16個(gè)油氣田公司各自部署一套系統(tǒng)，管理著本油氣田公司的油、氣、水井生產(chǎn)數(shù)據(jù)，共計(jì)16套數(shù)據(jù)庫。A2系統(tǒng)采用關(guān)系型數(shù)據(jù)庫，數(shù)據(jù)模型采用面向?qū)ο竽Ｐ瓦M(jìn)行設(shè)計(jì)。A2系統(tǒng)主要包含基礎(chǔ)信息、生產(chǎn)測(cè)試、油氣生產(chǎn)、增產(chǎn)措施、采油工藝（井設(shè)備）、油氣集輸（站庫）6類數(shù)據(jù)，共計(jì)362張數(shù)據(jù)表，9512個(gè)數(shù)據(jù)項(xiàng)。A2系統(tǒng)已經(jīng)成為各油氣田公司油氣生產(chǎn)管理的日常工作平臺(tái)，取得了顯著的應(yīng)用效果。集團(tuán)公司在進(jìn)行全局性油、氣、水井生產(chǎn)分析時(shí)，由于數(shù)據(jù)量巨大，暴露出A2系統(tǒng)查詢效率低、多個(gè)數(shù)據(jù)庫間存在信息孤島、人工收集數(shù)據(jù)時(shí)間長(zhǎng)等問題：①系統(tǒng)采用關(guān)系型數(shù)據(jù)庫，數(shù)據(jù)表中數(shù)據(jù)記錄超過1.0x107條時(shí)，在多表聯(lián)合查詢時(shí)，查詢時(shí)間超過5min，分析人員等待時(shí)間長(zhǎng)；②系統(tǒng)間存在信息孤島問題，不能互聯(lián)互通，人工收集數(shù)據(jù)時(shí)間長(zhǎng)。在集團(tuán)公司層級(jí)進(jìn)行油、氣、水井生產(chǎn)數(shù)據(jù)分析研究時(shí)，需要重復(fù)登錄16套系統(tǒng)收集數(shù)據(jù)，再進(jìn)行手工統(tǒng)計(jì)分析，存在重復(fù)勞動(dòng)，不能高效進(jìn)行全局分析。因此，迫切需要一個(gè)能夠?qū)崟r(shí)掌握全局性油、氣、水井生產(chǎn)動(dòng)態(tài)的系統(tǒng)，通過該系統(tǒng)可以深入透視分析數(shù)據(jù)背后潛在的有用信息，支撐油氣生產(chǎn)與研究工作。國(guó)夕卜大數(shù)據(jù)分析挖掘技術(shù)在石油工業(yè)中得到初步應(yīng)用。將油氣大數(shù)據(jù)作為資產(chǎn)，基于數(shù)據(jù)驅(qū)動(dòng)模型優(yōu)化油氣的勘探與生產(chǎn)，降低石油公司生產(chǎn)成本［1-2］。雪佛龍公司使用Hadoop技術(shù)進(jìn)行地震數(shù)據(jù)分析來識(shí)別儲(chǔ)集層［3］。與此同時(shí)，中國(guó)油氣行業(yè)對(duì)大數(shù)據(jù)技術(shù)的研究與應(yīng)用也在持續(xù)深入推進(jìn)。中國(guó)石油天然氣集團(tuán)有限公司已建成約70個(gè)大型信息系統(tǒng)并上線運(yùn)行，并正在推進(jìn)智能油田建設(shè)［4］。魯帥帥［5］基于大數(shù)據(jù)環(huán)境建立油氣鉆井信息分布式數(shù)據(jù)倉庫；曲海旭［6］利用大數(shù)據(jù)技術(shù)進(jìn)行油田生產(chǎn)經(jīng)營(yíng)優(yōu)化；大數(shù)據(jù)與人工智能結(jié)合，在智能鉆井方案優(yōu)化、測(cè)井曲線生成、水平井地質(zhì)建模等方面的研究也取得了一定進(jìn)展［7-10］。為解決集團(tuán)公司在進(jìn)行全局性油、氣、水井生產(chǎn)動(dòng)態(tài)分析時(shí)遇到的數(shù)據(jù)庫查詢分析效率低、多個(gè)數(shù)據(jù)庫間存在信息孤島、人工收集數(shù)據(jù)時(shí)間長(zhǎng)等問題，利用大數(shù)據(jù)分布式存儲(chǔ)與并行計(jì)算、數(shù)據(jù)倉庫建模等技術(shù)構(gòu)建多維分析引擎數(shù)據(jù)管理平臺(tái)，實(shí)現(xiàn)一個(gè)系統(tǒng)管理36x104余口油、氣、水井生產(chǎn)數(shù)據(jù)，同時(shí)實(shí)現(xiàn)快速查詢與多維統(tǒng)計(jì)分析。1總體設(shè)計(jì)1.1架構(gòu)設(shè)計(jì)由于單機(jī)部署服務(wù)器的處理能力有限，當(dāng)業(yè)務(wù)增長(zhǎng)到一定程度的時(shí)候，單機(jī)的硬件資源將無法滿足業(yè)務(wù)需求［11-13］。考慮油、氣、水井生產(chǎn)數(shù)據(jù)總量巨大、增長(zhǎng)速度快、計(jì)算機(jī)性能擴(kuò)展與成本等方面的原因，本文選用Hadoop的分布式文件存儲(chǔ)系統(tǒng)（HDFS）和并行計(jì)算框架（MapReduce）作為本系統(tǒng)的基礎(chǔ)支撐架構(gòu)。利用Hadoop大數(shù)據(jù)平臺(tái)，結(jié)合分布式數(shù)據(jù)倉庫（Hive）、多維分析引擎（ApacheKylin）、分布式實(shí)時(shí)數(shù)據(jù)倉庫（HBase）等技術(shù)構(gòu)建油氣生產(chǎn)多維分析系統(tǒng)（見圖1）。采用多維分析技術(shù)保證秒級(jí)響應(yīng)，實(shí)現(xiàn)36x104余口油、氣、水井生產(chǎn)大數(shù)據(jù)的集中存儲(chǔ)與管理；基于油、氣、水井全樣本數(shù)據(jù)分析，開展油區(qū)生產(chǎn)運(yùn)行跟蹤、重點(diǎn)油田生產(chǎn)預(yù)警、低產(chǎn)井和長(zhǎng)停井現(xiàn)狀、分類油藏開發(fā)規(guī)律等分析研究工作；在集團(tuán)公司層級(jí)進(jìn)行統(tǒng)一的生產(chǎn)多維分析，并實(shí)現(xiàn)集團(tuán)公司、油氣田公司、油氣田、區(qū)塊、單井信息的逐級(jí)追溯，滿足實(shí)時(shí)掌握油氣生產(chǎn)動(dòng)態(tài)的需求。圖1油氣生產(chǎn)多維分析架構(gòu)圖1.2關(guān)鍵技術(shù)1.2.1MapReduce并行計(jì)算框架MapReduce是一種并行計(jì)算框架，適用于大規(guī)模數(shù)據(jù)集的并行運(yùn)算［14-19］。它的設(shè)計(jì)思想是將一個(gè)大的計(jì)算任務(wù)分為多個(gè)小的任務(wù)，然后把這些小的任務(wù)分配到各個(gè)工作節(jié)點(diǎn)進(jìn)行計(jì)算，每個(gè)子節(jié)點(diǎn)完成自己的計(jì)算任務(wù)后，把各個(gè)子節(jié)點(diǎn)的結(jié)果進(jìn)行聚合操作，從而算出最后的結(jié)果（見圖2）。圖2并行計(jì)算過程Hive數(shù)據(jù)倉庫Hive是基于HDFS和MapReduce實(shí)現(xiàn)的，是一種構(gòu)建于Hadoop平臺(tái)上的數(shù)據(jù)倉庫［20-22］。Hive的設(shè)計(jì)思想是應(yīng)用簡(jiǎn)單的類SQL（結(jié)構(gòu)化查詢語言）來取代復(fù)雜的MapReduce編程過程，從而讓業(yè)務(wù)人員熟練使用。Hive給用戶提供訪問數(shù)據(jù)倉庫的手段，通過客戶端提供的指令，控制臺(tái)檢索數(shù)據(jù)倉庫中的數(shù)據(jù)；Hive同時(shí)也提供應(yīng)用程序接口進(jìn)行訪問查詢。Hive數(shù)據(jù)倉庫的服務(wù)端和客戶端之間的通信方式基于Thrift框架實(shí)現(xiàn)。通信框架也負(fù)責(zé)把客戶端的類SQL語句發(fā)送給Driver解析器并同時(shí)返回解析器的處理結(jié)果。Kylin多維分析引擎ApacheKylin是一個(gè)開源的分布式多維分析計(jì)算引擎。Kylin是聯(lián)機(jī)分析技術(shù)（OLAP）在Hadoop上的一個(gè)應(yīng)用實(shí)例，可以提供基于HDFS多維數(shù)據(jù)的分析能力，本身數(shù)據(jù)處理計(jì)算的能力已經(jīng)達(dá)到PB（1x250字節(jié)）級(jí)別，能夠在亞秒范圍內(nèi)查詢數(shù)據(jù)倉庫中的信息。Kylin設(shè)計(jì)的基本思想是多維數(shù)據(jù)的預(yù)計(jì)算，以存儲(chǔ)空間來換取查詢響應(yīng)時(shí)間［23］。Kylin本身并不存儲(chǔ)實(shí)際數(shù)據(jù)，數(shù)據(jù)都存儲(chǔ)在HDFS上。該引擎使用數(shù)據(jù)倉庫中的數(shù)據(jù)作為其數(shù)據(jù)輸入源，當(dāng)一批數(shù)據(jù)進(jìn)入后，它會(huì)計(jì)算出高維數(shù)據(jù)所有維度組合下的數(shù)據(jù)，并將預(yù)計(jì)算完成后的數(shù)據(jù)存儲(chǔ)在數(shù)據(jù)立方體中，最后以鍵值對(duì)的方式存儲(chǔ)在HBase數(shù)據(jù)庫中。當(dāng)操作人員進(jìn)行數(shù)據(jù)訪問時(shí)，查詢服務(wù)就會(huì)轉(zhuǎn)換成HBase數(shù)據(jù)庫上的掃描過程，免除多表連接、聚合運(yùn)算等高耗時(shí)的計(jì)算任務(wù)，提高查詢響應(yīng)速度。HBase實(shí)時(shí)查詢數(shù)據(jù)庫HBase是基于列式存儲(chǔ)的非關(guān)系型數(shù)據(jù)庫，解決了HDFS隨機(jī)讀寫訪問延時(shí)大的問題，其本身具備了HDFS的高容錯(cuò)特點(diǎn)，適合用于大數(shù)據(jù)的實(shí)時(shí)查詢服務(wù)。HBase作為NoSQL（非關(guān)系型數(shù)據(jù)庫）存儲(chǔ)系統(tǒng)，本身可以存儲(chǔ)結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)。HBase提供了簡(jiǎn)單的數(shù)據(jù)庫操作方式。數(shù)據(jù)類型只有字符串一種類型，并且存儲(chǔ)表格可以設(shè)計(jì)得很大，行數(shù)可達(dá)1.0x108以上，列數(shù)可達(dá)1.0x106以上[24]。2技術(shù)實(shí)現(xiàn)根據(jù)總體設(shè)計(jì)，技術(shù)實(shí)現(xiàn)主要包括數(shù)據(jù)倉庫建模、數(shù)據(jù)采集、多維分析和可視化4個(gè)步驟。2.1數(shù)據(jù)倉庫建模技術(shù)油氣生產(chǎn)大數(shù)據(jù)多維分析主要包括油區(qū)生產(chǎn)運(yùn)行跟蹤、重點(diǎn)油田生產(chǎn)預(yù)警、低產(chǎn)井和長(zhǎng)停井現(xiàn)狀、分類油藏開發(fā)規(guī)律分析等主題（見表1）。每個(gè)主題的數(shù)據(jù)都是多維的，需要從不同的角度進(jìn)行分析。本文以油區(qū)生產(chǎn)運(yùn)行跟蹤分析主題的采出井生產(chǎn)數(shù)據(jù)分析為例，介紹Hive數(shù)據(jù)倉庫的建模過程。表1油氣生產(chǎn)多維分析主題表主題分析目標(biāo)油區(qū)生產(chǎn)運(yùn)行跟蹤分析跟蹤油田開發(fā)生產(chǎn)動(dòng)態(tài)，分析研判公司開發(fā)形勢(shì)重點(diǎn)油田生產(chǎn)預(yù)警分析監(jiān)控重點(diǎn)油田生產(chǎn)動(dòng)態(tài)，及時(shí)預(yù)警提出對(duì)策建議低產(chǎn)、長(zhǎng)停井現(xiàn)狀分析聚焦油田開發(fā)重點(diǎn)問題，開展關(guān)鍵問題專題研究分類油藏開發(fā)規(guī)律分析掌握不同類型油藏開發(fā)規(guī)律，實(shí)行油藏分類管理采出井生產(chǎn)數(shù)據(jù)分析主要研究采出井及油氣生產(chǎn)單元的生產(chǎn)運(yùn)行情況，它涵蓋的數(shù)據(jù)包括采出井基礎(chǔ)數(shù)據(jù)、采出井生產(chǎn)數(shù)據(jù)、采出井狀態(tài)數(shù)據(jù)、采出井措施數(shù)據(jù)、采出井機(jī)采數(shù)據(jù)、關(guān)井?dāng)?shù)據(jù)等。多維模型主要包含事實(shí)表和維度表。事實(shí)表在數(shù)據(jù)倉庫結(jié)構(gòu)中處于多維模型的中央，包含維度、與維度關(guān)聯(lián)的外鍵和度量值。維度表是某一個(gè)維度屬性的集合，屬性的集合構(gòu)成一個(gè)維。維度是用戶分析問題時(shí)的一個(gè)重要工具，也是重要屬性，通過改變維度來改變觀察數(shù)據(jù)的角度，更容易獲取知識(shí)。通常對(duì)于簡(jiǎn)單的數(shù)據(jù)模型，一個(gè)事實(shí)表就可以表示一個(gè)主題，一個(gè)事實(shí)表對(duì)應(yīng)多個(gè)維度表。采出井生產(chǎn)數(shù)據(jù)分析的主要維度包括日期、井別、驅(qū)動(dòng)類型、采出方式、油氣品種、井型、油藏類型、油氣單元、組織機(jī)構(gòu)等（見表2）。表2采出井維度表的維度層次描述？與采出井生產(chǎn)數(shù)據(jù)分析相關(guān)的主要生產(chǎn)指標(biāo)包括基礎(chǔ)數(shù)據(jù)、生產(chǎn)數(shù)據(jù)、狀態(tài)數(shù)據(jù)、機(jī)采數(shù)據(jù)、措施數(shù)據(jù)、關(guān)井?dāng)?shù)據(jù)等105項(xiàng)關(guān)鍵指標(biāo)（見表3）。采出井生產(chǎn)數(shù)據(jù)多維分析屬于密集型計(jì)算，星型模型的優(yōu)點(diǎn)是數(shù)據(jù)集中運(yùn)算速度快并且布置相對(duì)簡(jiǎn)單，但存在數(shù)據(jù)冗余度較高的缺點(diǎn)，采用MapReduce并行計(jì)算正好可以改善數(shù)據(jù)冗余度問題，因此本文采用星型模型。該模型中事實(shí)表與所有維度表相連，事實(shí)表占據(jù)中間位置（見圖3）。表3采出井生產(chǎn)事實(shí)表標(biāo)、目的層等產(chǎn)油量、井口產(chǎn)水量、產(chǎn)液量、核實(shí)產(chǎn)油量、、含水率、氣油比等采出井生產(chǎn)數(shù)據(jù)分析狀態(tài)數(shù)據(jù)油嘴、電泵電流A、電泵電流B、電泵電流C、電泵電壓、回油溫度、摻液壓力、摻液溫度、油壓、套壓、回壓、關(guān)井油壓、關(guān)井套壓等機(jī)采數(shù)據(jù)泵效、泵徑、轉(zhuǎn)排量、沖程、沖次、轉(zhuǎn)數(shù)、動(dòng)液面、靜液面、理論排量、靜壓、流壓等措施數(shù)據(jù)措施名稱、起始日期、完工日期、主要措施、次要措施、起效年月、失效年月、措施前沉沒度、措施前泵效、措施前產(chǎn)量、初日增產(chǎn)量、初月增產(chǎn)量、增產(chǎn)量等關(guān)井?dāng)?shù)據(jù)關(guān)井起始時(shí)間、關(guān)井原因、關(guān)井結(jié)束時(shí)間、關(guān)前日產(chǎn)油量、關(guān)前日產(chǎn)液量、關(guān)前日產(chǎn)氣量等圖3采出井分析數(shù)據(jù)模型2.2數(shù)據(jù)采集技術(shù)將大慶、吉林、西南等16個(gè)油氣田公司A2數(shù)據(jù)庫中的油、氣、水井生產(chǎn)數(shù)據(jù)加載到Hive數(shù)據(jù)倉庫中。將事務(wù)型數(shù)據(jù)轉(zhuǎn)變?yōu)槊嫦蛴蜌馍a(chǎn)主題的數(shù)據(jù)（見圖4）。圖4數(shù)據(jù)處理流程16個(gè)油氣田公司數(shù)據(jù)庫中數(shù)據(jù)量巨大，抽取數(shù)據(jù)時(shí)需要設(shè)置一個(gè)數(shù)據(jù)緩存區(qū)，將數(shù)據(jù)一次性地從數(shù)據(jù)庫中讀取出來。在數(shù)據(jù)抽取過程中，先將數(shù)據(jù)抽取到臨時(shí)數(shù)據(jù)存儲(chǔ)區(qū)，然后進(jìn)行數(shù)據(jù)的轉(zhuǎn)換和清洗。轉(zhuǎn)換工作是將生產(chǎn)數(shù)據(jù)中格式不一致、單位不統(tǒng)一的數(shù)據(jù)進(jìn)行規(guī)整處理；清洗的工作主要是刪除重復(fù)信息、糾正存在錯(cuò)誤的數(shù)據(jù)［25］。本次作業(yè)流程中包括了日期、井別、驅(qū)動(dòng)類型、采出方式、油氣品種、井型、油藏類型、油氣單元、組織機(jī)構(gòu)等維度與油氣生產(chǎn)事實(shí)表。這里對(duì)每個(gè)維度都進(jìn)行相應(yīng)的定義，如時(shí)間維度，如果原數(shù)據(jù)是一個(gè)日期字段，要進(jìn)行拆分，最小粒度為天，將時(shí)間拆分為年、季度、月、日。而其他維度按照上述規(guī)則，進(jìn)行度量統(tǒng)一、空值處理、類型轉(zhuǎn)換等操作。經(jīng)過作業(yè)流程和轉(zhuǎn)換流程的協(xié)同工作，最后形成星型模型。2.3多維分析技術(shù)數(shù)據(jù)預(yù)聚合主要是對(duì)Hive數(shù)據(jù)倉庫中的油氣生產(chǎn)數(shù)據(jù)進(jìn)行數(shù)據(jù)預(yù)聚合處理操作，以滿足OLAP查詢請(qǐng)求中較高響應(yīng)速度的要求。該模塊在Kylin引擎的基礎(chǔ)上進(jìn)行二次開發(fā)實(shí)現(xiàn)，通過Kylin對(duì)外提供的接口來使用其內(nèi)部功能，并在原有功能的基礎(chǔ)上進(jìn)行系統(tǒng)功能擴(kuò)展，以滿足對(duì)自動(dòng)化運(yùn)行、管理、監(jiān)控和報(bào)警等方面的需求。多維立方體作為OLAP數(shù)據(jù)分析的重要對(duì)象，它是邏輯上的一種數(shù)據(jù)組織形式，本文采用四元組（D，M，A，F(xiàn)）來對(duì)一個(gè)多維立方體進(jìn)行定義。四元組中的不同元素從不同角度對(duì)該立方體的特征進(jìn)行描述，其定義如下：約束條件：①DAM=，表示維度集和測(cè)度集不會(huì)有交集；②i,j且表示任意兩個(gè)維度的屬性集不會(huì)相交。采出井生產(chǎn)數(shù)據(jù)多維立方體（Cube）的數(shù)據(jù)分析模型可定義為（Di,Mi,Ai,fi）,其中維度集。包括日期、井別、驅(qū)動(dòng)類型、采出方式、油氣品種、井型、油藏類型、油氣單元、組織機(jī)構(gòu)9個(gè)維度；測(cè)度集M包括井口產(chǎn)液量、井口產(chǎn)油量、井口產(chǎn)水量等生產(chǎn)動(dòng)態(tài)數(shù)據(jù)；屬性集A包括年、季度、月、旬、日、采油井、采氣井、一次采油、注水驅(qū)、化學(xué)驅(qū)、稠油熱采、自噴、抽油機(jī)、電泵、螺桿泵、射流泵、氣舉等屬性；f表示維度的層次。Kylin的數(shù)據(jù)來源是Hive數(shù)據(jù)倉庫，當(dāng)生產(chǎn)數(shù)據(jù)導(dǎo)入到Hive后，同時(shí)需要在Kylin中建立一個(gè)數(shù)據(jù)模型，并且與數(shù)據(jù)倉庫中的數(shù)據(jù)模型一致。模型中包括了一個(gè)事實(shí)表和任意多個(gè)維度表，以及事實(shí)表和維度表的關(guān)聯(lián)關(guān)系。當(dāng)模型設(shè)置完成后，開始構(gòu)建Cube引擎，讀取Hive中的數(shù)據(jù)，插入到一個(gè)臨時(shí)的扁平表中。大量的油氣生產(chǎn)數(shù)據(jù)全部存儲(chǔ)在Hive中，為了更好地管理數(shù)據(jù)，提高數(shù)據(jù)的查詢效率，Hive采用分區(qū)的方式，將數(shù)據(jù)按照時(shí)間存放。Kylin框架進(jìn)行Cube計(jì)算的時(shí)候，也是根據(jù)時(shí)間安排進(jìn)行運(yùn)算，Cube的分區(qū)列和Hive表的分區(qū)列相同，都是時(shí)間列。這樣，Hive可以跟著分區(qū)迅速找到需要進(jìn)行計(jì)算的數(shù)據(jù)，而不需要掃描所有的數(shù)據(jù)。MapReduce的計(jì)算完成后，數(shù)據(jù)直接加載到HBase中。數(shù)據(jù)是以鍵值對(duì)結(jié)構(gòu)存儲(chǔ)在HBase中，在查詢的時(shí)候可以直接從HBase中讀取數(shù)據(jù)。2.4可視化技術(shù)可視化是在數(shù)據(jù)分析中直觀展示數(shù)據(jù)關(guān)系的重要方式。本文采用ASP.NET、Echarts3.0、WebGIS等可視化接口技術(shù)將分析結(jié)果展示給用戶，最終實(shí)現(xiàn)油、氣、水井生產(chǎn)大數(shù)據(jù)分析，滿足實(shí)時(shí)掌握油氣生產(chǎn)動(dòng)態(tài)的需求。3應(yīng)用效果本文利用Hadoop分布式存儲(chǔ)與并行計(jì)算技術(shù)、數(shù)據(jù)倉庫建模技術(shù)、Kylin多維分析引擎，基于油、氣、水井全樣本分析，實(shí)現(xiàn)油區(qū)生產(chǎn)運(yùn)行跟蹤、重點(diǎn)油田生產(chǎn)預(yù)警、低產(chǎn)井和長(zhǎng)停井現(xiàn)狀分析、分類油藏開發(fā)規(guī)律等應(yīng)用。在集團(tuán)公司層級(jí)，油氣生產(chǎn)模式分析基本單元由原來的油田細(xì)化為單井，生產(chǎn)管理更為細(xì)致（見表4）。表4分析方式及效果對(duì)比表分析方式分析粒度數(shù)據(jù)收集數(shù)據(jù)處理工作時(shí)間傳統(tǒng)分析油田、區(qū)塊人工收集手工統(tǒng)計(jì)1d大數(shù)據(jù)分析油、氣、水井系統(tǒng)提供系統(tǒng)生成5s與傳統(tǒng)手工分析方式相比：①免去了人工數(shù)據(jù)準(zhǔn)備的工作步驟；②將常用分析方法形成模板，實(shí)現(xiàn)了統(tǒng)一的多維分析圖表，大幅提升工作效率。以低產(chǎn)井生產(chǎn)分析為例，應(yīng)用分析時(shí)間由原來的1d下降到現(xiàn)在的5s。分析人員只需登錄一套系統(tǒng)，即可實(shí)現(xiàn)低產(chǎn)井生產(chǎn)數(shù)據(jù)多維分析工作，快速掌握多維度的低產(chǎn)井生產(chǎn)狀況。分析結(jié)果可以按照集團(tuán)公司、油田公司、油氣田、區(qū)塊、單井逐級(jí)向下追溯，分析結(jié)果更加全面和準(zhǔn)確，可滿足實(shí)時(shí)掌握油氣生產(chǎn)動(dòng)態(tài)的需求。3.1油區(qū)生產(chǎn)運(yùn)行跟蹤實(shí)時(shí)跟蹤油區(qū)的總體生產(chǎn)運(yùn)行情況，預(yù)判生產(chǎn)趨勢(shì)并提前發(fā)現(xiàn)生產(chǎn)異常（見圖5）。分析日產(chǎn)油、新井日產(chǎn)油、措施日增油、月平均含水、日注水、綜合遞減、自然遞減等指標(biāo)，預(yù)判生產(chǎn)趨勢(shì)，及時(shí)發(fā)現(xiàn)生產(chǎn)異常，并逐級(jí)向油田、區(qū)塊、生產(chǎn)井進(jìn)行追溯，快速、精準(zhǔn)定位目標(biāo)區(qū)塊，分析偏離生產(chǎn)計(jì)劃的原因，提出開發(fā)調(diào)整對(duì)策。圖5油區(qū)生產(chǎn)運(yùn)行跟蹤分析圖3.2重點(diǎn)油田生產(chǎn)預(yù)警建立定量化預(yù)警機(jī)制，實(shí)現(xiàn)一個(gè)人即可監(jiān)控全部油田的生產(chǎn)動(dòng)態(tài)。主要對(duì)日產(chǎn)油、含水上升速度、開井率等主要開發(fā)指標(biāo)進(jìn)行月度對(duì)比分析（見表5）。同時(shí)建立定量化油田開發(fā)動(dòng)態(tài)預(yù)警監(jiān)控機(jī)制，通過收集油田生產(chǎn)動(dòng)態(tài)信息，跟蹤指標(biāo)變動(dòng)趨勢(shì)，評(píng)價(jià)油田開發(fā)風(fēng)險(xiǎn)動(dòng)態(tài)，向決策層發(fā)出預(yù)警信號(hào)，提前采取預(yù)控對(duì)策。系統(tǒng)監(jiān)控對(duì)象已覆蓋集團(tuán)公司全部油田，實(shí)現(xiàn)全方位、多角度開發(fā)監(jiān)控，全程跟蹤各油田生產(chǎn)形勢(shì)，對(duì)生產(chǎn)指標(biāo)異常的油田或區(qū)塊及時(shí)監(jiān)控預(yù)警，提出整改建議，及時(shí)指導(dǎo)生產(chǎn)。表5油田生產(chǎn)動(dòng)態(tài)預(yù)警表油田分類1月2月3月1月2月3月日產(chǎn)油/t日注水/104m3運(yùn)行26900272002760012.4312.9312.53油田1實(shí)際26865240592590112.3712.1912.48預(yù)警一般特別嚴(yán)重嚴(yán)重一般嚴(yán)重一般運(yùn)行11200112001120012.4113.0513.32油田2實(shí)際1078797841075112.3111.4912.45預(yù)警一般特別嚴(yán)重一般一般特別嚴(yán)重嚴(yán)重3.3低產(chǎn)、長(zhǎng)停井現(xiàn)狀分析低產(chǎn)井、長(zhǎng)停井現(xiàn)狀和治理效果，共享治理經(jīng)驗(yàn)，利用大數(shù)據(jù)技術(shù)篩選出潛力井。目前大部分油田開發(fā)進(jìn)入中后期，低產(chǎn)井、長(zhǎng)停井?dāng)?shù)呈逐年上升的趨勢(shì)。采用該系統(tǒng)可實(shí)現(xiàn)低產(chǎn)井生產(chǎn)現(xiàn)狀、歷史變化趨勢(shì)及長(zhǎng)停井關(guān)停原因等分析（見圖6-圖8），并可利用大數(shù)據(jù)技術(shù)篩選出治理效果顯著的潛力井，為集團(tuán)公司低產(chǎn)和長(zhǎng)停井治理、盤活油井資產(chǎn)利用率等提供借鑒。圖6不同開發(fā)方式低產(chǎn)井多維分析圖圖7不同舉升方式低產(chǎn)井多維分析圖圖8不同井型低產(chǎn)井多維分析圖3.4分類油藏開發(fā)規(guī)律在集團(tuán)公司內(nèi)實(shí)現(xiàn)不同油區(qū)、相同類型油藏開發(fā)指標(biāo)類比，對(duì)標(biāo)高效開發(fā)方式，充分挖掘油藏資源潛力。實(shí)時(shí)跟蹤中高滲透砂巖、低滲透砂巖、礫巖、稠油、特殊巖性油藏等的油、氣、水井生產(chǎn)情況，從已開發(fā)油藏中篩選出〃雙高油藏（綜合含水大于等于80%，可采儲(chǔ)量采出程度大于等于60%的開發(fā)單元廣、〃雙低油藏（采油速度小于等于0.5%、地質(zhì)儲(chǔ)量采出程度小于等于10%的開發(fā)單元）”和“雙負(fù)油藏（雙高和雙低油藏中利潤(rùn)與現(xiàn)金流均為負(fù)值的開發(fā)單元）”。針對(duì)每類油藏，統(tǒng)計(jì)分析其開發(fā)方式、分布狀況、生產(chǎn)效果等，總結(jié)經(jīng)驗(yàn)，支撐分類油藏治理工作（見表6）。表6分類油藏開發(fā)規(guī)律分析統(tǒng)計(jì)表油藏分類開發(fā)單元/個(gè)采油井?dāng)?shù)/口注水井?dāng)?shù)/口地質(zhì)儲(chǔ)量/104t可采儲(chǔ)量/t日產(chǎn)油量/t日注水量/104m3雙高中高滲透596945979873382120779低滲透45023470114322稠油2230187962381385小計(jì)11124950092533734136886雙低324773209133921134雙負(fù)21233610461701067大數(shù)據(jù)分析系統(tǒng)實(shí)現(xiàn)了36x104余口油、氣、水井生產(chǎn)數(shù)據(jù)的集中管理，為在集團(tuán)公司層級(jí)實(shí)施油、氣、水井全樣本分析提供了技術(shù)支撐，同時(shí)也為數(shù)據(jù)挖掘奠定了基礎(chǔ)，將來通過整合油氣田開發(fā)、數(shù)據(jù)挖掘和人工智能等技術(shù)，定可深入透視分析油氣生產(chǎn)數(shù)據(jù)背后潛在的有用信息，提升數(shù)據(jù)資產(chǎn)的價(jià)值，更好地為油氣生產(chǎn)與科研服務(wù)。4結(jié)論采用Hadoop分布式存儲(chǔ)與并行計(jì)算技術(shù)、數(shù)據(jù)倉庫建模技術(shù)，構(gòu)建Kylin多維分析引擎數(shù)據(jù)管理平臺(tái)，實(shí)現(xiàn)了分散存儲(chǔ)油氣生產(chǎn)動(dòng)態(tài)大數(shù)據(jù)的優(yōu)化管理與快速查詢，可集中管理36x104余口油、氣、水井的生產(chǎn)數(shù)據(jù)。建立了油、氣、水井生產(chǎn)多維分析主題模型，對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，可實(shí)現(xiàn)系統(tǒng)的秒級(jí)響應(yīng)；油區(qū)生產(chǎn)運(yùn)行跟蹤、重點(diǎn)油田生產(chǎn)預(yù)警、低產(chǎn)井和長(zhǎng)停井現(xiàn)狀、分類油藏開發(fā)規(guī)律等分析應(yīng)用等可取代傳統(tǒng)人工收集數(shù)據(jù)、手工分析的方式，工作效率大幅提升；油氣生產(chǎn)模式分析基本單元由原來的油田細(xì)化為單井，生產(chǎn)管理更為細(xì)致；分析結(jié)果可以按照集團(tuán)公司、油田分公司、油氣田、區(qū)塊、單井逐級(jí)追溯，更加全面和準(zhǔn)確，滿足實(shí)時(shí)掌握油氣生產(chǎn)動(dòng)態(tài)的需求。符號(hào)注釋：A屬性集；ai屬性名；D維度集；di維度名；F維度集到屬性集的一對(duì)多映射；f一維度層次；i,j——維度序號(hào)；M——測(cè)度集；mi——測(cè)度名；n——子任務(wù)數(shù)量。參考文獻(xiàn)：【相關(guān)文獻(xiàn)】[1]PERRONSRK,JENSENJW.Dataasanasset:Whattheoilandgassectorcanlearnfromotherindustriesabout“BigData"[J].EnergyPolicy,2015,81:117-121.SUMBALMS,TSUIE,SEE-TOEWK.Interrelationshipbetweenbigdataandknowledgemanagement:Anexploratorystudyintheoilandgassector[J].JournalofKnowledgeManagement,2017,21(1):180-196.李金諾.淺談石油行業(yè)大數(shù)據(jù)的發(fā)展趨勢(shì)[J].價(jià)值工程,2013,32(29):172-174.LIJinnuo.Talkingaboutthedevelopmenttrendofbigdatainpetroleumindustry[J].ValueEngineering,2013,32(29):172-174.李大偉，熊華平，石廣仁等.基于全球典型油氣田數(shù)據(jù)庫的數(shù)據(jù)挖掘預(yù)處理[J].大慶石油地質(zhì)與開發(fā),2016,35(1):66-70.LIDawei,XIONGHuaping,SHIGuangren,etal.Preprocessingofthedatatappingbasedonglobaltypicaloilandgasfielddatabase[J].PetroleumGeologyandOilfieldDevelopmentinDaqing,2016,35(1):66-70.魯帥帥.大數(shù)據(jù)環(huán)境下油氣鉆井信息分布式數(shù)據(jù)倉庫系統(tǒng)研究[D].西安:西安石油大學(xué),2018.LUShuaishuai.Researchondistributeddatawarehousesystemforoilandgasdrillinginformationinbigdataenvironment[D].Xi'an:Xi'anPetroleumUniversity,2018.曲海旭.基于大數(shù)據(jù)的油田生產(chǎn)經(jīng)營(yíng)優(yōu)化系統(tǒng)研究及應(yīng)用[D].大慶:東北石油大學(xué),2016.QUHaixu.Researchandapplicationofoilfieldproductionandoperationoptimizationsystembasedonbigdata[D].Daqing:NortheastPetroleumUniversity,2016.楊飛，周靜.智能鉆井大數(shù)據(jù)技術(shù)的發(fā)展研究[J].科學(xué)管理,2017(9):230-231.YANGFei,ZHOUJing.Developmentofintelligentdrillingbigdatatechnology[J].ScientificManagement,2017(9):230-231.張東曉，陳云天，孟晉.基于循環(huán)神經(jīng)網(wǎng)絡(luò)的測(cè)井曲線生成方法[J].石油勘探與開發(fā),2018,45(4):598-607.ZHANGDongxiao,CHENYuntian,MENGJin.SyntheticwelllogsgenerationviaRecurrentNeuralNetworks[J].PetroleumExplorationandDevelopment,2018,45(4):598-607.黃文松，王家華,陳和平，等.基于水平井資料進(jìn)行地質(zhì)建模的大數(shù)據(jù)誤區(qū)分析與應(yīng)對(duì)策略[J].石油勘探與開發(fā),2017,44(6):939-947.HUANGWensong,WANGJiahua,CHENHeping,etal.Bigdataparadoxandmodelingstrategiesingeologicalmodelingbasedonhorizontalwellsdata[J].PetroleumExplorationandDevelopment,2017,44(6):939-947.李熙喆，劉曉華,蘇云河，等.中國(guó)大型氣田井均動(dòng)態(tài)儲(chǔ)量與初始無阻流量定量關(guān)系的建立與應(yīng)用[J].石油勘探與開發(fā),2018,45(6):1020-1025.LIXizhe,LIUXiaohua,SUYunhe,etal.Correlationbetweenper-wellaveragedynamicreservesandinitialabsoluteopenflowpotential(AOFP)forlargegasfieldsinChinaanditsapplication[J].PetroleumExplorationandDevelopment,2018,45(6):1020-1025.KIMJS,KIMBS.Analysisoffire-accidentfactorsusingbig-dataanalysismethodforconstructionareas[J].KSCEJournalofCivilEngineering,2017(4):1-9.WIBISONOA,JATMIKOW,WISESAHA,etal.Trafficbigdatapredictionandvisualizationusingfastincrementalmodeltrees-driftdetection(FIMT-DD)[J].Knowledge-BasedSystems,2016,93:33-46.ALHARTHIA,KROTOVV,BOWMANM.Addressingbarrierstobigdata[J].BusinessHorizons,2017,60(3):285-292.DENGZH,LYUSL.PrePost+:AnefficientN-lists-basedalgorithmforminingfrequentitemsetsviachildren-parentequivalencepruning[J].ExpertSystemswithApplications,2015,42(13):5424-5432.YANX,ZHANGJ,XUNY,etal.AparallelalgorithmforminingconstrainedfrequentpatternsusingMapReduce[J].SoftComputing,2017,21(9):2237-2249.VOB,LET,COENENF,etal.MiningfrequentitemsetsusingtheN-listandsubsumeconcepts[J].InternationalJournalofMachineLearningandCybernetics,2016,7(2):253-265.何明，常盟盟,劉郭洋，等.基于SQL-on-Hadoop查詢引擎的日志挖掘及其應(yīng)用[J].智能系統(tǒng)學(xué)報(bào),2017,12(5):717-728.HEMing,CHANGMengmeng,LIUGuoyang,etal.LogminingbasedonSQL-on-Hadoopqueryengineanditsapplication[J].JournalofIntelligentSystems,2017,12(5):717-728.LOWDD,DAVISJ.ImprovingMarkovnetworkstructurelearningusingdecisiontrees[J].JournalofMachineLearningResearch,2014,15(1):501-532.MCAFEEA,B