1、氣象數(shù)據(jù)的“大數(shù)據(jù)應(yīng)用”淺析2014-03-24 17:03:19作者：國(guó)家氣象總局沈文海 來(lái)源：CIO時(shí)代網(wǎng)摘要：氣象數(shù)據(jù)在“大數(shù)據(jù)應(yīng)用”浪潮中亟待解決的信息技術(shù)問題，是海量氣象結(jié)構(gòu)化數(shù)據(jù)的高效應(yīng)用。這是氣象數(shù)據(jù)能否參與“大數(shù)據(jù)應(yīng)用”的技術(shù)基礎(chǔ)和前提。關(guān)鍵詞： HYPERLINK /tag.php?tag=%E6%B0%94%E8%B1%A1%E6%95%B0%E6%8D%AE 氣象數(shù)據(jù) HYPERLINK /tag.php?tag=%E5%A4%A7%E6%95%B0%E6%8D%AE 大數(shù)據(jù)1、引引言 據(jù)統(tǒng)計(jì)計(jì)，20111年全球的數(shù)數(shù)據(jù)規(guī)模為11.8ZB,這些信息將將填滿5755億個(gè)32

2、GGB的ipaad,以這些些ipad做做磚石，足可可以壘建起兩兩座中國(guó)的萬(wàn)萬(wàn)里長(zhǎng)城。而而到20133 年，僅中中國(guó)當(dāng)年產(chǎn)生生的數(shù)據(jù)總量量就已超過00.8ZB,2倍于20012年，相相當(dāng)于20009年全球的的數(shù)據(jù)總量。預(yù)預(yù)計(jì)到20220年，中國(guó)國(guó)產(chǎn)生的數(shù)據(jù)據(jù)總量將是22013年的的10倍，超超過8.5ZZB.【1】而而屆時(shí)全球的的數(shù)據(jù)總量預(yù)預(yù)計(jì)將達(dá)到440ZB,如如果將這些數(shù)數(shù)據(jù)全部刻錄錄成藍(lán)光光盤盤，則這些光光盤的總重量量相當(dāng)于4224艘滿載荷荷的尼米茲航航空母艦。 數(shù)據(jù)量量暴增的速度度令人瞠目結(jié)結(jié)舌，我們的的確已進(jìn)入“大數(shù)據(jù)時(shí)代”. 很快地地，“地理大大數(shù)據(jù)”、“水水利大數(shù)據(jù)”、“環(huán)環(huán)境大數(shù)

3、據(jù)”、“金金融大數(shù)據(jù)”、“互互聯(lián)網(wǎng)大數(shù)據(jù)據(jù)”乃至“氣氣象大數(shù)據(jù)”等名名詞陸續(xù)出現(xiàn)現(xiàn)在有關(guān)媒體體上?！按髷?shù)數(shù)據(jù)”逐漸成成為近來(lái)人們們談?wù)撟疃?、思思考最多的技技術(shù)話題之一一。一些人憧憧憬于“大數(shù)數(shù)據(jù)”可能帶帶來(lái)的十分珍珍稀的高價(jià)值值信息和珍貴貴商機(jī)，也有有許多人困惑惑于目前所知知“大數(shù)據(jù)”的應(yīng)應(yīng)用范式，以以此研判著可可能給本行業(yè)業(yè)帶來(lái)的變化化和新的業(yè)務(wù)務(wù)契機(jī)-氣氣象部門也是是如此。 做為拋拋磚引玉，筆筆者擬就如下下問題提出自自己的看法： （1）氣象數(shù)據(jù)是否具備“大數(shù)據(jù)”的核心特征？ （2）業(yè)業(yè)界公認(rèn)的“大數(shù)據(jù)應(yīng)用”的主要形態(tài)是什么？ （3）“大數(shù)據(jù)時(shí)代”背景下氣象數(shù)據(jù)應(yīng)用中新的價(jià)值領(lǐng)域在何處？需要

4、首先具備哪些必要條件？ （4）氣氣象信息技術(shù)術(shù)領(lǐng)域當(dāng)務(wù)之之急需要解決決的關(guān)鍵技術(shù)術(shù)問題。2、大大數(shù)據(jù)的現(xiàn)實(shí)實(shí)以及氣象數(shù)數(shù)據(jù)的體量構(gòu)構(gòu)成 2.11大數(shù)據(jù)的行業(yè)業(yè)分布 就數(shù)據(jù)據(jù)量而言，中中國(guó)的大數(shù)據(jù)據(jù)近期具有如如下行業(yè)分布布特征： （1）互互聯(lián)網(wǎng)公司 目前國(guó)國(guó)內(nèi)的互聯(lián)網(wǎng)網(wǎng)公司，擁有有總計(jì)約2EEB的數(shù)據(jù)，而而其中的互聯(lián)聯(lián)網(wǎng)三巨頭BBAT（百度度、阿里巴巴巴、騰訊）占占有了其中的的3/4（約約1.5EBB）。 （2）電電信、金融、保保險(xiǎn)、電力、石石化系統(tǒng) 這些行行業(yè)及企業(yè)數(shù)數(shù)據(jù)量分布較較為平均，就就每個(gè)企業(yè)（或或運(yùn)營(yíng)商、部部門）而言，大大致都擁有110PB以上上的數(shù)據(jù)，且且年增量都在在PB級(jí)以上上。

5、總和則有有數(shù)百個(gè)EBB的存儲(chǔ)數(shù)據(jù)據(jù)和數(shù)十EBB的年增量。 （3）公公共安全、醫(yī)醫(yī)療、交通、電電子政務(wù)領(lǐng)域域 城市：隨著平安城城市、智慧城城市等工程的的推進(jìn)，監(jiān)控控?cái)z像頭遍布布大街小巷。一一個(gè)中等規(guī)模模城市每年視視頻監(jiān)控產(chǎn)生生的數(shù)據(jù)約3300PB.最保守估計(jì)計(jì)（含定期循循環(huán)清除），每每年能夠保存存下來(lái)的數(shù)據(jù)據(jù)在數(shù)百PBB以上。 交通：飛機(jī)航班往往返一次產(chǎn)生生的數(shù)據(jù)達(dá)TTB級(jí)。列車車、水陸路運(yùn)運(yùn)輸每年產(chǎn)生生并保存下來(lái)來(lái)的各種數(shù)據(jù)據(jù)視頻、文本本類數(shù)據(jù)約達(dá)達(dá)數(shù)十PB. 衛(wèi)生：整個(gè)醫(yī)療衛(wèi)衛(wèi)生行業(yè)，一一年保存下來(lái)來(lái)的數(shù)據(jù)可達(dá)達(dá)到數(shù)百PBB. 電子政政務(wù)：一個(gè)智智慧城市的電電子政務(wù)所產(chǎn)產(chǎn)生的數(shù)據(jù)每每季度約達(dá)

6、2200PB.而調(diào)查顯示示，未來(lái)12年中國(guó)政政府部門的數(shù)數(shù)據(jù)規(guī)模超過過100TBB的將達(dá)到553.3%,有將近三成成（33.33%）的用戶戶數(shù)據(jù)規(guī)模是是10500TB. （4） 其他，商業(yè)業(yè)銷售、制造造業(yè)、農(nóng)業(yè)、物物流和流通等等領(lǐng)域 隨著產(chǎn)產(chǎn)業(yè)互聯(lián)網(wǎng)的的普及，（線線下）商業(yè)銷銷售、制造業(yè)業(yè)、農(nóng)林牧漁漁業(yè)、（線下下）餐飲、食食品、科研、物物流運(yùn)輸?shù)鹊鹊冗@些傳統(tǒng)行行業(yè)的數(shù)據(jù)量量將呈現(xiàn)迅速速增長(zhǎng)態(tài)勢(shì)，但但目前這些行行業(yè)數(shù)據(jù)量尚尚處于積累期期，體量不大大，多的達(dá)到到PB級(jí)別，基基本約近百TTB甚至數(shù)十十TB級(jí)別?！?2】 （5）氣象數(shù)據(jù) 氣象部部門需要永久久保存的數(shù)據(jù)據(jù)目前約45PB,年年增量約1PP

7、B. 由此可可見，以數(shù)據(jù)據(jù)量而言，在在整個(gè)大數(shù)據(jù)據(jù)市場(chǎng)中，新新興的互聯(lián)網(wǎng)網(wǎng)行業(yè)巨頭BBAT,以及及電信、金融融、保險(xiǎn)等行行業(yè)占據(jù)比重重較大。相對(duì)對(duì)而言，氣象象數(shù)據(jù)無(wú)論總總量還是增量量，較這些數(shù)數(shù)據(jù)大戶至少少低3個(gè)數(shù)量量級(jí)。 2.22大數(shù)據(jù)的特征征 早在22012年，業(yè)業(yè)界便已就大大數(shù)據(jù)在體積積、類型、速速度和價(jià)值這這四個(gè)方面的的特征達(dá)成了了共識(shí)，即所所謂大數(shù)據(jù)的4VV特征： Vollume（大大體積）：體體積巨大是大大數(shù)據(jù)的最根根本的特征，體體積不足夠大大，任何數(shù)據(jù)據(jù)都不能稱之之為“大數(shù)據(jù)據(jù)”.一般而而言，大數(shù)據(jù)據(jù)的起始計(jì)量量單位至少是是PB、EBB或ZB級(jí)別別。 Varriety（多多樣性）

8、：類類型和來(lái)源渠渠道繁多是大大數(shù)據(jù)的第二二個(gè)特征。大大數(shù)據(jù)非但體體積巨大，而而且內(nèi)容繁雜雜，數(shù)據(jù)種類類繁多，包括括網(wǎng)絡(luò)日志、音音頻、視頻、圖圖片、地理位位置信息等等等；這些種類類繁雜的數(shù)據(jù)據(jù)來(lái)源于多種種不同的渠道道。多類型的的數(shù)據(jù)對(duì)數(shù)據(jù)據(jù)的處理能力力提出了更高高的甚至全新新的要求。 Vellocityy（高速度）：生成速度快快，處理時(shí)效效要求高，這這是大數(shù)據(jù)區(qū)分于于傳統(tǒng)數(shù)據(jù)采采集、匯聚、處處理乃至數(shù)據(jù)據(jù)挖掘等方面面最顯著的特特征。 Vallue（價(jià)值值稀薄）：數(shù)數(shù)據(jù)價(jià)值密度度相對(duì)較低，這這是大數(shù)據(jù)的第四四個(gè)特征。根根據(jù)業(yè)界專家家的看法，大大數(shù)據(jù)里蘊(yùn)藏藏著的信息無(wú)無(wú)所不包，任任何人所需要要的任何

9、信息息，都可以從從大數(shù)據(jù)里尋找找到。只是這這些信息隱藏藏在大數(shù)據(jù)的汪洋洋大海之中，尋尋之如同大海海撈針，人們們需要研究出出類似沙里淘淘金的辦法，才才能在有效的的時(shí)間內(nèi)將所所需信息尋找找到。因此如如何通過強(qiáng)大大的機(jī)器算法法更迅速地完完成數(shù)據(jù)的價(jià)價(jià)值“提純”,是大數(shù)據(jù)時(shí)代亟亟待解決的難難題。當(dāng)然，還還有一些人將將對(duì)大數(shù)據(jù)“Vaalue”的的理解確定在在“價(jià)值豐富富”的層面上上；而最早提提出“大數(shù)據(jù)據(jù)”概念及特特征的Garrtner公公司和麥肯錫錫公司，甚至至至今仍堅(jiān)持持特征“3VV”（Vollume、VVarietty、Vellocityy）論，認(rèn)為為“Valuue”不能作作為大數(shù)據(jù)的特征征【3】

10、。限限于篇幅，不不予展開討論論。 需要注注意的是，在在此“4V”（或或“3V”）特特征中，“VVolumee”（體量巨巨大）僅僅是是成為大數(shù)據(jù)據(jù)的必要條件件，而非充分分條件，如同同 30mmm的日降水，在在我國(guó)東南沿沿海地區(qū)十分分平常，但在在西北地區(qū)卻卻可算罕見大大雨，所以體體量大小是相相對(duì)的。事實(shí)實(shí)上，大數(shù)據(jù)據(jù)概念的提出出絕非僅因?yàn)闉閿?shù)據(jù)量的暴暴增，而且是是因?yàn)閿?shù)據(jù)已已多得用傳統(tǒng)統(tǒng)方法無(wú)法應(yīng)應(yīng)對(duì)或處理，導(dǎo)導(dǎo)致人們必須須采用新的方方法、新的思思路乃至新的的理念予以應(yīng)應(yīng)對(duì)。如果數(shù)數(shù)據(jù)量雖大，但但卻能夠處理理和掌控，便便不能稱其為為“大數(shù)據(jù)”.因因此，“4VV”對(duì)于大數(shù)數(shù)據(jù)而言，既既是特征，也也是

11、考量的四四個(gè)維度。 2.33氣象數(shù)據(jù)的體體量種類分布布 氣象資資料種類較多多，就體積而而言，其中的的地面觀測(cè)、氣氣象衛(wèi)星遙感感、天氣雷達(dá)達(dá)和數(shù)值預(yù)報(bào)報(bào)產(chǎn)品四類資資料占據(jù)總量量的90%以以上，其中： 地面觀觀測(cè)資料：因因二十一世紀(jì)紀(jì)以來(lái)觀測(cè)方方法從人工觀觀測(cè)改進(jìn)為自自動(dòng)觀測(cè)，擺擺脫了人類居居住條件限制制的制約，臺(tái)臺(tái)站數(shù)由本世世紀(jì)初的不到到3,0000個(gè)，迅速擴(kuò)擴(kuò)展到目前的的40,0000多個(gè)，觀觀測(cè)頻度由最最初的3小時(shí)時(shí)/次調(diào)整到到目前的5分分鐘/次，因因而導(dǎo)致資料料量呈幾何倍倍數(shù)增漲，月月增量由最初初的約2400MB猛增到到現(xiàn)在的約22.4TB,增幅約4個(gè)個(gè)數(shù)量級(jí)。根根據(jù)防、減災(zāi)災(zāi)以及氣象服服

12、務(wù)的需要，未未來(lái)擴(kuò)建計(jì)劃劃有可能將臺(tái)臺(tái)站數(shù)繼續(xù)擴(kuò)擴(kuò)增至70,000到1100,0000個(gè)，觀測(cè)測(cè)頻度有可能能繼續(xù)加密到到1分鐘/次次；因此未來(lái)來(lái)六年內(nèi)該類類資料總量有有可能在現(xiàn)有有基礎(chǔ)上再行行擴(kuò)增122個(gè)數(shù)量級(jí)，由由現(xiàn)在的每天天數(shù)百萬(wàn)條記記錄增至超過過一億條記錄錄/天。 天氣雷雷達(dá)資料：按按照天氣雷雷達(dá)近期發(fā)展展規(guī)劃（20005-20010）以以及氣象發(fā)發(fā)展規(guī)劃（22011-22015）中中“新一代天天氣雷達(dá)建設(shè)設(shè)增補(bǔ)站點(diǎn)布布局方案”,目前在全國(guó)國(guó)已布設(shè)約2200部不同同波長(zhǎng)的多普普勒天氣雷達(dá)達(dá)，并為達(dá)到到雷達(dá)資料全全社會(huì)共享的的目的，已基基本實(shí)現(xiàn)724小時(shí)全全天候不間斷斷觀測(cè)；日增增總量約3

13、000GB. 氣象衛(wèi)衛(wèi)星資料：根根據(jù)我國(guó)氣氣象衛(wèi)星及其其應(yīng)用發(fā)展規(guī)規(guī)劃（2011120220年），至至2020年年，我國(guó)計(jì)劃劃發(fā)射11顆顆氣象業(yè)務(wù)衛(wèi)衛(wèi)星，包括33顆風(fēng)云二號(hào)號(hào)03批衛(wèi)星星，3顆風(fēng)云云三號(hào)上午星星、2顆風(fēng)云云三號(hào)下午星星、1顆降水水測(cè)量雷達(dá)星星以及2顆風(fēng)風(fēng)云四號(hào)光學(xué)學(xué)星。此外還還將在20220年前發(fā)射射2顆氣象試試驗(yàn)衛(wèi)星?！緮?shù)數(shù)據(jù)量待補(bǔ)充充】目前的日日增總量約數(shù)數(shù)百GB,未未來(lái)有可能增增加到數(shù)TBB/日。 數(shù)值預(yù)預(yù)報(bào)產(chǎn)品：與與地面觀測(cè)、氣氣象衛(wèi)星和天天氣雷達(dá)等氣氣象觀探測(cè)資資料不同，氣氣象數(shù)值預(yù)報(bào)報(bào)模式資料屬屬于氣象觀探探測(cè)資料的加加工產(chǎn)品。以以GRAPSS、T6399為代表的天

14、天氣預(yù)報(bào)模式式，以及以BBCC_CSSM2、DEERF2.00為代表的氣氣候預(yù)測(cè)模式式，每天都在在實(shí)時(shí)運(yùn)行，不不斷產(chǎn)生著數(shù)數(shù)以萬(wàn)計(jì)的各各類要素場(chǎng)，以以供國(guó)家級(jí)、省省級(jí)乃至區(qū)域域級(jí)預(yù)報(bào)員參參考使用，日日增量接近TTB級(jí)。 在上述述四類數(shù)據(jù)之之外，氣象資資料尚有高空空探測(cè)、地面面農(nóng)氣觀測(cè)、沙沙塵暴觀測(cè)、閃閃電定位觀測(cè)測(cè)、風(fēng)廓線雷雷達(dá)探測(cè)等等等許多種，但但就體積而言言，較上述四四類資料至少少低一個(gè)數(shù)量量級(jí)，難以將將其稱之為“大數(shù)據(jù)”. 因此，如如果就體積而而言，氣象資資料可勉強(qiáng)算算得上“大數(shù)數(shù)據(jù)”,也是是因?yàn)榈孛嬗^觀測(cè)、氣象衛(wèi)衛(wèi)星、天氣雷雷達(dá)和數(shù)值模模式這四大金金剛將氣象資資料的體積撐撐大而成的。3

15、、“氣氣象大數(shù)據(jù)”的的特征分析氣象數(shù)數(shù)據(jù)的體積雖雖大，卻有其其獨(dú)特的特征征： （1）體體積雖大但總總量可控 這里對(duì)對(duì)地面觀測(cè)、氣氣象衛(wèi)星遙感感、天氣雷達(dá)達(dá)和數(shù)值預(yù)報(bào)報(bào)產(chǎn)品這四類類體量最大的的氣象數(shù)據(jù)進(jìn)行行分析： 地面觀觀測(cè)資料數(shù)據(jù)據(jù)量劇增的原原因，是站點(diǎn)點(diǎn)數(shù)的增加和和觀測(cè)頻度的的大幅加密。然然而，這種臺(tái)臺(tái)站規(guī)模的擴(kuò)擴(kuò)充和觀測(cè)頻頻次的加密是是基于預(yù)報(bào)和和服務(wù)需求，經(jīng)經(jīng)過嚴(yán)格科學(xué)學(xué)論證，有計(jì)計(jì)劃有步驟逐逐步推進(jìn)的；在觀測(cè)臺(tái)站站達(dá)到一定密密度，觀測(cè)頻頻度足以滿足足氣象業(yè)務(wù)需需求后，臺(tái)站站數(shù)不會(huì)無(wú)限限制持續(xù)增加加，觀測(cè)頻度度更不會(huì)無(wú)節(jié)節(jié)制地永遠(yuǎn)加加密下去，因因此總量既是是可預(yù)測(cè)的，更更是可控的。 對(duì)天

16、氣氣雷達(dá)而言，布布網(wǎng)工作已基基本完成，雷雷達(dá)總量不會(huì)會(huì)有成倍數(shù)的的增加。而且且目前的天氣氣雷達(dá)已基本本實(shí)現(xiàn)7224小時(shí)全天天候不間斷觀觀測(cè)。因此天天氣雷達(dá)的資資料量（年增增量），將穩(wěn)穩(wěn)定相當(dāng)長(zhǎng)一一段時(shí)間，而而不會(huì)有倍數(shù)數(shù)的增量變化化。 未來(lái)數(shù)數(shù)年內(nèi)，我國(guó)國(guó)還將發(fā)射數(shù)數(shù)顆氣象衛(wèi)星星，每顆衛(wèi)星星都會(huì)產(chǎn)生數(shù)數(shù)百TB級(jí)的的數(shù)據(jù)年增量量。為滿足氣氣象衛(wèi)星資料料的應(yīng)用時(shí)效效，國(guó)家衛(wèi)星星氣象中心針針對(duì)每一顆氣氣象衛(wèi)星，都都建有相應(yīng)專專屬的地面接接收處理系統(tǒng)統(tǒng)，已完全實(shí)實(shí)現(xiàn)所有氣象象衛(wèi)星遙測(cè)遙遙感資料的實(shí)實(shí)時(shí)接收處理理。因此氣象象衛(wèi)星數(shù)據(jù)目目前雖以每年年數(shù)百TB的的量級(jí)增長(zhǎng)，而而且規(guī)模有可可能繼續(xù)擴(kuò)大大，但卻

17、始終終處于可控可可管和完全可可用狀態(tài)。 數(shù)值預(yù)預(yù)報(bào)模式產(chǎn)品品資料是各級(jí)級(jí)預(yù)報(bào)員最重重要的預(yù)報(bào)參參考資料，這這些產(chǎn)品甫一一生成，便即即刻送達(dá)天氣氣預(yù)報(bào)、氣候候預(yù)測(cè)專家的的桌面，供其其業(yè)務(wù)參考使使用；同時(shí)以以滿足業(yè)務(wù)需需求的時(shí)效，分分發(fā)至各省級(jí)級(jí)乃至地市級(jí)級(jí)氣象部門，供供其本地化應(yīng)應(yīng)用。因此與與氣象衛(wèi)星資資料相類似，數(shù)數(shù)值預(yù)報(bào)產(chǎn)品品資料體積雖雖大，卻始終終處于可控可可管和可用的的狀態(tài)，未來(lái)來(lái)也將始終如如此。 因此，氣氣象資料體積積雖大，在量量級(jí)上算得上上“大數(shù)據(jù)”,但但卻始終處于于可控可管可可用狀態(tài)。 （2）種種類雖多但內(nèi)內(nèi)部信息單純純，來(lái)源單一一 按照行行業(yè)標(biāo)準(zhǔn)氣氣象資料分類類與編碼，氣氣象資料

18、分為為14大類，計(jì)計(jì)有數(shù)百種之之多【4】。該該標(biāo)準(zhǔn)基本涵涵蓋了氣象資資料的所有內(nèi)內(nèi)容。所以就就內(nèi)容而言，氣氣象資料在目目前及可預(yù)見見的未來(lái)，超超不出該行標(biāo)標(biāo)所規(guī)定的范范圍。數(shù)百種種的氣象資料料種類雖多，但但每種資料所所含信息卻十十分單純：土土壤持水量只只記載某時(shí)某某地某規(guī)定土土壤深度中水水份的持有程程度，“云能能天”只記錄錄某時(shí)某地的的云量云狀、能能見度以及天天氣現(xiàn)象等信信息。這與互互聯(lián)網(wǎng)大數(shù)據(jù)據(jù)如電子郵件件、微信、微微博中所包含含的社會(huì)百態(tài)態(tài)、生老病死死、喜怒哀樂樂、柴米油鹽鹽醬醋茶等所所有信息有很很大差異。究究其原因，海海量氣象數(shù)據(jù)是由由氣象探測(cè)系系統(tǒng)以及數(shù)值值預(yù)報(bào)業(yè)務(wù)系系統(tǒng)產(chǎn)生的，來(lái)來(lái)源

19、比較單一一；而互聯(lián)網(wǎng)網(wǎng)大數(shù)據(jù)則由人人來(lái)提供的，它它來(lái)源于人類類社會(huì)的方方方面面和各個(gè)個(gè)角落，是人人類活動(dòng)的實(shí)實(shí)況記錄。 （3）價(jià)價(jià)值單一而明明確 氣象觀觀探測(cè)業(yè)務(wù)系系統(tǒng)只采集那那些能夠客觀觀反映自然界界氣象狀態(tài)的的要素，所以以氣象觀探測(cè)測(cè)數(shù)據(jù)里包含含且只包含豐豐富的氣象信信息，而以觀觀探測(cè)數(shù)據(jù)為為唯一數(shù)據(jù)和和信息來(lái)源的的氣象數(shù)值模模式，其生成成的產(chǎn)品中所所包含的信息息也只能是局局限于未來(lái)天天氣或氣候狀狀態(tài)的預(yù)測(cè)。因因此所謂“氣氣象大數(shù)據(jù)”,其其自身的直接接用途只能是是氣象業(yè)務(wù)，即即：天氣預(yù)報(bào)報(bào)、氣候預(yù)測(cè)測(cè)以及氣象服服務(wù)。 麥肯錫錫公司和Gaartnerr公司始終認(rèn)認(rèn)為：“大數(shù)數(shù)據(jù)是用傳統(tǒng)統(tǒng)的架

20、構(gòu)、傳傳統(tǒng)的技術(shù)方方法無(wú)法解決決的數(shù)據(jù)問題題”【3】；而由上分析析可知，氣象象數(shù)據(jù)始終處處于可管、控控、用狀態(tài)，雖雖然隨著數(shù)據(jù)據(jù)體積的不斷斷膨脹，以及及原有管理和和處理技術(shù)架架構(gòu)的陳舊，逐逐漸出現(xiàn)性能能下降、時(shí)效效減慢等現(xiàn)象象，但并非沒沒有解決的技技術(shù)手段。因因此應(yīng)當(dāng)說(shuō)，氣象數(shù)據(jù)是“大數(shù)據(jù)”的組成部分之一，但其自身并不完全具備“大數(shù)據(jù)”的所有特征。從這個(gè)觀點(diǎn)考察，以體積碩大為由稱氣象數(shù)據(jù)為“大數(shù)據(jù)”十分勉強(qiáng)，而且較易產(chǎn)生觀念和認(rèn)知上的混亂；因?yàn)楹饬矿w量大小的標(biāo)準(zhǔn)是在不斷變化的。信息技術(shù)的發(fā)展突飛猛進(jìn)，處理及存儲(chǔ)能力依摩爾定律，每18個(gè)月增加一倍；今天的大體量規(guī)模數(shù)據(jù)，如果不具備超摩爾定律的膨脹

21、能力，數(shù)年后便很有可能萎縮成中等甚至中等以下規(guī)模的數(shù)據(jù)；這樣的事例在IT界俯拾皆是。4、應(yīng)應(yīng)用分析展望望 4.11大數(shù)據(jù)帶來(lái)大大變革 大數(shù)數(shù)據(jù)時(shí)代的的作者就大數(shù)數(shù)據(jù)帶給人們們思維方面的的變革，提出出了三個(gè)觀點(diǎn)點(diǎn)： （1）當(dāng)當(dāng)數(shù)據(jù)處理技技術(shù)已發(fā)生翻翻天覆地變化化時(shí)，在大數(shù)數(shù)據(jù)時(shí)代進(jìn)行行抽樣分析已已經(jīng)過時(shí)。人人們進(jìn)行分析析的對(duì)象已不不是抽樣數(shù)據(jù)據(jù)，而是所有有的數(shù)據(jù)，即即：“樣本 = 總體”. （2）執(zhí)執(zhí)迷于精確性性是信息缺乏乏時(shí)代和模擬擬時(shí)代的產(chǎn)物物，只有接受受不精確性，我我們才能打開開一扇從未涉涉足的世界的的窗戶。 （3）知知道“是什么么”就夠了，不不必知道“為為什么”.在在大數(shù)據(jù)時(shí)代，我我們不

22、必非得得知道現(xiàn)象背背后的原因，而而是要讓數(shù)據(jù)據(jù)自己“發(fā)聲聲”.【5】 而對(duì)于于大數(shù)據(jù)的價(jià)值值，該書作者者認(rèn)為，“數(shù)數(shù)據(jù)就像一個(gè)個(gè)神奇的鉆石石礦，當(dāng)它的的首要價(jià)值被被發(fā)掘后仍能能不斷給予”,它目前展現(xiàn)現(xiàn)在人們面前前僅僅是其總總價(jià)值的“冰冰山一角”.對(duì)此，胡小小明先生的理理解是：雖然然一些數(shù)據(jù)所所蘊(yùn)含的其所所屬領(lǐng)域的內(nèi)內(nèi)部規(guī)律（即即所謂“首要要價(jià)值”）已已被本領(lǐng)域?qū)＜页浞职l(fā)掘掘，但如果將將這些數(shù)據(jù)與與其它領(lǐng)域數(shù)數(shù)據(jù)相鏈接，卻卻有可能發(fā)現(xiàn)現(xiàn)出許多意想想不到的相關(guān)關(guān)關(guān)系，即所所謂“豐富的的未知價(jià)值在在領(lǐng)域的外部部”.【6】 因此，數(shù)數(shù)據(jù)的價(jià)值由由“內(nèi)部自身身”和“外部部關(guān)聯(lián)”兩部部分組成：內(nèi)內(nèi)部自身

23、價(jià)值值是指該數(shù)據(jù)據(jù)自身所包含含的所有信息息對(duì)其所屬企企業(yè)和部門業(yè)業(yè)務(wù)工作的支支撐、以及開開拓業(yè)務(wù)領(lǐng)域域的作用；而而外部關(guān)聯(lián)價(jià)價(jià)值則是指該該數(shù)據(jù)與外部部企業(yè)、領(lǐng)域域和行業(yè)數(shù)據(jù)據(jù)進(jìn)行深度結(jié)結(jié)合以及具有有創(chuàng)意的分析析思路和有效效的處理方法法，從而發(fā)掘掘出新的、超超出所屬企業(yè)業(yè)和部門原有有業(yè)務(wù)范圍的的、傳統(tǒng)思維維所意想不到到的、具有開開創(chuàng)意義的信信息，眾多企企業(yè)和行業(yè)部部門可由此了了解并掌握用用傳統(tǒng)思維和和方法無(wú)法獲獲得的事實(shí)，并并因此可創(chuàng)造造出新的經(jīng)濟(jì)濟(jì)和社會(huì)價(jià)值值。無(wú)論是否否處于“大數(shù)數(shù)據(jù)時(shí)代”,數(shù)據(jù)的價(jià)值值概莫能外。而而所謂“大數(shù)數(shù)據(jù)應(yīng)用”,是由于近二二十余年來(lái)，各各行業(yè)信息化化程度逐漸提提高，

24、互聯(lián)網(wǎng)網(wǎng)及其豐富的的應(yīng)用逐漸滲滲透到人類社社會(huì)各個(gè)階層層的方方面面面，在使得人人們的工作和和生活更加舒舒適、方便、快快捷和安全的的同時(shí)，也將將社會(huì)上各方方面信息通過過網(wǎng)絡(luò)（尤其其是互聯(lián)網(wǎng)）采采集并收集管管理起來(lái)，從從而導(dǎo)致社會(huì)會(huì)上數(shù)據(jù)總量量以令人瞠目目結(jié)舌的速度度暴增，而這這些暴增起來(lái)來(lái)的數(shù)據(jù)也逐逐漸呈現(xiàn)出與與此前數(shù)據(jù)所所不同的性質(zhì)質(zhì)和特征（即即所謂“4VV”特征）。由由于此時(shí)的數(shù)數(shù)據(jù)具有Vaarietyy（多樣性）的的特性，所含含信息種類較較之此前大大大增加，人們們有可能通過過分析這些信信息，獲得以以前不可能得得到的新的知知識(shí)、預(yù)測(cè)信信息，激發(fā)出出新的開拓性性思維，乃至至開創(chuàng)新的業(yè)業(yè)務(wù)領(lǐng)域。

25、 4.22 “大數(shù)據(jù)據(jù)應(yīng)用”成功功案例分析 “大數(shù)數(shù)據(jù)時(shí)代”伴伴隨著“大數(shù)數(shù)據(jù)應(yīng)用”.通過分析眾眾多媒體、專專著上所刊載載的各個(gè)“大大數(shù)據(jù)應(yīng)用”成成功案例，不不難發(fā)現(xiàn)三個(gè)個(gè)事實(shí)： （1）所所分析的數(shù)據(jù)據(jù)都是企業(yè)自自身所擁有的的 所有成成功案例都是是企業(yè)通過分分析自身?yè)碛杏械臄?shù)據(jù)而產(chǎn)產(chǎn)生的。這里里既沒有谷歌歌通過分析諸諸如沃爾瑪?shù)鹊瓤珙I(lǐng)域跨行行業(yè)部門的數(shù)數(shù)據(jù)而得到有有價(jià)值信息的的成功案例，也也沒有阿里巴巴巴通過分析析類似騰訊或或百度等同為為互聯(lián)網(wǎng)運(yùn)營(yíng)營(yíng)應(yīng)用的兄弟弟企業(yè)的數(shù)據(jù)據(jù)而獲益的案案例。不是這這些公司沒有有分析能力，而而是對(duì)方的數(shù)數(shù)據(jù)無(wú)法獲取取到。所有成成功案例都是是該企業(yè)通過過分析本企業(yè)業(yè)

26、所擁有的數(shù)數(shù)據(jù)-“大數(shù)數(shù)據(jù)”-所獲獲得的?？缧行袠I(yè)、跨部門門甚至跨企業(yè)業(yè)的數(shù)據(jù)聯(lián)合合分析應(yīng)用的的成功案例難難覓其蹤。因因此所有這些些成功案例，都都是數(shù)據(jù)內(nèi)部部自身價(jià)值的的被挖掘。 （2）所所分析的數(shù)據(jù)據(jù)對(duì)象中所需需要的信息足足夠豐富 沃爾瑪瑪能夠分析出出嬰兒紙尿布布與啤酒銷量量之間的正相相關(guān)關(guān)系，是是因?yàn)槠鋽?shù)據(jù)據(jù)庫(kù)中包含所所有本系統(tǒng)連連鎖店中所有有商品的銷售售記錄，包括括啤酒和嬰兒兒紙尿布。阿阿里巴巴企業(yè)業(yè)能夠提前半半年預(yù)測(cè)出22008年北北美將爆發(fā)經(jīng)經(jīng)濟(jì)危機(jī)，是是因?yàn)槠鋽?shù)據(jù)據(jù)庫(kù)中詳細(xì)記記錄了數(shù)年來(lái)來(lái)世界各地與與阿里集團(tuán)的的每一筆訂單單和詢單，可可從中統(tǒng)計(jì)并并發(fā)現(xiàn)出其異異常變化以及及變化的區(qū)域

27、域分布。美國(guó)國(guó)中央情報(bào)局局能夠通過對(duì)對(duì)電子郵件的的篩選探知出出幾十起針對(duì)對(duì)美國(guó)的恐怖怖襲擊計(jì)劃，并并提前采取相相應(yīng)措施，是是因?yàn)榭植婪址肿邮褂秒娮幼余]件進(jìn)行通通信聯(lián)絡(luò)，留留下了相關(guān)的的痕跡。相反反，我國(guó)金融融行業(yè)數(shù)據(jù)量量巨大，但分分析師們卻絕絕不可能通過過分析金融數(shù)數(shù)據(jù)來(lái)預(yù)測(cè)天天氣和氣候，因因?yàn)榻鹑跀?shù)據(jù)據(jù)中不包含任任何與氣象有有關(guān)的信息；反之亦然。 所以，大數(shù)據(jù)應(yīng)用成功案例中最重要的一點(diǎn)，就是這些企業(yè)所分析的數(shù)據(jù)對(duì)象中包含了可能需要的所有信息，只不過這些信息在整體數(shù)據(jù)的汪洋大海中十分稀少，需要采取非傳統(tǒng)的、被稱之為“大數(shù)據(jù)”技術(shù)的處理手段、在規(guī)定的時(shí)效內(nèi)挖掘出來(lái)。 （3）大大多是新興的的或信息

28、化時(shí)時(shí)間不長(zhǎng)的企企業(yè)（行業(yè)） 這些成成功案例企業(yè)業(yè)或是近十幾幾年來(lái)方才崛崛起的新興互互聯(lián)網(wǎng)企業(yè)（如如：谷歌、亞亞馬遜、阿里里巴巴、騰訊訊等）；或是是行業(yè)歷史雖雖然悠久，但但信息化建設(shè)設(shè)歷程并不久久遠(yuǎn)（如：沃沃爾瑪超市等等），所擁有有信息的內(nèi)在在價(jià)值尚未真真正有效地挖挖掘出來(lái)。 由此可可知，目前業(yè)業(yè)界眾口稱道道的“大數(shù)據(jù)據(jù)應(yīng)用”成功功案例，基本本上都屬于數(shù)數(shù)據(jù)內(nèi)部自身身價(jià)值的挖掘掘和展現(xiàn)，而而且數(shù)據(jù)內(nèi)部部的信息種類類十分豐富。相相對(duì)而言，數(shù)數(shù)據(jù)“外部關(guān)關(guān)聯(lián)價(jià)值”的的挖掘和展現(xiàn)現(xiàn)在業(yè)界和社社會(huì)上尚未成成為主流形態(tài)態(tài)。4.3氣象數(shù)數(shù)據(jù)的“大數(shù)據(jù)應(yīng)用”前前景預(yù)期 氣象行行業(yè)是信息化化建設(shè)較早的的行業(yè)，

29、氣象象科學(xué)家分析析研究氣象數(shù)數(shù)據(jù)已有近百百年的歷史。直直到目前，氣氣象數(shù)據(jù)的核核心內(nèi)容并未未發(fā)生根本性性變化，近年年來(lái)所增設(shè)的的新的探測(cè)手手段（如氣象象衛(wèi)星、天氣氣雷達(dá)等），其其探測(cè)信息最最終都將反演演成溫、壓、濕濕、風(fēng)以及云云能天等有限限的幾個(gè)氣象象要素，以供供業(yè)務(wù)及科研研使用。而這這些要素之間間的物理關(guān)系系，早已被動(dòng)動(dòng)力氣象學(xué)解解釋清楚。已已有數(shù)十年歷歷史的傳統(tǒng)的的統(tǒng)計(jì)氣候業(yè)業(yè)務(wù)，正是采采用復(fù)雜的統(tǒng)統(tǒng)計(jì)方法，對(duì)對(duì)氣象要素進(jìn)進(jìn)行時(shí)間、空空間分布方面面的詳盡分析析，發(fā)現(xiàn)其中中的規(guī)律，進(jìn)進(jìn)而完成氣候候統(tǒng)計(jì)預(yù)測(cè)的的。因此氣象象數(shù)據(jù)中常規(guī)規(guī)探測(cè)部分（如如：地面觀測(cè)測(cè)、高空探測(cè)測(cè)等）對(duì)于氣氣象行業(yè)而言

30、言，其常規(guī)的的基本價(jià)值（對(duì)對(duì)天氣預(yù)報(bào)、氣氣候預(yù)測(cè)以及及其它專業(yè)氣氣象預(yù)報(bào)的貢貢獻(xiàn)）已被充充分認(rèn)識(shí)并挖挖掘。而其中中可能潛藏的的反映本領(lǐng)域域內(nèi)天氣或氣氣候規(guī)律的新新的信號(hào)，正正在由數(shù)以千千計(jì)的氣象科科學(xué)家們分析析研究著。 相對(duì)而而言，非常規(guī)規(guī)觀測(cè)資料中中的氣象衛(wèi)星星和天氣雷達(dá)達(dá)資料，與“大數(shù)據(jù)應(yīng)用”成功案例的特點(diǎn)較相吻合。以氣象衛(wèi)星數(shù)據(jù)為例：雖然氣象衛(wèi)星是用來(lái)獲取與氣象要素相關(guān)的各類信息的，然而在森林草場(chǎng)火災(zāi)、船舶航道浮冰分布等方面，氣象衛(wèi)星卻同樣也能發(fā)揮出跨行業(yè)的實(shí)時(shí)監(jiān)測(cè)服務(wù)價(jià)值。究其原因，氣象衛(wèi)星視野的廣闊和搭載探測(cè)設(shè)備種類的多樣化，以及各類儀器設(shè)備所獲信息之間、衛(wèi)星數(shù)據(jù)與其它種類氣象資料（

31、如地面觀測(cè)數(shù)據(jù)）之間綜合應(yīng)用的可能性，占據(jù)了絕大比重。氣象衛(wèi)星每批次（型號(hào)）所搭載的探測(cè)儀器設(shè)備都較前批次（或型號(hào)）有所調(diào)整和增加，因此每顆衛(wèi)星都有可能產(chǎn)生新的遙感產(chǎn)品，除首先應(yīng)用于氣象行業(yè)的預(yù)定應(yīng)用外，幾乎都含有行業(yè)外新的服務(wù)應(yīng)用的可能，從而可使氣象部門得以不斷擴(kuò)展新的業(yè)務(wù)領(lǐng)域。 天氣雷雷達(dá)數(shù)據(jù)與此此類似，限于于篇幅，不再再展開討論。 所以，雖雖然海量氣象象數(shù)據(jù)屬于專專業(yè)感知領(lǐng)域域，所含信息息量豐富而內(nèi)內(nèi)容單純-只包含（且且富含）與氣氣象有關(guān)的信信息，并且其其內(nèi)部自身價(jià)價(jià)值中的常規(guī)規(guī)內(nèi)容已被充充分挖掘并應(yīng)應(yīng)用于氣象業(yè)業(yè)務(wù)，可能深深度蘊(yùn)藏的內(nèi)內(nèi)部自身價(jià)值值正在艱難地地挖掘中（已已屬于科學(xué)問問題

32、），但這這并不意味著著氣象數(shù)據(jù)的內(nèi)內(nèi)部自身價(jià)值值已被挖掘殆殆盡。氣象衛(wèi)衛(wèi)星、天氣雷雷達(dá)等非常規(guī)規(guī)遙感遙測(cè)數(shù)數(shù)據(jù)中包含的的信息十分豐豐富，有可能能挖掘出新的的應(yīng)用價(jià)值，從從而拓展氣象象行業(yè)新的業(yè)業(yè)務(wù)領(lǐng)域和服服務(wù)范圍。然然而這一切，首首先需要管理理者具有敏銳銳捕捉行業(yè)外外服務(wù)需求的的能力，其次次則需要一支支召之即來(lái)、來(lái)來(lái)之能戰(zhàn)、戰(zhàn)戰(zhàn)之能勝的服服務(wù)產(chǎn)品研發(fā)發(fā)科技團(tuán)隊(duì)，而而且需要積極極進(jìn)取和勇于于擔(dān)當(dāng)?shù)念I(lǐng)導(dǎo)導(dǎo)素養(yǎng)以及完完善的機(jī)制配配合。那種小小心翼翼、循循規(guī)蹈矩的行行為方式，難難以適應(yīng)服務(wù)務(wù)市場(chǎng)瞬息萬(wàn)萬(wàn)變的狀態(tài)。 與之相相對(duì)應(yīng)，氣象象數(shù)據(jù)“外部部關(guān)聯(lián)價(jià)值”的的挖掘，則當(dāng)當(dāng)出現(xiàn)在其與與其它專業(yè)領(lǐng)領(lǐng)域數(shù)據(jù)

33、的跨跨領(lǐng)域跨部門門綜合分析應(yīng)應(yīng)用過程中；而這一切的的必要條件，就就是行業(yè)間數(shù)數(shù)據(jù)的高度共共享和深度分分析應(yīng)用。然然而，雖然需需求十分迫切切，呼吁也強(qiáng)強(qiáng)烈而持久，但但數(shù)據(jù)的社會(huì)會(huì)共享至今仍仍是一個(gè)世界界性難題。美美國(guó)政府多年年來(lái)年以來(lái)一一再發(fā)布政令令，要求政府府部門在規(guī)定定期限內(nèi)將與與國(guó)家安全無(wú)無(wú)關(guān)的數(shù)據(jù)實(shí)實(shí)現(xiàn)社會(huì)共享享。在我國(guó)，早早在二十一世世紀(jì)初便由科科技部主導(dǎo)的的科學(xué)數(shù)據(jù)共共享試點(diǎn)工作作，十余年來(lái)來(lái)進(jìn)展并不順順利，行業(yè)間間的數(shù)據(jù)并未未真正實(shí)現(xiàn)共共享，氣象部部門獲得某些些相關(guān)部門的的觀測(cè)數(shù)據(jù)異異常困難，有有時(shí)不得不從從其網(wǎng)站上抓抓取數(shù)據(jù)表格格，經(jīng)人工處處理后獲得表表格中的觀測(cè)測(cè)數(shù)據(jù)。因此此，

34、氣象數(shù)據(jù)據(jù)通過跨行業(yè)業(yè)深度結(jié)合而而挖掘其外部部關(guān)聯(lián)價(jià)值的的必要環(huán)境并并非已全部具具備。而如果果沒有數(shù)據(jù)的的充分社會(huì)共共享，氣象數(shù)數(shù)據(jù)的“大數(shù)據(jù)應(yīng)用”便便將始終徘徊徊在“內(nèi)部自自身價(jià)值”的的挖掘之中。 需要注注意的是，“大數(shù)據(jù)應(yīng)用”與目前的氣象公共服務(wù)有所不同：后者是既定業(yè)務(wù)數(shù)據(jù)加工產(chǎn)品的社會(huì)推廣應(yīng)用，是氣象數(shù)據(jù)已挖掘出的內(nèi)部自身價(jià)值（天氣預(yù)報(bào)和氣候預(yù)測(cè)產(chǎn)品）的充分展示、應(yīng)用和發(fā)揮；前者則是氣象數(shù)據(jù)“內(nèi)部自身”和“外部關(guān)聯(lián)”價(jià)值的挖掘。簡(jiǎn)言之，前者是價(jià)值產(chǎn)品的創(chuàng)新，后者是價(jià)值產(chǎn)品的應(yīng)用。產(chǎn)品應(yīng)用需要的是積極靈活的客戶經(jīng)理和及時(shí)周到的服務(wù)支持，而價(jià)值創(chuàng)新，對(duì)內(nèi)部自身而言，需要本行業(yè)領(lǐng)導(dǎo)的高素質(zhì)、科

35、學(xué)家的高度專業(yè)水準(zhǔn)、研發(fā)團(tuán)隊(duì)的精干高效；對(duì)于外部關(guān)聯(lián)價(jià)值而言，則須與其它相關(guān)領(lǐng)域原始數(shù)據(jù)的深度結(jié)合，而由于其跨行業(yè)以及數(shù)據(jù)量的浩大，這種深度結(jié)合工作所需要的是天才的跨行業(yè)創(chuàng)意分析師和有效地處理技術(shù)手段。 因此，不不宜將氣象預(yù)預(yù)報(bào)產(chǎn)品的社社會(huì)化推廣應(yīng)應(yīng)用簡(jiǎn)單地冠冠以“氣象大大數(shù)據(jù)廣泛應(yīng)應(yīng)用”的名稱稱，因?yàn)楫a(chǎn)品品應(yīng)用與氣象象數(shù)據(jù)“大小小”無(wú)關(guān)，而而如此冠名將將易導(dǎo)致概念念的混亂和氣氣象“大數(shù)據(jù)據(jù)應(yīng)用”的簡(jiǎn)簡(jiǎn)單化。5 信信息技術(shù)領(lǐng)域域需要突破的的關(guān)鍵技術(shù)以以及與“云”的的關(guān)系氣象數(shù)數(shù)據(jù)的廣泛應(yīng)應(yīng)用需要突破破的關(guān)鍵技術(shù)術(shù)很多，其中中大部分（如如天氣雷達(dá)數(shù)數(shù)據(jù)拼圖等）屬屬于專業(yè)領(lǐng)域域的科學(xué)問題題，需要相

36、應(yīng)應(yīng)領(lǐng)域科學(xué)家家們的深入研研究。就信息息技術(shù)領(lǐng)域而而言，海量數(shù)數(shù)據(jù)的高效應(yīng)應(yīng)用是亟需突突破的核心技技術(shù)難題。 （1）關(guān)關(guān)鍵技術(shù)：海海量氣象結(jié)構(gòu)構(gòu)化數(shù)據(jù)的高高效應(yīng)用 由“22.3”分析析可知，目前前氣象數(shù)據(jù)的產(chǎn)產(chǎn)生量巨大，每每時(shí)每刻如滔滔滔洪水般洶洶涌而至，傳傳統(tǒng)的技術(shù)架架構(gòu)已無(wú)法應(yīng)應(yīng)對(duì)海量氣象象數(shù)據(jù)的處理理、管理和有有效服務(wù)，以以至于有關(guān)業(yè)業(yè)務(wù)單位不得得不頻繁更新新設(shè)備，用更更高檔的服務(wù)務(wù)器運(yùn)行傳統(tǒng)統(tǒng)的關(guān)系型數(shù)數(shù)據(jù)庫(kù)和文件件系統(tǒng)，用更更高性能的磁磁盤陣列存儲(chǔ)儲(chǔ)大小不一、數(shù)數(shù)量驚人的數(shù)數(shù)據(jù)文件，以以及動(dòng)輒數(shù)億億條記錄的數(shù)數(shù)據(jù)庫(kù)列表，以以期能夠茍且且滿足當(dāng)前日日益嚴(yán)苛的數(shù)數(shù)據(jù)處理、存存儲(chǔ)和檢索等等

37、業(yè)務(wù)要求。這這不僅造成了了資金方面的的浪費(fèi)，更換換系統(tǒng)設(shè)備過過程中無(wú)法避避免的系統(tǒng)移移植和切換，也也給有關(guān)業(yè)務(wù)務(wù)和用戶造成成不必要的負(fù)負(fù)面影響。分分布式處理和和存儲(chǔ)等云計(jì)計(jì)算/大數(shù)據(jù)據(jù)技術(shù)雖然提提供了對(duì)非結(jié)結(jié)構(gòu)化數(shù)據(jù)的的規(guī)范管理和和高效應(yīng)用技技術(shù)，但對(duì)于于以地面觀測(cè)測(cè)資料為代表表的海量氣象象結(jié)構(gòu)化數(shù)據(jù)據(jù)及其復(fù)雜多多變、難以預(yù)預(yù)測(cè)的應(yīng)用方方式，卻顯得得束手無(wú)策。 地面觀觀測(cè)資料是氣氣象業(yè)務(wù)和科科研中應(yīng)用最最為廣泛和持持久的一類結(jié)結(jié)構(gòu)化數(shù)據(jù)，被被要求永久在在線管理以提提供實(shí)時(shí)服務(wù)務(wù)。而通過“22.3”中的的介紹可知，目目前全國(guó)四萬(wàn)萬(wàn)多個(gè)地面觀觀測(cè)站所產(chǎn)生生的資料，月月增量數(shù)億條條記錄（約22.4T

38、B），未未來(lái)更有可能能膨脹到每日日上億條觀測(cè)測(cè)記錄。因此此，如何運(yùn)用用恰當(dāng)?shù)募夹g(shù)術(shù)，有效管理理海量地面觀觀測(cè)資料，充充分滿足所有有用戶對(duì)地面面觀測(cè)資料的的實(shí)時(shí)檢索和和分析應(yīng)用，并并使系統(tǒng)長(zhǎng)期期處于穩(wěn)定狀狀態(tài)，是目前前必須解決的的核心技術(shù)問問題。雖然該該問題在世界界IT界亦屬屬難題，但如如果不予解決決，則海量氣氣象數(shù)據(jù)的應(yīng)應(yīng)用便存在時(shí)時(shí)效上的障礙礙，本部門業(yè)業(yè)務(wù)需求尚且且無(wú)法滿足，遑遑論“大數(shù)據(jù)據(jù)應(yīng)用”了。 自20013年初以以來(lái)，國(guó)家氣氣象信息中心心下屬的氣象象資料服務(wù)室室和系統(tǒng)設(shè)計(jì)計(jì)室的有關(guān)技技術(shù)人員，與與國(guó)內(nèi)有關(guān)高高科技企業(yè)進(jìn)進(jìn)行聯(lián)合研發(fā)發(fā)，在此領(lǐng)域域已有突破性性進(jìn)展。相信信不久的將來(lái)來(lái)，

39、此項(xiàng)關(guān)鍵鍵技術(shù)將被突突破。 （2）“大數(shù)據(jù)應(yīng)用”與云的關(guān)系 由于體體量的巨大，統(tǒng)統(tǒng)籌的集約化化管理大數(shù)據(jù)據(jù)顯得尤為重重要，因?yàn)槿缛绱朔娇梢源蟠蠓岣邤?shù)據(jù)據(jù)的應(yīng)用效益益，降低系統(tǒng)統(tǒng)的復(fù)雜度和和運(yùn)營(yíng)成本。云云計(jì)算概念的的出現(xiàn)以及隨隨之衍生出的的“云存儲(chǔ)”等等應(yīng)用架構(gòu)，為為大數(shù)據(jù)的有效效管理提供了了可行的方案案。這在目前前國(guó)家級(jí)和省省級(jí)業(yè)務(wù)系統(tǒng)統(tǒng)已十分復(fù)雜雜的我國(guó)氣象象部門，顯得得尤為重要和和急迫。 云存儲(chǔ)儲(chǔ)在未來(lái)必將將是大數(shù)據(jù)的主要要管理和應(yīng)用用形態(tài)，因?yàn)闉樵谖磥?lái)大數(shù)數(shù)據(jù)開放時(shí)代代，無(wú)力管理理大數(shù)據(jù)者將占占大數(shù)據(jù)應(yīng)用者者中的絕大多多數(shù)；沒有云云存儲(chǔ)，大數(shù)數(shù)據(jù)的廣泛應(yīng)應(yīng)用就不存在在。反之，如如果沒有

40、大數(shù)數(shù)據(jù)及大數(shù)據(jù)應(yīng)用，很很多“云”（尤尤其是“存儲(chǔ)儲(chǔ)云”）的價(jià)價(jià)值也難以體體現(xiàn)出來(lái)，二二者是相輔相相成的關(guān)系。有有關(guān)的內(nèi)容及及規(guī)劃，已納納入全國(guó)氣氣象信息網(wǎng)絡(luò)絡(luò)系統(tǒng)總體設(shè)設(shè)計(jì)之中，在在不久的將來(lái)來(lái)，將逐步予予以實(shí)現(xiàn)。 綜上所所述，可得出出如下結(jié)論： （1）目目前社會(huì)上的的“大數(shù)據(jù)應(yīng)用”大大多仍局限在在數(shù)據(jù)內(nèi)部自自身價(jià)值的深深度挖掘方面面，氣象數(shù)據(jù)據(jù)也是如此。相相對(duì)而言，氣氣象數(shù)據(jù)中的的氣象衛(wèi)星和和天氣雷達(dá)數(shù)數(shù)據(jù)因其信息息量的較為豐豐富，有可能能在與其它資資料深度融合合的過程中挖挖掘出新的應(yīng)應(yīng)用價(jià)值，并并由此開拓出出新的業(yè)務(wù)領(lǐng)領(lǐng)域。而氣象象數(shù)據(jù)外部關(guān)關(guān)聯(lián)價(jià)值的挖挖掘，有待于于科學(xué)數(shù)據(jù)社社會(huì)共享良

41、好好環(huán)境的建立立。 （2）目目前氣象數(shù)據(jù)據(jù)體量雖大，但但其增速緩于于摩爾定律。在在未來(lái)的數(shù)年年或十余年后后，其體量將將漸趨于適中中。因此“氣氣象大數(shù)據(jù)”的稱稱謂將是暫時(shí)時(shí)的。 （3）氣象數(shù)據(jù)在“大數(shù)據(jù)應(yīng)用”浪潮中亟待解決的信息技術(shù)問題，是海量氣象結(jié)構(gòu)化數(shù)據(jù)的高效應(yīng)用。這是氣象數(shù)據(jù)能否參與“大數(shù)據(jù)應(yīng)用”的技術(shù)基礎(chǔ)和前提。 （4）“云云存儲(chǔ)”將是是未來(lái)海量氣氣象數(shù)據(jù)最合合理的存儲(chǔ)管管理形式。6、結(jié)結(jié)語(yǔ) “氣象象大數(shù)據(jù)”是暫暫時(shí)的，它終終將回歸到自自己應(yīng)有的位位置，做為全全社會(huì)“大數(shù)數(shù)據(jù)”的組成成部分之一。氣象數(shù)據(jù)是匯聚自然界與氣象有關(guān)的信息聚合體，其核心價(jià)值是支撐氣象業(yè)務(wù)；但其自身價(jià)值并未被窮盡。

42、通過努力，有可能在其中挖掘出新的價(jià)值，并因之開辟新的業(yè)務(wù)領(lǐng)域。氣象數(shù)數(shù)據(jù)對(duì)于全社社會(huì)而言，是是極其珍貴的的數(shù)據(jù)和信息息資源。我們們期待著氣象象數(shù)據(jù)在跨行行業(yè)綜合應(yīng)用用這一“外部部關(guān)聯(lián)價(jià)值”挖挖掘過程中煥煥發(fā)出新的耀耀眼光芒。而而在此之前，氣氣象預(yù)報(bào)服務(wù)務(wù)產(chǎn)品的廣泛泛社會(huì)應(yīng)用，將將是氣象部門門履行職責(zé)，服服務(wù)社會(huì)的工工作重點(diǎn)；它它與氣象數(shù)據(jù)據(jù)的價(jià)值挖掘掘一道，成為為氣象業(yè)務(wù)中中不可或缺的的組成部分。 參考文文獻(xiàn)： 【1】ZZDNET:數(shù)據(jù)中心心2013:硬件重構(gòu)與與軟件定義，ZZDNET企企業(yè)解決方案案中心年度技技術(shù)報(bào)告。原原文鏈接：hhttp:/sppeciall/dataacenteer20

43、133 【2】336大數(shù)據(jù)：大數(shù)據(jù)史記22013:盤盤點(diǎn)中國(guó)20013行業(yè)數(shù)數(shù)據(jù)量 ， 原文鏈鏈接： 【3】張張瑾：大數(shù)據(jù)據(jù)是用傳統(tǒng)方方法無(wú)法解決決的數(shù)據(jù)問題題，和訊科技技：20122年11月330日10:59 原文鏈鏈接： 【4】QQX/T 1102-20009氣象象資料分類與與編碼行業(yè)業(yè)標(biāo)準(zhǔn) 【5】英維克托托邁爾-舍舍恩伯格，肯肯尼思庫(kù)克克耶：大數(shù)數(shù)據(jù)時(shí)代，浙浙江人民出版版社，20113年1月，第第一版 【6】胡胡小明：“大大數(shù)據(jù)啟發(fā)新新思維”,第第二屆大數(shù)據(jù)據(jù)應(yīng)用論壇大大會(huì)報(bào)告， 原文鏈鏈接： HYPERLINK /bi/bzjgd/82383_3.html htttp:/m/bi/bb

44、zjgd/823833_3.httml氣象與大數(shù)據(jù) 時(shí)間：20144-03-224 08:47:122 來(lái)源：未知知 作者：宣宣傳與科普中中心 點(diǎn)擊數(shù)數(shù)： 1944 世界發(fā)展的趨勢(shì)勢(shì)之一就是信信息化，不同同數(shù)據(jù)之間相相互交叉編織織成立體的、密密集的信息網(wǎng)網(wǎng)，在其中的的任何一個(gè)數(shù)數(shù)據(jù)都可能有有它的用途。那那么，如何從從氣象角度看看大數(shù)據(jù)呢？特別的大數(shù)數(shù)據(jù)氣象象歷來(lái)同數(shù)據(jù)據(jù)打交道 在一些些人眼中，氣氣象部門的主主要職責(zé)是預(yù)預(yù)報(bào)天氣。然然而，在世界界各國(guó)的經(jīng)濟(jì)濟(jì)生活中，不不少行業(yè)，如如農(nóng)業(yè)、交通通業(yè)、建筑業(yè)業(yè)、旅游業(yè)、銷銷售業(yè)、保險(xiǎn)險(xiǎn)業(yè)等，無(wú)一一例外與天氣氣的變化息息息相關(guān)，隨著著氣象在社會(huì)會(huì)生產(chǎn)生

45、活中中越來(lái)越受重重視，氣象業(yè)業(yè)務(wù)也在不斷斷地拓寬領(lǐng)域域，從最基礎(chǔ)礎(chǔ)的天氣預(yù)報(bào)報(bào)到現(xiàn)有的氣氣候預(yù)測(cè)、氣氣候可行性論論證、公共氣氣象服務(wù)、專專業(yè)專項(xiàng)氣象象服務(wù)、氣象象防災(zāi)減災(zāi)等等，氣象業(yè)務(wù)務(wù)仍將繼續(xù)拓拓展，把氣象象產(chǎn)品送到更更多人手中，為為社會(huì)創(chuàng)造財(cái)財(cái)富、減輕損損失。 毫不夸張張地說(shuō)，氣象象部門就是一一個(gè)超大的“數(shù)數(shù)據(jù)庫(kù)”，里里面存儲(chǔ)了海海量的數(shù)據(jù)。從從業(yè)務(wù)角度對(duì)對(duì)氣象數(shù)據(jù)進(jìn)進(jìn)行劃分，包包括氣象觀測(cè)測(cè)數(shù)據(jù)和氣象象產(chǎn)品數(shù)據(jù)。 計(jì)量和記錄一起促成了數(shù)據(jù)的誕生，它們是數(shù)據(jù)化最早的根基，氣象觀測(cè)數(shù)據(jù)是開展各項(xiàng)氣象業(yè)務(wù)的基礎(chǔ)。我們平時(shí)從電視、報(bào)紙或者網(wǎng)站獲取的看似簡(jiǎn)單的天氣預(yù)報(bào)信息，在其后都有非常龐雜的數(shù)據(jù)

46、采集作支撐，包括全國(guó)2000多個(gè)地面站、120多個(gè)高空探測(cè)站、6顆在軌衛(wèi)星、5萬(wàn)多個(gè)自動(dòng)監(jiān)測(cè)站、600多個(gè)農(nóng)業(yè)監(jiān)測(cè)站、300多個(gè)雷達(dá)站等，逐日逐小時(shí)甚至到逐分鐘掃描著中國(guó)出現(xiàn)的各種各樣的大氣數(shù)據(jù)。僅就貴州來(lái)說(shuō)，每天有85個(gè)氣象站、3000多個(gè)區(qū)域自動(dòng)氣象站、7部新一代多普勒天氣雷達(dá)、2個(gè)探空雷達(dá)站實(shí)時(shí)監(jiān)測(cè)各類氣象要素。我們每日接收到的天氣預(yù)報(bào)信息，就是由如此龐雜的數(shù)據(jù)，再加上歐亞甚至全球的所有氣象數(shù)據(jù)，通過篩選、運(yùn)算、分析等一系列復(fù)雜的工序得到的。隨著預(yù)報(bào)業(yè)務(wù)的不斷發(fā)展，這些數(shù)據(jù)將更加精密，數(shù)量也將繼續(xù)增加。 隨著各行各業(yè)對(duì)氣象信息的需求越來(lái)越大，簡(jiǎn)單的晴雨氣溫預(yù)報(bào)早已無(wú)法滿足社會(huì)的需要。針對(duì)

47、不同領(lǐng)域、不同行業(yè)、不同群體，氣象部門要制作相應(yīng)的氣象產(chǎn)品，例如提供給政府的決策氣象服務(wù)，水利、電力、交通、農(nóng)業(yè)等部門對(duì)氣象也各有需求，各類企業(yè)對(duì)氣象信息的需求也不一樣，有的關(guān)注降水，有的關(guān)注氣溫，有的關(guān)注災(zāi)害，有的關(guān)注風(fēng)速風(fēng)向，而且在不同時(shí)間、不同地域，各行各業(yè)對(duì)氣象的需求也不一樣。僅就一般公眾來(lái)說(shuō)，對(duì)天氣預(yù)報(bào)的需求也不限于是否下雨、溫度如何升降了，他們渴望更精細(xì)、更準(zhǔn)確、更長(zhǎng)時(shí)效的預(yù)報(bào)，甚至需要?dú)庀蟛块T直接指導(dǎo)他們的生活。氣象產(chǎn)品越來(lái)越龐雜，內(nèi)容越來(lái)越豐富，構(gòu)成了氣象大數(shù)據(jù)中的一部分。引爆氣象大數(shù)據(jù)挖掘大數(shù)據(jù)在氣象上的運(yùn)用 量化一切，是數(shù)據(jù)化的核心。長(zhǎng)期以來(lái)，無(wú)論是觀測(cè)業(yè)務(wù)、預(yù)報(bào)預(yù)測(cè)業(yè)務(wù)還

48、是科研工作，氣象工作者們都一直在做著量化的努力。就氣象數(shù)據(jù)自身來(lái)說(shuō)，我們可以由已知的數(shù)據(jù)模擬得到過去幾千年、幾萬(wàn)年甚至更久以前的氣象數(shù)據(jù)，也可以通過這些數(shù)據(jù)去預(yù)測(cè)多年后的氣象環(huán)境，當(dāng)然，在這其中還需要量化其他非氣象因子。大數(shù)據(jù)時(shí)代觀點(diǎn)認(rèn)為，對(duì)大數(shù)據(jù)進(jìn)行相對(duì)簡(jiǎn)單的相關(guān)運(yùn)算永遠(yuǎn)比對(duì)小數(shù)據(jù)進(jìn)行復(fù)雜運(yùn)算得出的結(jié)果準(zhǔn)確，在一定程度上來(lái)說(shuō)，氣象部門一直在做這樣的事，例如我們常用到的“遙相關(guān)”、“模式耦合”等運(yùn)算方法，正是在尋求氣象要素之間，以及氣象與其它事物之間的相關(guān)關(guān)系。 當(dāng)然，一旦我們完成了對(duì)大數(shù)據(jù)的相關(guān)關(guān)系分析，我們將不僅僅滿足于知道“是什么”，而會(huì)繼續(xù)更深層次地研究因果關(guān)系，找出背后的“為什么”，

49、這就是氣象科研工作者每日在忙碌的事情了。 氣象工作的最終目的是服務(wù)。氣象部門現(xiàn)有的服務(wù)包括面向政府的決策氣象服務(wù)，面向社會(huì)群體的公眾氣象服務(wù)，面向水利、電力、交通、農(nóng)業(yè)以及其它部門或企業(yè)的專業(yè)專項(xiàng)服務(wù)，以及針對(duì)干旱、暴雨洪澇、森林火險(xiǎn)、冰雹、雷電等災(zāi)害性天氣的氣象災(zāi)害預(yù)報(bào)預(yù)警服務(wù)。 防災(zāi)減災(zāi)是氣象部門最重要的職責(zé)之一，氣象大數(shù)據(jù)在防災(zāi)減災(zāi)救災(zāi)中大有可為。在大數(shù)據(jù)觀點(diǎn)中，預(yù)測(cè)是核心，而“防災(zāi)”是應(yīng)對(duì)災(zāi)害的重中之重，所以氣象預(yù)警信息顯得尤為重要。氣象預(yù)警的確定，需要非常復(fù)雜的氣象數(shù)據(jù)分析，再綜合地形、地貌等數(shù)據(jù)，以及預(yù)報(bào)員自身的經(jīng)驗(yàn)分析。然而，防災(zāi)減災(zāi)的發(fā)展方向，不僅僅是完善預(yù)警系統(tǒng)和提高預(yù)警準(zhǔn)確

50、率，還要做老百姓看得懂的預(yù)警，直接指導(dǎo)他們防災(zāi)避災(zāi)，氣象大數(shù)據(jù)必將發(fā)揮很大的作用。例如，我們可以通過某一個(gè)地方的歷史災(zāi)害情況和歷史氣候數(shù)據(jù)，以及該地的地理信息、森林覆蓋情況、居住人口數(shù)據(jù)等，提前知曉在什么天氣條件下該地會(huì)出現(xiàn)洪澇災(zāi)害，雨要下到多大才會(huì)成災(zāi)，下那么大的雨會(huì)有多少人受災(zāi)，受災(zāi)人群要如何撤離等等，進(jìn)而指導(dǎo)農(nóng)作物種植、房屋建造、建筑設(shè)施規(guī)劃選址等等，從源頭防災(zāi)減災(zāi)。 氣象部門應(yīng)用氣象大數(shù)據(jù)的實(shí)例很多，實(shí)際上我們每天都在做著這樣的事情。例如今年2月17日我省出現(xiàn)的大范圍雨雪天氣，17日夜間至18日白天，我省普遍出現(xiàn)降雪天氣，有8個(gè)縣出現(xiàn)暴雪，12個(gè)縣出現(xiàn)中雪，52縣出現(xiàn)小雪。全省共有83

51、縣1341鄉(xiāng)鎮(zhèn)降水，貴陽(yáng)市區(qū)也降下中雪。 其實(shí)早在2月中旬初，我們就已經(jīng)根據(jù)大量的氣象觀測(cè)資料以及模式資料數(shù)據(jù)分析，對(duì)這次大范圍的降雪天氣進(jìn)行密切跟蹤預(yù)報(bào)，期間多次向政府及各部門提供決策服務(wù)材料，通過各大媒體發(fā)布預(yù)報(bào)和預(yù)警信息，并針對(duì)公路、鐵路、民航、農(nóng)業(yè)等不同領(lǐng)域制作相應(yīng)的氣象服務(wù)產(chǎn)品。正是通過對(duì)大量氣象數(shù)據(jù)以及氣象數(shù)據(jù)與交通、農(nóng)業(yè)等其他領(lǐng)域的數(shù)據(jù)進(jìn)行分析處理，才讓我們做到了準(zhǔn)確的預(yù)報(bào)和及時(shí)到位的服務(wù)，省領(lǐng)導(dǎo)作出重要批示，充分肯定了各部門之間的通力協(xié)作和聯(lián)動(dòng)應(yīng)對(duì)，將降雪對(duì)交通運(yùn)輸?shù)挠绊懡档搅俗畹?。從大?shù)據(jù)角度來(lái)看，這也是對(duì)各行各業(yè)之間的數(shù)據(jù)共享做出的肯定。云計(jì)算搭載氣象大數(shù)據(jù)助力防災(zāi)減災(zāi) 氣

52、象數(shù)據(jù)的大量搜集、處理和分析，對(duì)硬、軟件的要求更為苛刻，傳統(tǒng)的處理設(shè)備難以滿足大數(shù)據(jù)處理的功能和性能要求。大數(shù)據(jù)與云計(jì)算是一個(gè)問題的兩面，一個(gè)是問題，一個(gè)是解決問題的方法。 云計(jì)算是大數(shù)據(jù)時(shí)代的基礎(chǔ)。當(dāng)越來(lái)越多的需求出現(xiàn)時(shí)，向虛擬的“云端”提出申請(qǐng)，“云端”為該需求迅速組織計(jì)算資源，而在計(jì)算結(jié)束并將結(jié)果反饋后，“云端”又可將這些臨時(shí)組織起來(lái)的資源快速釋放。這樣既提高了資源利用率，也使得我們不必為了復(fù)雜的運(yùn)算一味追求昂貴的超級(jí)計(jì)算機(jī)。 云計(jì)算使得大數(shù)據(jù)處理更方便、更快速、更省時(shí)省力，這在氣象防災(zāi)減災(zāi)中意義重大。要提高預(yù)報(bào)預(yù)警準(zhǔn)確率、科學(xué)評(píng)估災(zāi)害，必須要納入除氣象數(shù)據(jù)以外的大量其他各行各業(yè)的數(shù)據(jù)，

53、傳統(tǒng)的設(shè)備無(wú)法快速處理，這無(wú)疑是和生命財(cái)產(chǎn)安全搶奪時(shí)間，而云計(jì)算可以很好地規(guī)避這個(gè)問題。打破“數(shù)據(jù)壁壘”氣象大數(shù)據(jù)將大有作為 總的說(shuō)來(lái)，氣象大數(shù)據(jù)也就是氣象數(shù)據(jù)加上行業(yè)數(shù)據(jù)分析得出事情變化規(guī)律和對(duì)未來(lái)的一些預(yù)測(cè)，也就是說(shuō)，要在不同數(shù)據(jù)之間確立一定的規(guī)則，對(duì)未來(lái)進(jìn)行預(yù)測(cè)。氣象數(shù)據(jù)能做這樣的事情是由于其客觀、穩(wěn)定、量大，而且氣象數(shù)據(jù)和各行各業(yè)的相關(guān)性非常高。氣象與經(jīng)濟(jì)發(fā)展和社會(huì)生活息息相關(guān)，因此，發(fā)展氣象大數(shù)據(jù)大有作為，一定能為國(guó)家、為社會(huì)創(chuàng)造更多的財(cái)富。 氣象部門是高科技部門，積累了大量的數(shù)據(jù)，無(wú)疑這些數(shù)據(jù)都是寶貴的資源和財(cái)富，要充分挖掘這些資源的價(jià)值，利用好這些資源，與政府部門、企業(yè)、社會(huì)組織

54、等緊密合作，才能提供更貼近民生、貼近生產(chǎn)、貼近實(shí)際，并且更為準(zhǔn)確、更個(gè)性化的氣象服務(wù)產(chǎn)品。氣象大數(shù)據(jù)對(duì)創(chuàng)造和增長(zhǎng)社會(huì)財(cái)富有重要意義，比如說(shuō)能源，可以通過分析電力負(fù)荷歷史，加上氣象數(shù)據(jù)進(jìn)行用電量估算；比如農(nóng)業(yè)，可以通過某一地的農(nóng)耕歷史加上氣候信息就可以進(jìn)行農(nóng)作物結(jié)構(gòu)調(diào)整指導(dǎo)；還有交通，航班準(zhǔn)點(diǎn)率歷史加上機(jī)場(chǎng)歷史天氣特征，就可以得到航班延誤預(yù)測(cè)；再有公共衛(wèi)生，通過門診量和藥品銷量加上氣象歷史就可以推測(cè)發(fā)病率趨勢(shì)；在飲品方面，通過銷量和氣象要素關(guān)聯(lián)就可以掌握銷量變化。 然而，在實(shí)現(xiàn)氣象大數(shù)據(jù)的過程中，“數(shù)據(jù)壁壘”是一個(gè)實(shí)實(shí)在在的障礙。我們需要建立雙方及多方的信息基礎(chǔ)環(huán)境進(jìn)行數(shù)據(jù)融合，對(duì)各個(gè)行業(yè)的數(shù)據(jù)

55、都需要融合深度分析。所以，用好氣象大數(shù)據(jù)，必須打破各行業(yè)之間的“數(shù)據(jù)壁壘”，真正做到數(shù)據(jù)共享，才能更大地實(shí)現(xiàn)氣象大數(shù)據(jù)的價(jià)值，從而更大程度減輕災(zāi)害損失，為社會(huì)創(chuàng)造更多的財(cái)富。(文:張蕾/指導(dǎo):湯筑強(qiáng))大數(shù)據(jù)時(shí)代：氣氣象應(yīng)用與時(shí)時(shí)俱進(jìn)標(biāo)簽： HYPERLINK /mblog/k?sr=1&sf=4&kw=72326 大數(shù)據(jù)據(jù) 2014-055-15 114:46當(dāng)前，信息息技術(shù)的創(chuàng)新新正在改變著著我們熟悉的的生活和工作作方式。在大大數(shù)據(jù)時(shí)代，與與氣象事業(yè)發(fā)發(fā)展密切相關(guān)關(guān)的氣象數(shù)據(jù)據(jù)再次成為焦焦點(diǎn)。氣象的的大數(shù)據(jù)時(shí)代代真的到來(lái)了了嗎？近日，記記者就上述問問題采訪了國(guó)國(guó)家氣象信息息中心副總工工程師沈

56、文海海、中國(guó)科學(xué)學(xué)院自動(dòng)化研研究所研究員員張文生。大數(shù)據(jù)到到底有多“大”？IBM研究表表明，在整個(gè)個(gè)人類文明所所獲得的全部部數(shù)據(jù)中，有有90%是過去去兩年內(nèi)產(chǎn)生生的。而到了了2020年，全全世界所產(chǎn)生生的數(shù)據(jù)規(guī)模模將達(dá)到今天天的44倍。根據(jù)據(jù)國(guó)際數(shù)據(jù)公公司IDC監(jiān)測(cè)，人人類產(chǎn)生的數(shù)數(shù)據(jù)量正在呈呈指數(shù)級(jí)增長(zhǎng)長(zhǎng)，大約每?jī)蓛赡攴环?。?shù)據(jù)量暴增的速度令人瞠目結(jié)舌，我們已進(jìn)入“大數(shù)據(jù)時(shí)代”。張文生說(shuō)：“事實(shí)上，智能終端的大量應(yīng)用，如聊微信、刷微博、手機(jī)支付，讓越來(lái)越多的用戶貢獻(xiàn)了越來(lái)越多的數(shù)據(jù)。”記者了解到，就數(shù)據(jù)量而言，中國(guó)的大數(shù)據(jù)主要有以下幾類：互聯(lián)網(wǎng)，大約有2EB的數(shù)據(jù)。電信、金融、保險(xiǎn)、電力、

57、石化系統(tǒng)每個(gè)系統(tǒng)大致都擁有10PB以上的數(shù)據(jù)；在公共安全、醫(yī)療、交通、電子政務(wù)領(lǐng)域，一個(gè)中等規(guī)模城市每年大約產(chǎn)生300PB。在商業(yè)銷售、制造業(yè)、農(nóng)業(yè)、物流和流通等領(lǐng)域，數(shù)據(jù)量尚處于積累期，體量不大，多的達(dá)到PB級(jí)別，基本約在數(shù)十TB到近百TB級(jí)別。對(duì)于氣象數(shù)據(jù)來(lái)說(shuō)，“氣象部門需要永久保存的數(shù)據(jù)目前約有4PB5PB，年增量約1PB?！鄙蛭暮＝榻B，相對(duì)而言，氣象數(shù)據(jù)較上述數(shù)據(jù)大戶至少低3個(gè)數(shù)量級(jí)。氣象數(shù)據(jù)是大數(shù)據(jù)嗎?“大數(shù)據(jù)就是全體數(shù)據(jù)，是混雜數(shù)據(jù)，不必追究數(shù)據(jù)的來(lái)源。”張文生介紹。目前，對(duì)大數(shù)據(jù)的特征，科學(xué)界已達(dá)成了共識(shí)，就是大體積、多樣性、高速度和價(jià)值大?！绑w積巨大是大數(shù)據(jù)的最根本的特征。一般

58、而言，大數(shù)據(jù)的起始計(jì)量單位至少是PB、EB或ZB級(jí)別。”沈文海介紹。類型和來(lái)源的渠道繁多是大數(shù)據(jù)的第二個(gè)特征。此外，生成速度快、處理時(shí)效高、價(jià)值巨大也是大數(shù)據(jù)的特征?！霸隗w積上，氣象數(shù)據(jù)剛剛達(dá)到大數(shù)據(jù)的準(zhǔn)入門檻。”沈文海分析道：目前，在所有氣象資料中，地面觀測(cè)、氣象衛(wèi)星遙感、天氣雷達(dá)和數(shù)值預(yù)報(bào)產(chǎn)品四類數(shù)據(jù)占數(shù)據(jù)總量的90%以上，堪稱“四大金剛”。氣象數(shù)據(jù)來(lái)源種類繁多，僅氣候工作特用資料就包括冰芯、花粉、樹木年輪、洋流鹽度、地表植被等觀測(cè)資料，已達(dá)數(shù)十種。沈文海說(shuō)：“這些數(shù)據(jù)雖然種類多，但都是只用于氣象領(lǐng)域的科學(xué)數(shù)據(jù)，來(lái)源較為單一?！北娝苤镜臍庀髷?shù)據(jù)直接用途是氣象業(yè)務(wù)、天氣預(yù)報(bào)、氣候預(yù)測(cè)

59、以及氣象服務(wù)?！按髷?shù)據(jù)應(yīng)用”與目前的氣象服務(wù)有所不同，前者是氣象數(shù)據(jù)的“深度應(yīng)用”和“增值應(yīng)用”，后者是既定業(yè)務(wù)數(shù)據(jù)加工產(chǎn)品的社會(huì)推廣應(yīng)用?！安灰藢庀箢A(yù)報(bào)產(chǎn)品的社會(huì)化推廣應(yīng)用簡(jiǎn)單地冠以氣象大數(shù)據(jù)廣泛應(yīng)用的名稱，因?yàn)楫a(chǎn)品應(yīng)用與氣象數(shù)據(jù)的大小無(wú)關(guān)，如此冠名將易導(dǎo)致概念的混亂和氣象大數(shù)據(jù)的簡(jiǎn)單化?！鄙蛭暮１硎?。氣象數(shù)據(jù)要如何發(fā)展？大數(shù)據(jù)時(shí)代已經(jīng)到來(lái)，氣象數(shù)據(jù)如何發(fā)展是氣象工作者關(guān)注的重點(diǎn)?！澳壳?，社會(huì)上的大數(shù)據(jù)應(yīng)用大多局限在數(shù)據(jù)基本價(jià)值的深度應(yīng)用挖掘方面?！睆埼纳f(shuō)。除了大家知道的天氣預(yù)報(bào)等，現(xiàn)在，氣象行業(yè)的公共服務(wù)職能越來(lái)越強(qiáng)，面向政府提供決策服務(wù)，面向公眾提供氣象預(yù)報(bào)預(yù)警服務(wù)，面向社會(huì)發(fā)展，應(yīng)

60、對(duì)氣候發(fā)展節(jié)能減排。這些決策信息怎么來(lái)依賴于我們對(duì)氣象數(shù)據(jù)的處理。采用統(tǒng)計(jì)分析方法對(duì)海量數(shù)據(jù)進(jìn)行分析處理，發(fā)現(xiàn)其中某些特定要素之間的關(guān)系，這是到目前為止，所有“大數(shù)據(jù)應(yīng)用”成功案例的共同特征，即便“大機(jī)器學(xué)習(xí)”等目前備受推崇的大數(shù)據(jù)時(shí)代新事物也無(wú)例外?！按髷?shù)據(jù)的核心就是預(yù)測(cè)”，這是大數(shù)據(jù)時(shí)代的作者舍恩伯格的名言?！叭绻@一斷言是準(zhǔn)確的話，那么氣象數(shù)據(jù)的大數(shù)據(jù)應(yīng)用時(shí)代也許還沒有到來(lái)?！鄙蛭暮７治龅?。天氣和氣候系統(tǒng)是典型的非線性系統(tǒng)，無(wú)法通過運(yùn)用簡(jiǎn)單的統(tǒng)計(jì)分析方法來(lái)對(duì)其進(jìn)行準(zhǔn)確的預(yù)報(bào)和預(yù)測(cè)。人們常說(shuō)的南美叢林里一只蝴蝶扇動(dòng)幾下翅膀，會(huì)在幾周后引發(fā)北美的一場(chǎng)暴風(fēng)雪這一現(xiàn)象，形象地描繪了氣象科學(xué)的復(fù)雜