大數(shù)據(jù)在金融行業(yè)應(yīng)用與挑戰(zhàn)作者：盛瀚北京銀行，長(zhǎng)久從事信息化安全建設(shè)和IT服務(wù)管理研究。摘要：本文對(duì)大數(shù)據(jù)在金融行業(yè)應(yīng)用發(fā)展進(jìn)行分析，闡述大數(shù)據(jù)特征和發(fā)展趨勢(shì)，結(jié)合金融行業(yè)特征介紹數(shù)據(jù)類型、技術(shù)實(shí)現(xiàn)和相關(guān)應(yīng)用及場(chǎng)景案例，同時(shí)從數(shù)據(jù)增加、數(shù)據(jù)保障、數(shù)據(jù)標(biāo)準(zhǔn)和數(shù)據(jù)人才四個(gè)方面描述了大數(shù)據(jù)金融存在挑戰(zhàn)。關(guān)鍵詞：大數(shù)據(jù)，金融1.大數(shù)據(jù)概述1.1.什么是大數(shù)據(jù)大數(shù)據(jù)（BigData）是一個(gè)寬泛概念，業(yè)界沒(méi)有統(tǒng)一定義，大數(shù)據(jù)概念興起能夠追溯到前后，最初了解為一類海量數(shù)據(jù)集合。，美國(guó)麥肯錫在研究匯報(bào)《大數(shù)據(jù)下一個(gè)前沿：創(chuàng)新、競(jìng)爭(zhēng)和生產(chǎn)力》中給出了大數(shù)據(jù)定義：大數(shù)據(jù)是指大小超出經(jīng)典數(shù)據(jù)庫(kù)軟件工具搜集、存放、管理和分析能力數(shù)據(jù)集。依照Gartner定義，大數(shù)據(jù)是需要新處理模式才能具備更強(qiáng)決議力、洞察發(fā)覺(jué)力和流程優(yōu)化能力海量、高增加率和多樣化信息資產(chǎn)。大數(shù)據(jù)在通信、金融、教育等各個(gè)領(lǐng)域存在已經(jīng)有時(shí)日，近年來(lái)伴隨互聯(lián)網(wǎng)和信息行業(yè)發(fā)展進(jìn)入了快速推廣階段。1.2.大數(shù)據(jù)特征大數(shù)據(jù)不但有傳統(tǒng)數(shù)據(jù)定義“三個(gè)V”，即數(shù)量（Volume）、速度（Velocity）和種類（Variety），還包含了更主要第四個(gè)V，價(jià)值（Value）。阿姆斯特丹大學(xué)提出了大數(shù)據(jù)體系架構(gòu)框架5V特征，在原有4V基礎(chǔ)上增加了真實(shí)性（Veracity）特征，包含數(shù)據(jù)可信性、真?zhèn)涡?、起源和信譽(yù)、有效性和可審計(jì)性等特征，如圖1所表示。圖SEQ圖\*ARABIC1大數(shù)據(jù)體系架構(gòu)框架5V特征1.3.大數(shù)據(jù)發(fā)展趨勢(shì)伴隨大數(shù)據(jù)產(chǎn)業(yè)不停發(fā)展，各行業(yè)應(yīng)用處理方案不停成熟，大數(shù)據(jù)產(chǎn)業(yè)迎來(lái)了井噴式發(fā)展。Wikibon數(shù)據(jù)顯示，全球大數(shù)據(jù)市場(chǎng)規(guī)模達(dá)成285億美元，同比增加53.2%。大數(shù)據(jù)成為全球IT支出新增加點(diǎn)，如圖2所表示。Gartner數(shù)據(jù)顯示，數(shù)據(jù)中心系統(tǒng)支出達(dá)1430億美元，比年增加2.3%。大數(shù)據(jù)對(duì)全球IT開(kāi)支直接或間接推進(jìn)將達(dá)2320億美元，預(yù)計(jì)到這一數(shù)據(jù)將增加三倍。圖SEQ圖\*ARABIC2Wikibon全球大數(shù)據(jù)市場(chǎng)規(guī)模測(cè)算全球大數(shù)據(jù)市場(chǎng)結(jié)構(gòu)從壟斷競(jìng)爭(zhēng)向完全競(jìng)爭(zhēng)格局演化。企業(yè)數(shù)量快速增多，產(chǎn)品和服務(wù)差異增大，技術(shù)門(mén)檻逐步降低，市場(chǎng)競(jìng)爭(zhēng)越發(fā)激烈。全球大數(shù)據(jù)市場(chǎng)中，行業(yè)處理方案、計(jì)算分析服務(wù)、存放服務(wù)、數(shù)據(jù)庫(kù)服務(wù)和大數(shù)據(jù)應(yīng)用為市場(chǎng)份額排名最靠前細(xì)分市場(chǎng)，如圖3所表示。圖SEQ圖\*ARABIC3Wikibon全球大數(shù)據(jù)市場(chǎng)結(jié)構(gòu)測(cè)算2.大數(shù)據(jù)金融伴隨大數(shù)據(jù)技術(shù)應(yīng)用，越來(lái)越多金融企業(yè)也開(kāi)始投身到大數(shù)據(jù)應(yīng)用實(shí)踐中。麥肯錫一份研究顯示，金融業(yè)在大數(shù)據(jù)價(jià)值潛力指數(shù)中排名第一。以銀行業(yè)為例，中國(guó)銀聯(lián)包括43億張銀行卡，超出9億持卡人，超出一千萬(wàn)商戶，天天近七千萬(wàn)條交易數(shù)據(jù)，關(guān)鍵交易數(shù)據(jù)都超出了TB級(jí)。一直以來(lái)，金融企業(yè)對(duì)數(shù)據(jù)重視程度非常高。伴隨移動(dòng)互聯(lián)網(wǎng)發(fā)展各種務(wù)和服多樣化市場(chǎng)整體規(guī)模擴(kuò)大。對(duì)于數(shù)據(jù)分析帶來(lái)主要業(yè)務(wù)價(jià)值，大量參加調(diào)研金融企業(yè)表示，大數(shù)據(jù)分析價(jià)值是能夠依照商業(yè)分析實(shí)現(xiàn)愈加智能業(yè)務(wù)決議，讓企業(yè)戰(zhàn)略制訂愈加理性化。依靠有前瞻性決議，實(shí)現(xiàn)生產(chǎn)過(guò)程中資源更優(yōu)化分配，能夠依照市場(chǎng)改變快速做出調(diào)整，提升用戶體驗(yàn)以及資金周轉(zhuǎn)率，降低庫(kù)存積壓風(fēng)險(xiǎn)，從而獲取更高利潤(rùn)。2.1.金融數(shù)據(jù)類型金融數(shù)據(jù)從數(shù)據(jù)類型上進(jìn)行劃分，大致能夠分為結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)三大類。（1）結(jié)構(gòu)化數(shù)據(jù)。結(jié)構(gòu)化數(shù)據(jù)起源自金融企業(yè)運(yùn)行數(shù)據(jù)倉(cāng)儲(chǔ)(ODS)和數(shù)據(jù)倉(cāng)庫(kù)(EDW)。EDW為企業(yè)提供分析決議服務(wù)，ODS主要實(shí)現(xiàn)企業(yè)數(shù)據(jù)整合、共享和準(zhǔn)實(shí)時(shí)運(yùn)行監(jiān)控等功效。而經(jīng)過(guò)Hadoop等組件應(yīng)用能夠?qū)?shù)月前甚至幾年前歷史數(shù)據(jù)進(jìn)行遷移保留。在分布式存放結(jié)構(gòu)下，結(jié)構(gòu)化數(shù)據(jù)存放計(jì)算能夠得到巨大改進(jìn)，可對(duì)海量離線數(shù)據(jù)進(jìn)行離線分析，將離線數(shù)據(jù)優(yōu)勢(shì)最大化，為金融企業(yè)用戶打造立體用戶畫(huà)像提供最全方面數(shù)據(jù)支撐。（2）半結(jié)構(gòu)化數(shù)據(jù)。半結(jié)構(gòu)化數(shù)據(jù)整合在數(shù)據(jù)整合中是最為復(fù)雜。金融企業(yè)可對(duì)接起源于外部單位所提供不一樣類型數(shù)據(jù)庫(kù)或Excel等數(shù)據(jù)?！按蛲ā倍嘣串悩?gòu)數(shù)據(jù)是項(xiàng)目中碰到最困難部分，數(shù)據(jù)整合完成可快速進(jìn)行建模分析。（3）非結(jié)構(gòu)化數(shù)據(jù)。金融行業(yè)對(duì)于非結(jié)構(gòu)化處理方法還是比較原始。非結(jié)構(gòu)化數(shù)據(jù)涵蓋范圍比較廣泛，有新聞，視頻，圖片以及社交網(wǎng)絡(luò)等數(shù)據(jù)。2.2.大數(shù)據(jù)金融技術(shù)實(shí)現(xiàn)金融數(shù)據(jù)通常具備“流數(shù)據(jù)”特征，需要在短時(shí)間內(nèi)快速處理。與其余行業(yè)相比，金融具備邏輯關(guān)系緊密、處理實(shí)時(shí)性要求高、可展示性需求強(qiáng)等特征，通常需要以下幾類關(guān)鍵技術(shù)。（1）數(shù)據(jù)分析技術(shù)。包含數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)等人工智能技術(shù)，主要應(yīng)用在用戶信用分析、用戶聚類分析、用戶特征分析、產(chǎn)品關(guān)聯(lián)分析、營(yíng)銷(xiāo)分析等方面。金融系統(tǒng)安全性、穩(wěn)定性和實(shí)時(shí)性要求比較高，對(duì)大數(shù)據(jù)計(jì)算處理能力也要求非常高。（2）數(shù)據(jù)管理技術(shù)。包含關(guān)系型和非關(guān)系型數(shù)據(jù)管理技術(shù)、數(shù)據(jù)融合和集成技術(shù)、數(shù)據(jù)抽取技術(shù)、數(shù)據(jù)清洗和轉(zhuǎn)換等技術(shù)。金融行業(yè)對(duì)數(shù)據(jù)實(shí)時(shí)處理能力要求非常高，需要靈活地進(jìn)行數(shù)據(jù)轉(zhuǎn)換配置和任務(wù)配置。（3）數(shù)據(jù)處理技術(shù)。包含分布式計(jì)算、內(nèi)存計(jì)算技術(shù)、流處理技術(shù)等。經(jīng)過(guò)新型數(shù)據(jù)處理技術(shù)更有效地利用軟硬件資源，在降低IT投入、維護(hù)成本和物理能耗同事，提供更為穩(wěn)定、強(qiáng)大數(shù)據(jù)處理能力。（4）數(shù)據(jù)展現(xiàn)技術(shù)。包含可視化技術(shù)、歷史流展示技術(shù)、空間信息流展示技術(shù)等。主要用于金融產(chǎn)品健康度監(jiān)視、產(chǎn)品發(fā)展趨勢(shì)監(jiān)視、客戶價(jià)值監(jiān)視、反洗錢(qián)反欺預(yù)警等方面。2.3.大數(shù)據(jù)金融場(chǎng)景應(yīng)用任何技術(shù)應(yīng)用都是基于需求產(chǎn)生，大數(shù)據(jù)金融應(yīng)用也是由金融行業(yè)業(yè)務(wù)驅(qū)動(dòng)而衍生出來(lái)。詳細(xì)應(yīng)用分類也沒(méi)有統(tǒng)一標(biāo)準(zhǔn)。以金融行業(yè)最具代表性銀行為例，依照業(yè)務(wù)驅(qū)動(dòng)應(yīng)用場(chǎng)景大致可分為精準(zhǔn)營(yíng)銷(xiāo)、風(fēng)險(xiǎn)控制、改進(jìn)經(jīng)營(yíng)、服務(wù)創(chuàng)新和產(chǎn)品創(chuàng)新等五個(gè)方面，如圖4所表示。（1）精準(zhǔn)營(yíng)銷(xiāo)：互聯(lián)網(wǎng)時(shí)代銀行在互聯(lián)網(wǎng)沖擊下，迫切需要掌握更多用戶信息，繼而構(gòu)建用戶360度立體畫(huà)像，即可對(duì)細(xì)分客戶進(jìn)行精準(zhǔn)營(yíng)銷(xiāo)、實(shí)時(shí)營(yíng)銷(xiāo)等個(gè)性化智慧營(yíng)銷(xiāo)。（2）風(fēng)險(xiǎn)控制：應(yīng)用大數(shù)據(jù)技術(shù)，能夠統(tǒng)一管理金融企業(yè)內(nèi)部多源異構(gòu)數(shù)據(jù)與外部征信數(shù)據(jù)，能夠愈加好完善風(fēng)控體系。內(nèi)部可保障數(shù)據(jù)完整性與安全性，外部可控制用戶風(fēng)險(xiǎn)。（3）改進(jìn)經(jīng)營(yíng)：經(jīng)過(guò)大數(shù)據(jù)分析方法改進(jìn)經(jīng)營(yíng)決議，為管理層提供可靠數(shù)據(jù)支撐，使經(jīng)營(yíng)決議愈加高效、靈敏，精準(zhǔn)性更高。（4）服務(wù)創(chuàng)新：經(jīng)過(guò)對(duì)大數(shù)據(jù)應(yīng)用，改進(jìn)與客戶之間交互、增加用戶粘性，為個(gè)人與政府提供增值服務(wù)，不停增強(qiáng)金融企業(yè)業(yè)務(wù)關(guān)鍵競(jìng)爭(zhēng)力。（5）產(chǎn)品創(chuàng)新：經(jīng)過(guò)高端數(shù)據(jù)分析和綜合化數(shù)據(jù)分享，有效對(duì)接銀行、保險(xiǎn)、信托、基金等各類金融產(chǎn)品，使金融企業(yè)能夠從其余領(lǐng)域借鑒并創(chuàng)造出新金融產(chǎn)品。圖SEQ圖\*ARABIC4金融大數(shù)據(jù)業(yè)務(wù)驅(qū)動(dòng)2.3.場(chǎng)景實(shí)例2.3.1.客戶全景畫(huà)像客戶畫(huà)像應(yīng)用主要分為個(gè)人客戶畫(huà)像和企業(yè)客戶畫(huà)像。其中個(gè)人客戶畫(huà)像包含人口統(tǒng)計(jì)學(xué)特征、消費(fèi)能力數(shù)據(jù)、興趣數(shù)據(jù)、風(fēng)險(xiǎn)偏好等。以銀行為例，銀行擁有客戶信息并不全方面，基于銀行本身?yè)碛袛?shù)據(jù)有時(shí)候難以得出理想結(jié)果甚至可能得犯錯(cuò)誤結(jié)論，所以還需要引入外部數(shù)據(jù)源，包含：運(yùn)行商數(shù)據(jù)、主流電商網(wǎng)站數(shù)據(jù)、上網(wǎng)痕跡數(shù)據(jù)、SNS軟件、生活圈子、網(wǎng)絡(luò)應(yīng)用等，從而豐富用戶標(biāo)簽，構(gòu)建一起全方面客戶畫(huà)像，以下列圖5所表示。圖SEQ圖\*ARABIC5大數(shù)據(jù)客戶全景畫(huà)像2.3.2.客戶服務(wù)優(yōu)化經(jīng)過(guò)大數(shù)據(jù)，金融企業(yè)可監(jiān)控各種市場(chǎng)推廣運(yùn)作情況，將客戶行為轉(zhuǎn)化為咨詢流，從中分析客戶個(gè)性特征、風(fēng)險(xiǎn)偏好，了解客戶金融往來(lái)習(xí)慣及使用行為，深入分析及預(yù)測(cè)客戶潛在需求，將精準(zhǔn)行銷(xiāo)擴(kuò)展至服務(wù)創(chuàng)新與優(yōu)化。圖SEQ圖\*ARABIC6個(gè)性服務(wù)優(yōu)化過(guò)程以銀行為例，經(jīng)過(guò)大數(shù)據(jù)資料庫(kù)，可對(duì)下轄分子機(jī)構(gòu)服務(wù)柜臺(tái)及擺設(shè)、理財(cái)區(qū)裝飾、甚至座位設(shè)計(jì)，依照資料庫(kù)中機(jī)構(gòu)所在地人口特征、年紀(jì)及交易量復(fù)雜度等數(shù)據(jù)，以及客戶在網(wǎng)站、手機(jī)銀行、微信銀行等軟件使用習(xí)慣進(jìn)行分析，為客戶提供個(gè)性化服務(wù)。如：針對(duì)高領(lǐng)客戶百分比偏高機(jī)構(gòu)，即考慮新增矮柜服務(wù)窗口并提供大屏幕顯示器提醒；面對(duì)用戶對(duì)網(wǎng)銀、手機(jī)銀行使用習(xí)慣，將瀏覽率高欄目與瀏覽率低欄目進(jìn)行重新排版設(shè)計(jì)，以提升客戶使用率及忠誠(chéng)度目標(biāo)；依照不一樣人群在網(wǎng)絡(luò)、手機(jī)APP訪問(wèn)統(tǒng)計(jì)行為，分析其關(guān)注資訊不一樣（頁(yè)面瀏覽時(shí)間，次數(shù)，頻率等），提供不一樣需求咨詢和服務(wù)。2.3.3.征信數(shù)據(jù)分析大數(shù)據(jù)分析對(duì)于風(fēng)險(xiǎn)控制有著主要意義，金融機(jī)構(gòu)可經(jīng)過(guò)對(duì)工商、稅務(wù)、司法、公安、行政、運(yùn)行商、航旅、教育、銀聯(lián)、第三方等多方機(jī)構(gòu)信息進(jìn)行數(shù)據(jù)分析，加工碎片數(shù)據(jù)，形成整合視圖，進(jìn)行風(fēng)險(xiǎn)分析，量化企業(yè)信用額度，更有效開(kāi)展金融業(yè)務(wù)。圖SEQ圖\*ARABIC7互聯(lián)網(wǎng)大數(shù)據(jù)征信平臺(tái)同時(shí)，在交易欺詐防控中，能夠利用銀行持卡人基本信息、卡基本信息、交易歷史、客戶歷史行為模式、正在發(fā)生行為模式（如轉(zhuǎn)賬）等，結(jié)合智能規(guī)則引擎（如從一個(gè)不經(jīng)常出現(xiàn)國(guó)家為一個(gè)特有用戶轉(zhuǎn)賬或從一個(gè)不熟悉位置進(jìn)行在線交易）進(jìn)行實(shí)時(shí)交易反欺詐分析，以下列圖8所表示。圖SEQ圖\*ARABIC8銀行卡交易匯報(bào)經(jīng)過(guò)使用各類數(shù)據(jù)項(xiàng)，進(jìn)行機(jī)器學(xué)習(xí)和集成學(xué)習(xí)，從而產(chǎn)生信用評(píng)分。圖SEQ圖\*ARABIC9征信評(píng)分雷達(dá)3.大數(shù)據(jù)金融存在挑戰(zhàn)3.1.數(shù)據(jù)幾何級(jí)增加，整合困難現(xiàn)在，全球各行業(yè)數(shù)據(jù)量增加速度驚人，再我國(guó)尤其集中在金融、交通、電信、制造業(yè)等重點(diǎn)行業(yè)和醫(yī)保、社保、海關(guān)等主要領(lǐng)域，信息化不停深入正在深入催生更多新海量數(shù)據(jù)。據(jù)統(tǒng)計(jì)，中國(guó)數(shù)據(jù)總量達(dá)成1700EB以上，同比增加90%，預(yù)計(jì)到年這一數(shù)值將超出8000EB。以銀行業(yè)為例，每創(chuàng)收100萬(wàn)元，銀行業(yè)平均產(chǎn)生130GB數(shù)據(jù)，數(shù)據(jù)強(qiáng)度高踞各行業(yè)之首。但在金融企業(yè)內(nèi)部數(shù)據(jù)處于割裂狀態(tài)，業(yè)務(wù)條線、職能部門(mén)、渠道部門(mén)、風(fēng)險(xiǎn)部門(mén)等各個(gè)分支機(jī)構(gòu)往往是數(shù)據(jù)真正擁有者，缺乏順暢共享機(jī)制，造成海量數(shù)據(jù)往往處于分散和“睡眠”狀態(tài)，即使金融行業(yè)擁有數(shù)據(jù)量“富可敵國(guó)”，但真正利用時(shí)卻“捉襟見(jiàn)肘”。3.2.數(shù)據(jù)安全保障安全與隱私問(wèn)題是大數(shù)據(jù)發(fā)展過(guò)程中一個(gè)關(guān)鍵問(wèn)題，多項(xiàng)實(shí)際案例表明，即使無(wú)害數(shù)據(jù)被大量搜集后，也會(huì)暴露個(gè)人隱私。實(shí)際上，大數(shù)據(jù)安全含義更為廣泛，人們面臨威脅并不但限于個(gè)人隱私泄露，保護(hù)對(duì)象不但包含大數(shù)據(jù)本身，也包含經(jīng)過(guò)大數(shù)據(jù)分析得到知識(shí)。與當(dāng)前其余信息一樣，大數(shù)據(jù)在存放、處理、傳輸?shù)冗^(guò)程中面臨安全風(fēng)險(xiǎn)，主要包含數(shù)據(jù)管理風(fēng)險(xiǎn)和數(shù)據(jù)運(yùn)行風(fēng)險(xiǎn)。這里首先需要技術(shù)伎倆保護(hù)，同時(shí)需相關(guān)法律法規(guī)完善和金融企業(yè)本身自律。3.3.大數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范制訂要實(shí)現(xiàn)數(shù)據(jù)互聯(lián)互通，必須包含兩個(gè)條件，其中互聯(lián)是技術(shù)體系標(biāo)準(zhǔn)，互通是數(shù)據(jù)體系標(biāo)準(zhǔn)。實(shí)現(xiàn)互聯(lián)能夠要求系統(tǒng)使用標(biāo)準(zhǔn)化接口，而實(shí)現(xiàn)互通則需要圍繞產(chǎn)業(yè)鏈建立跨行業(yè)數(shù)據(jù)標(biāo)準(zhǔn)結(jié)構(gòu)?，F(xiàn)在，各行業(yè)發(fā)展長(zhǎng)久各施其政，行業(yè)間存在較高壁壘，即使金融行業(yè)內(nèi)部，如銀行、證券、保險(xiǎn)等行業(yè)也采取了不一樣標(biāo)準(zhǔn)，恪守不一樣行業(yè)規(guī)范。怎樣加緊元數(shù)據(jù)、數(shù)據(jù)交換、數(shù)據(jù)交易、數(shù)據(jù)質(zhì)量、安全保密等重點(diǎn)共性標(biāo)準(zhǔn)制訂是大數(shù)據(jù)建設(shè)關(guān)鍵。3.4.人才梯隊(duì)培養(yǎng)與信息技術(shù)其余細(xì)分領(lǐng)域人才相比，大數(shù)據(jù)發(fā)展對(duì)人才復(fù)合型能力要求更高，需要掌握計(jì)算機(jī)軟件技術(shù)，并具備數(shù)學(xué)、統(tǒng)計(jì)學(xué)等方面知識(shí)以及應(yīng)用領(lǐng)域?qū)I(yè)知識(shí)。現(xiàn)在金融行業(yè)在可負(fù)擔(dān)分析和挖掘復(fù)合型人才、高端數(shù)據(jù)科學(xué)家以及管理人才都存在很大缺口。5.結(jié)束語(yǔ)黨十八屆五中全會(huì)“十三五”規(guī)劃提出：“實(shí)施國(guó)家大數(shù)據(jù)戰(zhàn)略，推進(jìn)數(shù)據(jù)資源開(kāi)放共享”。12月16日在第二屆世界互聯(lián)網(wǎng)大會(huì)開(kāi)幕式上，習(xí)近平總書(shū)記提出：“