擁抱大數(shù)據(jù)，助推銀行“商業(yè)智能化”之路作者：章孜謙徐端豐來源：《中國金融電腦》2018年第11期近年來，伴隨數(shù)據(jù)的商業(yè)價(jià)值提升，商業(yè)智能的概念越來越熱。新技術(shù)的發(fā)展給傳統(tǒng)商業(yè)智能注入新的活力，商業(yè)智能也從之前“固定的低時(shí)效二維表”向“自定義的高時(shí)效可視化圖表”轉(zhuǎn)變。企業(yè)希望在第一時(shí)間通過直觀的、基于事實(shí)的圖表支持來輔助經(jīng)營決策甚至戰(zhàn)略規(guī)劃。本文立足銀行在商業(yè)智能領(lǐng)域應(yīng)用場景，以工商銀行在構(gòu)筑覆蓋和貫通金融服務(wù)、電子商務(wù)、社交生活的互聯(lián)網(wǎng)金融整體架構(gòu)為例，介紹商業(yè)銀行利用大數(shù)據(jù)技術(shù)手段實(shí)現(xiàn)在傳統(tǒng)銀行數(shù)字化、智能化轉(zhuǎn)型過程中提升運(yùn)營管理能力、數(shù)據(jù)服務(wù)能力的經(jīng)驗(yàn)。一、商業(yè)銀行在商業(yè)智能領(lǐng)域的現(xiàn)狀和面臨的問題什么是商業(yè)智能根據(jù)維基百科的定義，商業(yè)智能是一系列技術(shù)和工具的集合，為了商業(yè)分析的目的，獲取原始數(shù)據(jù)并將其轉(zhuǎn)換成有意義的信息。因此從技術(shù)層面上講，商業(yè)智能不是什么新技術(shù)，它只是大數(shù)據(jù)、聯(lián)機(jī)分析處理（OLAP）和數(shù)據(jù)挖掘等技術(shù)的綜合運(yùn)用，它的關(guān)鍵是從大數(shù)據(jù)范疇中得到企業(yè)的全局視圖，在此基礎(chǔ)上利用合適的挖掘和分析工具進(jìn)行處理，最后將知識呈現(xiàn)給管理者，為管理者的決策過程提供數(shù)據(jù)支持。數(shù)據(jù)是銀行商業(yè)智能體系建設(shè)的源頭和基礎(chǔ)銀行自身擁有海量的客戶數(shù)據(jù)、交易數(shù)據(jù)、流量數(shù)據(jù)、管理數(shù)據(jù)以及各類不良風(fēng)險(xiǎn)交易記錄，在大數(shù)據(jù)應(yīng)用方面具有得天獨(dú)厚的優(yōu)勢。一方面，數(shù)據(jù)并不等于信息，掌握數(shù)據(jù)卻不掌握處理的方法、展現(xiàn)的手段以及運(yùn)用的能力，并不能給商業(yè)決策帶來任何幫助；另一方面，掌握技術(shù)手段卻不擁有數(shù)據(jù)，就像僅僅學(xué)會了“屠龍之術(shù)”卻無用武之地，也不會帶來任何裨益。只有數(shù)據(jù)與技術(shù)相結(jié)合，才能使數(shù)據(jù)中蘊(yùn)含的價(jià)值得以體現(xiàn)，因此在銀行的“商業(yè)智能化”之路上，數(shù)據(jù)既是源頭也是基礎(chǔ)。銀行商業(yè)智能面臨的困難和挑戰(zhàn)從處理數(shù)據(jù)的類型看，銀行在傳統(tǒng)商業(yè)智能的解決方案致力于實(shí)現(xiàn)結(jié)構(gòu)化數(shù)據(jù)的分主題、分專業(yè)的整合分析。由于大數(shù)據(jù)大都是一些類型豐富的碎片化數(shù)據(jù)（半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)），沒有相對固定的模式，而且價(jià)值密度相對較低但卻極為重要，如何平衡增加存儲的代價(jià)和挖掘到有用信息的可能性，如何花最小的代價(jià)從此類信息中獲取最大的價(jià)值成了一大挑戰(zhàn)。從處理數(shù)據(jù)的時(shí)效看，受制于當(dāng)時(shí)的技術(shù)，傳統(tǒng)商業(yè)智能無法有效處理實(shí)時(shí)、準(zhǔn)實(shí)時(shí)數(shù)據(jù)，加工數(shù)據(jù)慢則一個(gè)月，快則一兩天，無法滿足當(dāng)今商業(yè)領(lǐng)域瞬息萬變、快速響應(yīng)的需求。從處理后信息的展現(xiàn)形式看，傳統(tǒng)商業(yè)智能的輸出物數(shù)量眾多，開發(fā)人員負(fù)責(zé)用程序來生成從各種維度分析統(tǒng)計(jì)的報(bào)表，業(yè)務(wù)人員則花費(fèi)大量時(shí)間來對報(bào)表進(jìn)行分析或整合，以滿足各個(gè)專業(yè)條線各有側(cè)重的統(tǒng)計(jì)需求，并將其中的一小部分手工作業(yè)用Excel或者其他工具將其轉(zhuǎn)換成圖形，滿足少量可視化展現(xiàn)的需要。在這個(gè)流程中，不僅報(bào)表開發(fā)時(shí)間長，業(yè)務(wù)人員再加工成本高，且只有極少數(shù)據(jù)因?qū)崿F(xiàn)了可視化而便于使用。二、大數(shù)據(jù)、流式數(shù)據(jù)處理和數(shù)據(jù)可視化技術(shù)助推商業(yè)智能快速發(fā)展隨著大數(shù)據(jù)、流式數(shù)據(jù)處理、數(shù)據(jù)可視化等技術(shù)的發(fā)展，綜合運(yùn)用各種技術(shù)的商業(yè)智能也在快速地發(fā)展。大數(shù)據(jù)、流式數(shù)據(jù)處理等先進(jìn)的數(shù)據(jù)處理技術(shù)的發(fā)展一方面，盡管隨著技術(shù)的發(fā)展，可處理的半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)范圍越來越廣，但其固有的體量大、密度低的特點(diǎn)使得這些數(shù)據(jù)不易直接使用，使用成本遠(yuǎn)超傳統(tǒng)結(jié)構(gòu)化數(shù)據(jù)；另一方面，因客戶眾多，我國大型銀行本身就存儲著海量的結(jié)構(gòu)化數(shù)據(jù)，受到技術(shù)的限制尚未得到有效利用。伴隨大數(shù)據(jù)處理技術(shù)、流式數(shù)據(jù)處理技術(shù)的出現(xiàn)，海量數(shù)據(jù)在短時(shí)間內(nèi)完成加工處理成為了可能：既可通過流式計(jì)算、準(zhǔn)實(shí)時(shí)計(jì)算滿足高時(shí)效監(jiān)控需求，又可通過分布式離線計(jì)算滿足較高時(shí)效、較復(fù)雜的分析挖掘需求，即業(yè)務(wù)部門能根據(jù)最新監(jiān)測或分析成果快速調(diào)整經(jīng)營策略，而經(jīng)營策略的調(diào)整可以很快從新的數(shù)據(jù)中證實(shí)或者證偽，數(shù)據(jù)運(yùn)營的前提已經(jīng)成熟；新的技術(shù)還可以使半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)清洗為傳統(tǒng)分析師所熟識的結(jié)構(gòu)化數(shù)據(jù)，通過與已有海量結(jié)構(gòu)化數(shù)據(jù)的結(jié)合，可以從不同角度、不同維度對經(jīng)營結(jié)果的相關(guān)性進(jìn)行分析，從而挖掘出全新的營銷模式?？梢哉f，大數(shù)據(jù)技術(shù)在數(shù)據(jù)層面為商業(yè)智能構(gòu)建了堅(jiān)實(shí)的基礎(chǔ)。數(shù)據(jù)可視化等數(shù)據(jù)運(yùn)用和展示技術(shù)的推進(jìn)首先，數(shù)據(jù)處理工作枯燥且有一定門檻，一個(gè)企業(yè)中善于處理數(shù)據(jù)的分析師相對于數(shù)據(jù)的使用者總是少之又少；其次，較之理解數(shù)字，人類更善于理解圖形，相對于一張冗長的報(bào)表，一張清晰易懂的圖表可以讓使用者更快了解問題之所在。隨著技術(shù)的發(fā)展和整合，目前業(yè)界已經(jīng)有越來越多的可視化解決方案出現(xiàn)：比如通過將可視化的圖表類型包裝成各種小產(chǎn)品，在降低數(shù)據(jù)可視化門檻的同時(shí)維持甚至提升了圖表的美觀程度，還能支持圖表在各類使用者之間的共享和權(quán)限控制；亦或者通過可視化工具與后臺大數(shù)據(jù)技術(shù)的結(jié)合，使靜態(tài)的數(shù)據(jù)變成動態(tài)的、會隨時(shí)更新的數(shù)據(jù)。由于分析師數(shù)量有限且可用工作時(shí)間有限，可視化解決方案可以將分析師從大量的重復(fù)工作中釋放出來，以幫助他們將更多精力投入到新模型的探索挖掘中去，并且將挖掘結(jié)果更有效地分享給為數(shù)眾多的數(shù)據(jù)用戶使用，很大程度上突破了專業(yè)人才的數(shù)量瓶頸，使企業(yè)的數(shù)據(jù)價(jià)值得以充分實(shí)現(xiàn)。三、商業(yè)智能在工商銀行互聯(lián)網(wǎng)金融領(lǐng)域的應(yīng)用為推動工商銀行e-ICBC3.0戰(zhàn)略落地，加快基于數(shù)據(jù)驅(qū)動的智能化服務(wù)支持體系建設(shè)，工商銀行近日充分利用大數(shù)據(jù)、流處理平臺和數(shù)據(jù)可視化工具，推出互聯(lián)網(wǎng)金融產(chǎn)品運(yùn)營分析平臺“融e營家”，為該領(lǐng)域提供全面的可視化經(jīng)營管理決策支持服務(wù)，助力商戶數(shù)據(jù)化運(yùn)營管理，并對“三融”平臺（以融e行、融e購、融e聯(lián)為代表的三大互聯(lián)網(wǎng)金融平臺）運(yùn)營重點(diǎn)指標(biāo)進(jìn)行實(shí)時(shí)監(jiān)測，提升運(yùn)營風(fēng)控能力?？珙I(lǐng)域交叉分析支持?jǐn)?shù)據(jù)運(yùn)營工商銀行利用大數(shù)據(jù)平臺，通過Hadoop等大數(shù)據(jù)技術(shù)對數(shù)十個(gè)業(yè)務(wù)系統(tǒng)每天約1T的結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)加工處理，支持對工商銀行“三融”平臺的客戶情況進(jìn)行交叉分析（如圖1所示），支持對互聯(lián)網(wǎng)金融客戶在銀行傳統(tǒng)業(yè)務(wù)領(lǐng)域（如代發(fā)工資、消費(fèi)信貸、第三方支付）的業(yè)務(wù)發(fā)展情況進(jìn)行分析，支持各領(lǐng)域業(yè)務(wù)專家對瀏覽客戶、交易客戶的客戶特征、行為習(xí)慣深入分析，促進(jìn)銀行傳統(tǒng)業(yè)務(wù)與新興互聯(lián)網(wǎng)金融業(yè)務(wù)互相融合、協(xié)同發(fā)展。重點(diǎn)場景指標(biāo)實(shí)時(shí)監(jiān)測支持快速應(yīng)變工商銀行利用流數(shù)據(jù)平臺，通過Flume、SparkSQL等技術(shù)對融e購商城流量規(guī)模、B2C、B2B銷量等情況實(shí)施準(zhǔn)實(shí)時(shí)監(jiān)測（如圖2所示），數(shù)據(jù)每10秒更新一次，可快速進(jìn)行流量評價(jià)、追蹤營銷成效、調(diào)整營銷策略。未來，工商銀行將圍繞重點(diǎn)流量入口、廣告位、營銷活動等應(yīng)用場景，開發(fā)主題監(jiān)測功能，為平臺提升運(yùn)營效率提供系統(tǒng)支持?？梢暬ぞ呓夥欧治鰩熒a(chǎn)力工商銀行利用自行研發(fā)的數(shù)據(jù)可視化工具，為互聯(lián)網(wǎng)金融各業(yè)務(wù)條線建立了50余個(gè)可視化的數(shù)據(jù)模型，以圖形展現(xiàn)業(yè)務(wù)的整體變化趨勢和內(nèi)部發(fā)展特點(diǎn)，且支持在一個(gè)界面中組合展現(xiàn)多數(shù)據(jù)源的圖表（如圖3所示）。該工具極大地增強(qiáng)了分析功能的操作便利性，分析師通過簡單的條件點(diǎn)選，即可自助進(jìn)行多維度的交叉數(shù)據(jù)分析，并根據(jù)需要分享給普通用戶使用且自動控制數(shù)據(jù)權(quán)限，滿足了分析邏輯復(fù)雜、分析重點(diǎn)多變、展示方式直觀、權(quán)限控制嚴(yán)格等多方面的需求，減少大量手工處理數(shù)據(jù)的被動工作量，支撐了分析師用戶將工作重心集中到業(yè)務(wù)方向的深入分析和數(shù)據(jù)挖掘上來。監(jiān)控模型功能提升風(fēng)險(xiǎn)防范能力工商銀行在電子商務(wù)領(lǐng)域部署的風(fēng)險(xiǎn)監(jiān)控模塊（如圖4所示）利用大數(shù)據(jù)模型代替原有手工取數(shù)分析方式，目前已圍繞電子商務(wù)領(lǐng)域大額使用積分、套券及刷單三種風(fēng)險(xiǎn)類型建立多級別、多維度的風(fēng)險(xiǎn)監(jiān)測模型，通過系統(tǒng)功能提升風(fēng)險(xiǎn)防范能力。數(shù)據(jù)分析服務(wù)為商戶賦能工商銀行為融e購商戶打造了商戶端數(shù)據(jù)分析服務(wù)，提供核心指標(biāo)數(shù)據(jù)、商戶及行業(yè)發(fā)展趨勢、行業(yè)TOP商戶排行榜、客戶人群特征分析等功能（如圖5所示），幫助商戶全方位掌控經(jīng)營指標(biāo)、同業(yè)市場情況，為其掌握自身定位找準(zhǔn)對標(biāo)對象、了解客戶偏好細(xì)化營銷策略提供幫助，為