1、銀行業(yè)大數(shù)據(jù)解決方案目錄大數(shù)據(jù)分析挑戰(zhàn)大數(shù)據(jù)解決方案介紹大數(shù)據(jù)案例分享數(shù)據(jù)復(fù)雜度：多元性和速度TerabytesGigabytesMegabytesPetabytesBig DataWeb 2.0ERP/CRM付款薪資貨存聯(lián)系人訂單跟蹤銷售管道Web 日志數(shù)字市場搜索市場網(wǎng)上推薦廣告移動協(xié)作電子商務(wù)網(wǎng)頁點(diǎn)擊流Wikis/博客傳感器/RFID/設(shè)備社交網(wǎng)絡(luò)音頻/視頻日志文件空間 & GPS 坐標(biāo)數(shù)據(jù)數(shù)據(jù)集市電子政務(wù)氣候文本/圖像大數(shù)據(jù)就是資本 但究竟什么是大數(shù)據(jù)?未來數(shù)年數(shù)據(jù)量會呈現(xiàn)指數(shù)增長。根據(jù)麥肯錫全球研究院（MGI）估計(jì)，全球企業(yè)2010年在硬盤上存儲了超過7ZB（1ZB等于10億GB）的

2、新數(shù)據(jù)，而消費(fèi)者在PC和筆記本等設(shè)備上存儲了超過6EB新數(shù)據(jù)。1ZB數(shù)據(jù)相當(dāng)于美國國會圖書館中存儲的數(shù)據(jù)的4000多倍。“大數(shù)據(jù)是指無法在一定時(shí)間內(nèi)用常規(guī)軟件工具對其內(nèi)容進(jìn)行抓取、管理和處理的數(shù)據(jù)集合”維基百科 8萬億GB2015全球信息量1s數(shù)據(jù)處理速度85%非結(jié)構(gòu)化數(shù)據(jù)占比數(shù)據(jù)價(jià)值Volume 數(shù)據(jù)體量大Variety數(shù)據(jù)類型多Velocity 處理速度快Value大數(shù)據(jù)的挑戰(zhàn)大數(shù)據(jù)的4V特點(diǎn)： Volume, Variety, Velocity, Value傳統(tǒng)DW系統(tǒng)不適用于大數(shù)據(jù)的分析數(shù)據(jù)量過于龐大絕大部分大數(shù)據(jù)是垃圾大數(shù)據(jù)的多樣化格式時(shí)效性高需要革新性的技術(shù)手段海量數(shù)據(jù)“分而治之”

3、-批量分布式并行計(jì)算Hadoop海量數(shù)據(jù)“靈活多變”-實(shí)時(shí)分布式高吞吐高并發(fā)數(shù)據(jù)存取處理NoSQL海量數(shù)據(jù)“實(shí)時(shí)響應(yīng)”-大數(shù)據(jù)流計(jì)算模型我們希望從大數(shù)據(jù)獲得什么？更高一層數(shù)據(jù)層面整合企業(yè)內(nèi)外部大數(shù)據(jù)改變數(shù)據(jù)分析思維 過去，由于數(shù)據(jù)獲取的困難程度，人們在分析數(shù)據(jù)時(shí)傾向于使用抽樣數(shù)據(jù)，并通過不斷改進(jìn)抽樣方法以提升樣本的 精確性，從而對整體數(shù)據(jù)進(jìn)行推算，并竭力挖掘數(shù)據(jù)間的因果關(guān)系。但當(dāng)前數(shù)據(jù)處理思維方式正逐步向全體性、混沌性以及相關(guān)性演變，以適應(yīng)數(shù)據(jù)量的爆發(fā)式增長。10大數(shù)據(jù)改變數(shù)據(jù)分析思維全體數(shù)據(jù)混雜數(shù)據(jù)精確數(shù)據(jù)抽樣數(shù)據(jù)因果關(guān)系相關(guān)關(guān)系采樣的目的在于用最少的數(shù)據(jù)得到最多的信息， 但在樣本分析過程中

4、不可避免會有一部分信息 丟失。在可以獲得海量數(shù)據(jù)的情況下，對全體 數(shù)據(jù)進(jìn)行挖掘和分析可以獲得更多信息。只有15%的數(shù)據(jù)是結(jié)構(gòu)化且能適用于傳統(tǒng)數(shù)據(jù)化 的，接受不精確性能使更多的非結(jié)構(gòu)化數(shù)據(jù)得 到利用。建立在相關(guān)關(guān)系分析法上基礎(chǔ)上的預(yù)測是大數(shù)據(jù)的核心。傳統(tǒng)大數(shù)據(jù)大數(shù)據(jù)分析不同于傳統(tǒng)BI分析傳統(tǒng)BI分析批處理大數(shù)據(jù)分析集群化事務(wù)關(guān)系型數(shù)據(jù)庫數(shù)據(jù)倉庫分析非結(jié)構(gòu)化流式分析組織多種數(shù)據(jù)源(MapReduce) 結(jié)構(gòu)化數(shù)據(jù) 數(shù)據(jù)規(guī)模一般為TB規(guī)模 集中式，為了分析進(jìn)行大量數(shù)據(jù)移動，數(shù)據(jù)向計(jì)算靠近 批處理為主 結(jié)構(gòu)化/非結(jié)構(gòu)化混合分析的能力 數(shù)據(jù)規(guī)模從數(shù)十TB到PB級別 分布式，計(jì)算向數(shù)據(jù)靠近 支持流式分析1

5、1如果業(yè)務(wù)需求是分析多種來源的數(shù)據(jù)。 來源：Forrester Research，2012 年 6 月全球大數(shù)據(jù)在線調(diào)查數(shù)據(jù)倉庫與大數(shù)據(jù)的整合集成大數(shù)據(jù)和數(shù)據(jù)倉庫功能以增加運(yùn)營效率需要利用多種類型數(shù)據(jù)擴(kuò)展倉庫基礎(chǔ)架構(gòu)通過將很少使用的數(shù)據(jù)遷移到 Hadoop 來優(yōu)化存儲、維護(hù)和許可成本通過智能處理流數(shù)據(jù)來降低存儲成本通過確定倉庫中要填充的數(shù)據(jù)來改善倉庫性能深度分析所需要的結(jié)構(gòu)化、非結(jié)構(gòu)化和流數(shù)據(jù)源低延遲要求（幾小時(shí)，而非幾周或幾個(gè)月）提供對數(shù)據(jù)的查詢訪問超越傳統(tǒng)數(shù)據(jù)倉庫概念的大數(shù)據(jù)分析流Internet級別傳統(tǒng)數(shù)據(jù)倉庫In-Motion AnalyticsData Analytics, Data

6、 Operations & Model BuildingResultsInternet ScaleDatabase &WarehouseAt-Rest Data AnalyticsResultsUltra Low Latency Results傳統(tǒng)/關(guān)系型數(shù)據(jù)源非傳統(tǒng)/非關(guān)系型數(shù)據(jù)源傳統(tǒng)/關(guān)系型數(shù)據(jù)源非傳統(tǒng)/非關(guān)系型數(shù)據(jù)源100111STREAMING大數(shù)據(jù)分析平臺 大數(shù)據(jù)技術(shù)是一系列技術(shù)的集合，是傳統(tǒng)數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化技術(shù)與數(shù)據(jù)的整合，并基于這些技術(shù)與數(shù)據(jù)進(jìn)行綜合的商業(yè)智能應(yīng)用，包括數(shù)據(jù)分析與數(shù)據(jù)挖掘等。BI / 報(bào)告BI / 報(bào)告探索/可視化 功能應(yīng)用行業(yè)應(yīng)用預(yù)測分析 內(nèi)容分析 應(yīng)用

7、程序數(shù)據(jù)分析系統(tǒng)管理數(shù)據(jù)分析應(yīng)用開發(fā)數(shù)據(jù)整合與治理Hadoop系統(tǒng)流計(jì)算數(shù)據(jù)倉庫目錄大數(shù)據(jù)分析挑戰(zhàn)大數(shù)據(jù)解決方案介紹大數(shù)據(jù)案例分享大數(shù)據(jù)分析視角面向業(yè)務(wù)分析的愿景 深刻的數(shù)據(jù)洞察自助式服務(wù) | 協(xié)作 | 移動化 | 實(shí)時(shí)/準(zhǔn)實(shí)時(shí)非結(jié)構(gòu)化數(shù)據(jù)100111多樣的數(shù)據(jù)管理結(jié)構(gòu)化數(shù)據(jù)流數(shù)據(jù)共享與治理挖掘與關(guān)聯(lián)分析轉(zhuǎn)換清洗豐富的數(shù)據(jù)加工海量多樣快速非結(jié)構(gòu)化數(shù)據(jù)大數(shù)據(jù)中結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)的整合建立對非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行SQL語法查詢的支持，實(shí)現(xiàn)與結(jié)構(gòu)化數(shù)據(jù)的集成關(guān)聯(lián)（key）主分類關(guān)鍵詞標(biāo)簽地名人名全國統(tǒng)一分類分詞，倒排搜索共性、個(gè)性文本識別處理功能模塊網(wǎng)頁分類反向搜索關(guān)鍵詞分析日志關(guān)聯(lián)內(nèi)容分詞索引建立索引

8、分析日志合并用戶類別標(biāo)簽摘要結(jié)構(gòu)化元信息網(wǎng)頁信息分類數(shù)據(jù)獲取語義分析數(shù)據(jù)解析數(shù)據(jù)獲取結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)集市數(shù)據(jù)集市EDW結(jié)構(gòu)化元數(shù)據(jù)Hadoop建立非結(jié)構(gòu)化信息的標(biāo)簽、摘要、索引、日志、內(nèi)容等提取結(jié)構(gòu)化的元數(shù)據(jù)信息，如類別、標(biāo)引、摘要等；實(shí)現(xiàn)與結(jié)構(gòu)化數(shù)據(jù)的整合ODSSQL聲譽(yù)度分析品牌分析服務(wù)質(zhì)量分析競爭產(chǎn)品分析產(chǎn)品評價(jià)市場動態(tài)跟蹤 Big DataTraditional Business IntelligenceEDWAPPSBiz process ERP, CRMDMDMDMETL數(shù)據(jù)源基礎(chǔ)架構(gòu)分析組件業(yè)務(wù)用戶Structured:e.g.MM/DD/YYYYKnown, knownSemi-

9、structured:e.g. web logs, sensor dataKnown, unknownUn-structured:e.g. text, video, audio, Unknown, unknownBusiness UsersMachinesDevices“The Internet of Things”Data ScientistsCollaboration & SocialEmail, blogs, documentsEveryoneIndexing engineAlgorithmsVisualizationAnalyticsDataSearchPresentationRepo

10、rtingAnalysisDataHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFS數(shù)據(jù)分析路徑Information Flow Traditional BIInformation Flow Unstructured data to BIInformation Flow Semi-structured data to BIInformation Flow Search數(shù)據(jù)分析路徑建設(shè)大數(shù)據(jù)BI系統(tǒng)的思考17常見架構(gòu)+PBT

11、B一體機(jī)MPP DWMPP DM傳統(tǒng)的BI系統(tǒng)架構(gòu)并非一無是處，同樣值得我們學(xué)習(xí)借鑒+大數(shù)據(jù)解決方案總體架構(gòu)大數(shù)據(jù)產(chǎn)品架構(gòu)Fast LoadSource SystemsHistorical Data(Beyond Active Window)Summarize & LoadBig Data Sources (Raw, Unstructured)Alerts, NotificationsData & Compute Intensive ApplicationERPCRMLOBAPPSIntegrate/EnrichSQL Server StreamInsightSQL Server Parall

12、el Data WarehouseEnterprise ETL with SSIS, DQS, MDSHadoop on Windows AzureHadoop on Windows ServerSQL Server FTDW Data MartsSQL Server Reporting ServicesSQL Server Analysis ServerBusiness InsightsInteractive ReportsPerformance ScorecardsCrawlersBotsDevicesSensorsVolumeVelocityVariety結(jié)構(gòu)化數(shù)據(jù)Microsoft S

13、QL Server 2012 和SQL Server Parallel Data Warehouse設(shè)備提供一種方法來管理結(jié)構(gòu)化數(shù)據(jù)。流數(shù)據(jù)SQL Server StreamInsight組件實(shí)現(xiàn)了對新的數(shù)據(jù)格式的支持，其中包括流數(shù)據(jù)。非結(jié)構(gòu)化數(shù)據(jù)部署在Windows Azure和Windows Server上的基于Hadoop的服務(wù)使您能夠快速處理PB級的非結(jié)構(gòu)化的數(shù)據(jù)。管理幾乎來自任意來源的數(shù)據(jù)橫向擴(kuò)展大規(guī)模并行處理引擎 Massively Parallel Processing (MPP) PDW作為SQL Server的橫向擴(kuò)展解決方案MPP 提供線性橫向擴(kuò)展能力Massively P

14、arallel Processing (MPP) 大規(guī)模并行處理架構(gòu)橫向擴(kuò)展： 按需添加硬件實(shí)現(xiàn)線性擴(kuò)展無共享架構(gòu)最小 (0TB) 到最大 (6PB) 從幾個(gè)TB的小型數(shù)據(jù)倉庫開始擴(kuò)展到 6 PB 比SMP DW快10倍復(fù)雜作業(yè)計(jì)算線性擴(kuò)展擴(kuò)展靈活方便 (No forklift) 聚沙成塔 成長無限容量最大 隨需擴(kuò)容PB宕機(jī)為零高枕無憂Hadoop的典型應(yīng)用場景用戶行為分析跟蹤用戶在網(wǎng)站上的點(diǎn)擊路徑，分析其購買習(xí)慣根據(jù)用戶屬性，猜測用戶感興趣的商品，定向推廣根據(jù)N度客戶，發(fā)掘潛在的客戶群體日志存儲、分析日志分布在多臺服務(wù)器，查找問題困難,跨系統(tǒng)應(yīng)用日志分析、系統(tǒng)性能分析等上傳文件存儲各業(yè)務(wù)系統(tǒng)

15、上傳的文件、圖片統(tǒng)一保存MS與Hadoop基于Apache Hadoop的Windows Server和Windows Azure，以及AD的支持HDInsight ServerHDInsight ServiceHive ODBC Driver 和 Add-in for ExcelJavaScript Framework for HadoopSQL Server and SQL Server Parallel 數(shù)據(jù) Warehouse connections for HadoopSharepoint, Powerpivot和Powerview作為前端展示數(shù)據(jù)價(jià)值& 訪問頻度MPP數(shù)據(jù)庫結(jié)構(gòu)化數(shù)

16、據(jù)傳統(tǒng)BI工具HDP半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)歷史數(shù)據(jù)分析數(shù)據(jù)生命周期& 數(shù)據(jù)規(guī)模HDP在hadoop上增加了：集群管理能力，工作流，安全管理，并融入了數(shù)據(jù)分析,機(jī)器學(xué)習(xí)技術(shù)以及文本數(shù)據(jù)分析挖掘。所有的這些增強(qiáng)都是為了更好的使得該方案能適用于復(fù)雜的，海量數(shù)據(jù)的分析。HDP是對傳統(tǒng)數(shù)據(jù)倉庫的一種補(bǔ)充和延伸，整體構(gòu)成一個(gè)更廣義的海量數(shù)據(jù)倉庫。HDP 海量大數(shù)據(jù)倉庫Hive、Sqoop當(dāng)前大數(shù)據(jù)分析面臨的挑戰(zhàn)Warehouse要求學(xué)習(xí)和掌握Map-Reduce技術(shù)需要IT人員將 HDFS 中的數(shù)據(jù)倒入數(shù)據(jù)倉庫或集市中，才能用于后繼的分析HDFS (Hadoop)HDFS (Hadoop)大量新技術(shù)需要學(xué)

17、習(xí)掌握、周期長、見效慢傳統(tǒng)BIEDW Connector for HadoopETL/ELTHadoop：成本低、擴(kuò)展性好、數(shù)據(jù)加載快、并發(fā)處理強(qiáng)EDW：SQL查詢執(zhí)行性能高，包括Ad-hoc、OLAP、報(bào)表等Hive ODBC Driver 基于PolyBase的全方位數(shù)據(jù)整合能力穿越結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的訪問數(shù)據(jù)庫和Hadoop的混合分析支持透明的應(yīng)用訪問Social AppsSensor & RFIDMobile AppsWebApps非結(jié)構(gòu)化數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)庫文件系統(tǒng)HDFS混合動力引擎PolyBaseSQL關(guān)系型數(shù)據(jù)庫通過統(tǒng)一的查詢，同時(shí)訪問結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)沿用標(biāo)準(zhǔn)的SQL語句

18、進(jìn)行訪問Select, From Where低延遲可擴(kuò)展流數(shù)據(jù)計(jì)算平臺StreamInsight用于大數(shù)據(jù)領(lǐng)域?qū)崟r(shí)高頻數(shù)據(jù)分析處理一個(gè)處理流數(shù)據(jù)的低延遲平臺毫秒級，甚至微妙級端到端的延遲一個(gè)可高度擴(kuò)展的，用于實(shí)時(shí)分析的高性能平臺通過橫向增加硬件獲得近線性的處理能力擴(kuò)展高達(dá)125個(gè)節(jié)點(diǎn)擴(kuò)展一個(gè)靈活的、動態(tài)的平臺Streams應(yīng)用靈活部署支持動態(tài)部署新的分析應(yīng)用每秒數(shù)以百萬計(jì)的事件微秒級延遲傳統(tǒng)/非傳統(tǒng)數(shù)據(jù)源實(shí)時(shí)決策強(qiáng)大分析算法交易Telco churnpredictSmartGrid網(wǎng)絡(luò)安全入侵監(jiān)測Cyber SecurityGovernment /Law enforcementICUMonit

19、oring環(huán)境監(jiān)控 27 使用熟悉工具來分析結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)Hadoop 數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù) 用熟悉的工具來分析大數(shù)據(jù) BI工具的天然集成在同一表格中分析結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)廣泛使用的熟悉工具EXCELPowerPivotSQLSERVER BI無需IT 人員介入分析多樣的數(shù)據(jù)類型廣泛使用的ExcelMicrosoft Speech SDKMicrosoft Speech SDK是公司提供在Windows平臺上開發(fā)語音識別和語音合成應(yīng)用程序的開發(fā)包，簡稱為SAPI，內(nèi)含SR（Speech Recognition）和SS（Speechsynthesis）引擎，因此可以很方便地在自己的應(yīng)用程序中添

20、加這些功能。該語音引擎支持多種語音的識別和朗讀，包括英文、日文、中文等。推出的應(yīng)用編程接口API，雖然現(xiàn)在不是業(yè)界標(biāo)準(zhǔn)，但是應(yīng)用比較廣泛。識別基本流程：從音頻輸入設(shè)備獲取原始音頻并編碼或直接調(diào)用音頻文件。設(shè)定語音引擎和識別上下文等內(nèi)容，配置本地訪問屬性。分析處理得到的文本結(jié)果請求接口請求方式：本地訪問請求數(shù)據(jù)：編碼后的音頻數(shù)據(jù)音頻編碼格式：wav音頻采樣頻率：8000Hz、11025Hz、16000Hz、22050Hz、24000Hz、32000Hz、44100Hz、48000Hz主要優(yōu)點(diǎn)基于COM組件，便于與DirectShow中的組件整合。語音識別引擎位于本地，便于訪問，識別速度較快。待識

21、別音頻的大小、時(shí)長無限制。MAVIS“研究院音視頻索引系統(tǒng)目錄大數(shù)據(jù)分析挑戰(zhàn)大數(shù)據(jù)解決方案介紹大數(shù)據(jù)案例分享銀行面臨大數(shù)據(jù)時(shí)代的業(yè)務(wù)挑戰(zhàn)小微企業(yè)貸款市場逐漸被侵蝕電子商務(wù)公司和第三方支付廠商緊貼最終用戶，依靠市場優(yōu)勢，對銀行的議價(jià)能力極 強(qiáng)，比如：銀行的支付交易手續(xù)費(fèi)被支付寶壓到 3甚至更低，侵蝕銀行信用卡的收入。第三方支付企業(yè)使得客戶和銀行的關(guān)系進(jìn)一步疏遠(yuǎn)：本來是銀行自己的持卡客戶，銀 行卻根本不知道他們的購物明細(xì)，只能知道他們花了多少錢。這在未來以數(shù)據(jù)取勝的 時(shí)代對銀行很不利。銀行系電子商務(wù)開展不順利：整個(gè)銀行系的電子商務(wù)市場份額總共不到2%。貸款模式使得客戶減少對于銀行的依賴：目前來看，

22、貸款模式使得資金的供求 方和需求方可以自行撮合。這使得客戶對于銀行的貸款依賴逐漸減小。小微企業(yè)客戶數(shù)銀行系民生銀行：91.5萬 招商銀行：0.57萬互聯(lián)網(wǎng)系阿里小貸：1030萬貸款余額民生銀行：363億美元 招商銀行：52億美元阿里小貸：3.6億美元貸款客戶數(shù)民生銀行：15萬阿里小貸：13萬平均貸款規(guī)模工商銀行：120萬元阿里小貸：0.7萬元年增長率銀行業(yè)：18.5%阿里小貸：80%壞賬率銀行業(yè)：3.31%阿里小貸：0.72%銀行與零售客戶越來越遠(yuǎn)銀行面臨大數(shù)據(jù)時(shí)代的技術(shù)挑戰(zhàn)數(shù)據(jù)缺口專業(yè)人才缺乏IT技術(shù)成熟度隱私安全中國銀行業(yè)大數(shù)據(jù)應(yīng)用場景風(fēng)險(xiǎn)管理和合規(guī)反欺詐 反洗錢 多點(diǎn)檢測營銷 實(shí)時(shí)營銷事

23、件式營銷 全渠道營銷客戶 360客戶視圖 客戶定價(jià) 客戶分類銀行數(shù)據(jù) 銀行交易數(shù)據(jù) 用戶金融信息 電話錄音互聯(lián)網(wǎng)數(shù)據(jù) 瀏覽信息 搜索信息 SNS信息用戶數(shù)據(jù) 身份信息和偏好數(shù)據(jù) 地理位置信息 用戶事件電子商務(wù)數(shù)據(jù) 商品瀏覽信息 交易數(shù)據(jù) 消費(fèi)趨勢信息 銀行大數(shù)據(jù)源 大數(shù)據(jù)應(yīng)用P2P業(yè)務(wù) 人人貸 小額信用貸利率市場化解決信息孤島：分布式信息日志集中匯聚索引中信、農(nóng)行、工行、建行、交行、民生、招行、光大、阿里巴巴等大數(shù)據(jù)應(yīng)用試點(diǎn)項(xiàng)目摩根大通基于Hadoop的大數(shù)據(jù)應(yīng)用已經(jīng)開始使用Hadoop技術(shù)以滿足日益增多的用途，包括詐騙檢驗(yàn)、IT風(fēng)險(xiǎn)管理和自助服務(wù)。150PB在線存儲數(shù)據(jù)、30,000個(gè)數(shù)據(jù)庫

24、和35億個(gè)用戶登錄賬號。Hadoop能夠存儲大量非結(jié)構(gòu)化數(shù)據(jù)，允許公司收集和存儲Web日志、交易數(shù)據(jù)和社交媒體數(shù)據(jù)。數(shù)據(jù)被匯集至一個(gè)通用平臺，以方便以客戶為中心的數(shù)據(jù)挖掘與數(shù)據(jù)分析工具的使用。微信貸公司“大數(shù)據(jù)+機(jī)器智能學(xué)習(xí)”利用海量數(shù)據(jù)挖掘和算法來做一些貸款業(yè)務(wù)大量使用了社交媒體和其他的網(wǎng)絡(luò)工具每個(gè)貸款人都擁有6000到8000條數(shù)據(jù)特點(diǎn)：它的每筆貸款額度都很小，太多的資金額度需要更多次的檢驗(yàn)不良貸款會迅速暴露。，模型的反饋和改進(jìn)違約率高利率很高WongaLendingStreamZestcashKlarnaPawnGo阿里云金電聯(lián)行花旗銀行大數(shù)據(jù)信貸應(yīng)用定期（每天）對所有客戶的交易日志和當(dāng)

25、前的債權(quán)狀況（包括核心系統(tǒng)內(nèi)的數(shù)據(jù)和從征信中心取得的數(shù)據(jù)）進(jìn)行分析， 建模，及分析當(dāng)前模型的精確性；定期（每天）根據(jù)分析對客戶進(jìn)行分類（segmentation ）；每天針對不同的分類建立不同的模型，進(jìn)行行為評分、預(yù)測對客戶營銷可能性、 提前還款的可能性、壞賬的可能性等；每天根據(jù)預(yù)測的分?jǐn)?shù)和交易狀況和提前設(shè)定的strategy 自動調(diào)整客戶的credit line；每天根據(jù)預(yù)先設(shè)定的strategy和3，4的結(jié)果對客戶進(jìn)行電話、郵件、信件等的促銷和催收；采用結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)消費(fèi)者數(shù)據(jù)庫基本身份信息住址信息收入信息財(cái)產(chǎn)信息消費(fèi)信息（1）定期更新消費(fèi)者信息（2）營銷活動需求（3）建模并計(jì)算（4

26、）提供報(bào)告HBASE（NOSQL數(shù)據(jù)庫）Hadoop（Map/Reduce）HBASE（NOSQL數(shù)據(jù)庫）大集中系統(tǒng)使用HBASE存儲半結(jié)構(gòu)及非結(jié)構(gòu)化內(nèi)容使用adoop的并行計(jì)算框架對存儲的半結(jié)構(gòu)化及非結(jié)構(gòu)化內(nèi)容，按照營銷要求進(jìn)行分析計(jì)算與消費(fèi)者數(shù)據(jù)庫中的身份信息進(jìn)行關(guān)聯(lián)結(jié)果合并處理MS大數(shù)據(jù)分析最佳實(shí)踐客戶分析解決方案關(guān)注點(diǎn)理解客戶行為: 利用線上和線下客戶數(shù)據(jù)，更加高效制定市場決策提升客戶體驗(yàn): 通過理解客戶痛點(diǎn)以及定制客戶服務(wù)，使客戶滿意度最大化企業(yè)痛點(diǎn)客戶通過線上，線下和企業(yè)之間的交互信息視圖不完整對客戶有行為特征了解有限，無法切實(shí)有效影響客戶的業(yè)務(wù)決策 缺乏對市場活動ROI分析的直觀

27、性解決方案益處獲得完整的客戶信息視圖提高市場費(fèi)用投放的有效性,減少營銷成本獲得對渠道貢獻(xiàn)率的洞察力，優(yōu)化營銷途徑提供量身定制的客戶服務(wù)，提高客戶整體滿意度解決方案模塊營銷及公共關(guān)系分析互聯(lián)網(wǎng)及媒體輿情分析客戶服務(wù)分析模塊收益衡量企業(yè)營銷在各種渠道的有效性通過分析營銷方案的關(guān)鍵字及客戶反饋，獲得對企業(yè)營銷實(shí)際效果的了解. 關(guān)注在最有價(jià)值的客戶群上持續(xù)提高營銷方案的質(zhì)量將營銷資源向最有執(zhí)行效果的渠道投放獲取負(fù)面評價(jià). 理解企業(yè)以及競爭對手在哪些信息存在共鳴使?fàn)I銷人員更快更準(zhǔn)地接觸更多客戶更低成本地將信息傳遞到各種渠道，各個(gè)層次，各個(gè)地域的客戶 確認(rèn)出最有影響力的人群，比如微博達(dá)人，明星等客服人員更

28、高效應(yīng)對市場情緒 通過及時(shí)分析，快速反應(yīng)，減少不必要的電話及郵件溝通 將消費(fèi)者的反應(yīng)及時(shí)補(bǔ)充到新產(chǎn)品或服務(wù)的改進(jìn)中提高客戶消費(fèi)的時(shí)效性，忠誠度及口碑模塊功能對客戶分層，客戶資料和信息測試進(jìn)行分析營銷活動效果評估：同過分析各營銷渠道中的營銷受眾數(shù)量，影響力以及最終消費(fèi)者的評價(jià)傾向按照產(chǎn)品屬性分析受眾情緒傾向按照品牌及業(yè)務(wù)伙伴分析影響力分析客戶在不同銷售渠道下的用戶體驗(yàn)分析客服中心的業(yè)務(wù)績效如呼叫量，呼叫時(shí)長，解決狀態(tài)，客戶滿意度等data分析客戶數(shù)據(jù)以及客戶網(wǎng)絡(luò)行為，社交媒體信息，對客戶需求有更深洞察力關(guān)鍵指標(biāo)營銷活動有效性各產(chǎn)品反應(yīng)比例渠道的有效性市場費(fèi)用投入產(chǎn)出比市場比例品牌接受度客戶滿意度

29、最有影響力人群客戶滿意度呼叫總量，反應(yīng)速度客戶留存率3844% of consumers complain via social media. Existing process too cumbersome.Generate a minimum of $100K in savings a year through automation of sentiment data and targeted customer marketing. By automating sentiment analysis, they can alleviate the pain of reacting too la

30、te to negative sentiment and avoid costly lawsuits.OCC requirement to track customer sat. 90,000 customers discuss Capital One on social.TBDLeveraging social data to determine customer sentiment and position productsSituation NeedResultsCreative platform for Customer Analytics for Banking solution.

31、Incorporated social sentiment feed into analysis framework.Analyzing 100k records each month was a full time job, but is now automated for more timely and efficient results. Enabled digital marketing group to better respond to customer complaints and target customers.HighlightSolutionMS的大數(shù)據(jù)成功案例-Capi

32、tal One社交網(wǎng)站客戶滿意度分析Cross Channel Marketing Platform to bridge Cheetahmail and Conversen. Power BI with specially developed industry accelerators as syndicated partnership opportunity.The Power BI team working with COE to integrate Project Orange assets into the data catalog. Possible partnership with

33、 Experian to provide syndicated data, ready to consume. MS的大數(shù)據(jù)成功案例-Experian跨渠道營銷39Experian needed to lower the costs of their campaign management system/email marketing system.The Microsoft platform and BI solution combined with Experians existing data created an impactful system for targeting custo

34、mers and making business decisions through analysis. At the same time they were looking for new economy revenue streams for EMS (9% growth)Bundling ready to consume data with BI and industry accelerators for clear resultsSituation NeedResultsHighlightSolutionWhen it comes to business intelligence, M

35、icrosoft SQL Server 2012 demonstrates that the platform has continued to advance and keep up with the innovations that are happening in big data. 在商業(yè)智能領(lǐng)域，Microsoft SQL Server 2012平臺持續(xù)發(fā)展，支持不斷創(chuàng)新的大數(shù)據(jù)平臺。David MarianiVice President of Engineering工程副總裁“ ”Connects to more than 1 billion signals 連接到超過 10 億的

36、信號/數(shù)據(jù)源Across 15 leading social networks, including Facebook 排名前15位的社交網(wǎng)絡(luò)，包括FacebookGenerates a Klout score for individual people, brands & partners 為個(gè)人、 品牌及合作伙伴生成一個(gè) Klout 分?jǐn)?shù)Enables analysis, targeting and social graphs 在線影響力分析工具，提供分析、 目標(biāo)和社交圖MS的大數(shù)據(jù)成功案例-KLOUTKlout Event Tracker411Perform A|B Testing of

37、 User Flows2Optimize Registration Funnels3Monitor consumer engagement & retention (DAUs & MAUs)4Flexibly track and report on user generated eventsServing StoresSignalCollectors(Java/Scala)Data Warehouse(Hive)K(Node.js)Event Tracker(Scala)Mobile(ObjectiveC)AnalyticsCubes(SSAS)Klout API(Scala)Search Index(Elastic Search)Registrations DB(MySql)Profile