1、大數(shù)據(jù)理念在金融交易風(fēng)控中的應(yīng)用學(xué) 習(xí) 公 約空杯心態(tài)積極參與真誠建議掌聲鼓勵保持秩序手機調(diào)整全情投入隨時互動課 程 要 求在大數(shù)據(jù)應(yīng)用綜合價值潛力方面，信息技術(shù)、金融保險、政府及批發(fā)貿(mào)易四大行業(yè)潛力最高。 ey)大數(shù)據(jù)在各行業(yè)的應(yīng)用潛力大數(shù)據(jù)在金融行業(yè)應(yīng)用精準營銷交叉營銷個性化推薦客戶生命周期管理個人、小微企業(yè)貸款風(fēng)險評估欺詐交易識別和反洗錢市場和渠道分析優(yōu)化輿情監(jiān)測和分析包括人口統(tǒng)計學(xué)特征、消費能力數(shù)據(jù)、興趣數(shù)據(jù)、風(fēng)險偏好等銀行交易社交媒體電商網(wǎng)絡(luò)交易網(wǎng)絡(luò)訪問、廣告點擊風(fēng)險管理運營優(yōu)化用戶畫像大數(shù)據(jù)在金融行業(yè)應(yīng)用大數(shù)據(jù)應(yīng)用與金融風(fēng)險管理Lending Club 風(fēng)險定價系統(tǒng)將消費者信用征信

2、機構(gòu)FICO分數(shù)，初始評分模型分數(shù)，信用屬性和其他申請數(shù)據(jù)輸入ModelRankModelRank得到一個介于1-25之間的分數(shù)并對應(yīng)一個基礎(chǔ)風(fēng)險子級，再根據(jù)貸款金額和貸款期限調(diào)整基礎(chǔ)風(fēng)險子級得到最終子級Lending Club 將借貸人平均利率從21.64%降至14.8%，審批貸款時間約為7天，截止2014年其貸款違約率保持在5%左右的較低水平大數(shù)據(jù)應(yīng)用與金融風(fēng)險管理JPMorgan: Big Data +Fast Data 欺詐偵測根據(jù)客戶長期積累的交易歷史建立客戶的欺詐消費模式和正常消費模式，實現(xiàn)兩種檢測欺詐消費檢測：利用數(shù)據(jù)挖掘從消費歷史數(shù)據(jù)庫已經(jīng)收集的欺詐消費記錄中挖掘類似的欺詐模式

3、，并利用已有欺詐模式對新的消費行為進行分析和判斷異常消費檢測：基于用戶長期交易歷史建立的正常消費模式，實時捕獲新的消費行為，判斷是否異常大數(shù)據(jù)理念在匯付天下中是如何運用的呢？匯付數(shù)據(jù)中心業(yè)務(wù)拓撲圖OBiee報表系統(tǒng)網(wǎng)頁訪問監(jiān)測用戶行為監(jiān)測其它監(jiān)測交易數(shù)據(jù)集市用戶數(shù)據(jù)集市專門用途數(shù)據(jù)集市VerticaHadoop業(yè)務(wù)系統(tǒng)1業(yè)務(wù)系統(tǒng)nWeb結(jié)構(gòu)化數(shù)據(jù)Web非結(jié)構(gòu)化數(shù)據(jù)財務(wù)系統(tǒng)CRM金融數(shù)據(jù)風(fēng)控系統(tǒng)查詢系統(tǒng)數(shù)據(jù)分析, R, SAS數(shù)據(jù)查詢Data ApiData Portal應(yīng)用系統(tǒng)Oracle RACETLMobile聚合表數(shù)據(jù)訪問DSL數(shù)據(jù)鉆探商業(yè)智能VerticaVerticaVertica性

4、能測試測試內(nèi)容OracleVertica性能提升倍數(shù)數(shù)億條事實表計數(shù)查詢179,890ms950ms189倍數(shù)億條事實表條件查詢52,984ms2,663ms19.9倍數(shù)千條維度表計數(shù)查詢87ms32ms2.7倍多表關(guān)聯(lián)復(fù)雜條件查詢17,734ms3,534ms5倍雙表關(guān)聯(lián)復(fù)雜條件查詢765,233ms17,206ms44.5倍Data Portal數(shù)據(jù)接口Data APIMobile數(shù)據(jù)接口Data API大數(shù)據(jù)理念在匯付天下金融交易風(fēng)控中是如何運用的呢？匯付天下金融交易風(fēng)控應(yīng)用案例1.收單服務(wù)商風(fēng)險評級2.P2P用戶異常交易識別3.P2P商戶異常交易識別4.P2P平臺網(wǎng)站監(jiān)控系統(tǒng)收單服務(wù)商

5、風(fēng)險評級模型業(yè)務(wù)流程風(fēng)控需求需求方溝通收集業(yè)務(wù)相關(guān)信息初定方案并與需求方確認前期準備模型建立模型評估模型確認是否分析建模風(fēng)控系統(tǒng)監(jiān)控與處置模型跟蹤模型結(jié)果是否穩(wěn)定？模型排序是否有效？模型是否無偏？記錄模型表現(xiàn)ETL調(diào)度配置R自動計算模型結(jié)果輸出是數(shù)據(jù)計算回歸分析建模實施及跟蹤綜合評價服務(wù)商風(fēng)險等級采取不同策略，防范風(fēng)險事故收單服務(wù)商風(fēng)險評級模型模型建立數(shù)據(jù)預(yù)處理主成分分析綜合評分相關(guān)系數(shù)矩陣特征值和特征向量主成分貢獻率變量分析變量篩選變量標準化主成分權(quán)重原始變量權(quán)重綜合得分收單服務(wù)商風(fēng)險評級模型數(shù)據(jù)及變量風(fēng)險模型數(shù)據(jù)集交易規(guī)模數(shù)據(jù)差錯案件數(shù)據(jù)風(fēng)險損失數(shù)據(jù)反向行為數(shù)據(jù)匯付靜態(tài)數(shù)據(jù)所處區(qū)域注冊時長

6、開戶銀行交易金額交易筆數(shù)交易時長撤銷交易退貨交易消費沖正 查詢調(diào)單退單賠付短款收單服務(wù)商風(fēng)險評級模型模型結(jié)果前11個主成分累計貢獻率達到80%共有43個原始變量初步篩選40個變量收單服務(wù)商風(fēng)險評級模型風(fēng)控系統(tǒng)監(jiān)控與處置風(fēng)險等級綜合得分采取措施嚴重風(fēng)險型大于60分降低信用額度發(fā)放預(yù)警函關(guān)閉違規(guī)商戶較高風(fēng)險型大于40分小于60分小幅降低信用額度走訪商戶關(guān)注日常風(fēng)險指標和交易情況中級風(fēng)險型大于20分小于40分關(guān)注日常風(fēng)險指標和交易情況關(guān)注風(fēng)險排名的變化較低風(fēng)險型大于0分小于20分關(guān)注日常風(fēng)險指標和交易情況關(guān)注風(fēng)險排名的變化提高信用額度匯付天下金融交易風(fēng)控應(yīng)用案例1.收單服務(wù)商風(fēng)險評級2.P2P用戶異

7、常交易識別3.P2P商戶異常交易識別4.P2P平臺網(wǎng)站監(jiān)控系統(tǒng)P2P用戶異常交易識別流程圖用戶端交易數(shù)據(jù)庫Oracle行為記錄數(shù)據(jù)庫MongoDBP2P 賬戶托管平臺AppWeb數(shù)據(jù)倉庫 VerticaETLETL數(shù)據(jù)分析模型計算Data APIP2P 風(fēng)控系統(tǒng)用戶數(shù)據(jù)倉庫ETL每日新增30萬條交易記錄每日新增200萬條行為記錄560萬賬戶340萬獨立用戶 每日新增1.2萬獨立用戶ETL基本屬性購買能力行為特征產(chǎn)品偏好風(fēng)險偏好P2P用戶異常交易識別用戶畫像基本屬性購買能力行為特征產(chǎn)品偏好風(fēng)險偏好性別年齡地域聯(lián)系方式交易活躍度促銷敏感度潛在購買需求購買力基金交易頻度偏好投資期限偏好利率大小風(fēng)險評

8、估問卷偏好理財產(chǎn)品類別偏好標的類型偏好P2P平臺POS消費類型使用設(shè)備品牌瀏覽時長交易時間段移動終端使用頻率日常交易地區(qū)P2P用戶異常交易識別數(shù)據(jù)模型數(shù)據(jù)分析模型計算交易金額異常識別交易行為異常識別異常大額交易識別近似等額交易識別異常交易頻率識別長期閑置賬戶頻繁交易賬戶分散轉(zhuǎn)入集中轉(zhuǎn)出賬戶集中轉(zhuǎn)入分散轉(zhuǎn)出交易時間使用設(shè)備使用賬號登錄商戶交易類型IP地址交易頻率異常識別匯付天下金融交易風(fēng)控應(yīng)用案例1.收單服務(wù)商風(fēng)險評級2.P2P用戶異常交易識別3.P2P商戶異常交易識別4.P2P平臺網(wǎng)站監(jiān)控系統(tǒng)P2P平臺異常交易識別新用戶開戶到觀測日小于60天商戶分類歷史表現(xiàn)評估實時監(jiān)控預(yù)警收集靜態(tài)信息：用戶注

9、冊地，有效經(jīng)營時間，注冊資本等積累交易行為數(shù)據(jù)：記錄用戶操作行為，P2P賬戶系統(tǒng)記錄訂單信息分析日交易量分布類型，篩選最優(yōu)統(tǒng)計量識別異常計算異常交易占比篩選異常占比較高商戶，加強關(guān)注程度利用局部加權(quán)回歸，拆分時間序列識別不規(guī)則波動中的異常點特別關(guān)注異常波動較多商戶結(jié)合白用戶靜態(tài)信息，匹配存量用戶，設(shè)定閾值，控制風(fēng)險超過閾值，觸發(fā)警報根據(jù)數(shù)據(jù)分布類型，設(shè)定5%置信區(qū)間，結(jié)果推送風(fēng)控系統(tǒng)風(fēng)控系統(tǒng)監(jiān)測實時交易，列出超過區(qū)間用戶名單名單自動添加到警報信息表，標明警報類型及等級每15分鐘預(yù)測未來1小時內(nèi)交易量范圍預(yù)測范圍準實時推送風(fēng)控系統(tǒng)，風(fēng)控系統(tǒng)自動匹配超出預(yù)測范圍，觸發(fā)警報不活躍用戶開戶到觀測日大于60天，但最近3個月交易日小于30天活躍用戶開戶到觀測日大于60天，且最近3個月交易日大于30天 匯付天下金融交易風(fēng)控應(yīng)用案例1.收單服務(wù)商風(fēng)險評級2.P2P用戶異常交易識別3.P2P商戶異常交易識別4.P2P平臺網(wǎng)站監(jiān)控系統(tǒng)P2P平臺網(wǎng)站監(jiān)控系統(tǒng)P2P 平臺網(wǎng)站MySQLBA1BA2VerticaData API抓取程序P2P 站點列表抓取url規(guī)則