支付交易系統(tǒng)中異常行為檢測(cè)需求分析案例概述目錄TOC\o"1-3"\h\u29876支付交易系統(tǒng)中異常行為檢測(cè)需求分析案例概述 1211671.1客戶(hù)的交易行為分析 1301671.1.1客戶(hù)交易行為分析 1149201.1.1交易行為分析的目的 3296101.2交易支付需求描述 3169181.2.1客戶(hù)資源分析 6314941.2.2交易數(shù)據(jù)分析 7265741.3數(shù)據(jù)處理及分析 836191.1.1基礎(chǔ)數(shù)據(jù)的來(lái)源 9314341.1.2基礎(chǔ)數(shù)據(jù)的篩選 9258091.1.3基礎(chǔ)數(shù)據(jù)的提取 9271311.1.4基礎(chǔ)數(shù)據(jù)的存儲(chǔ) 12223181.1.5主題數(shù)據(jù)處理 1315791.3支付交易數(shù)特征提取方法優(yōu)化 1339383.1.1機(jī)器學(xué)習(xí)的特征提取 138651.1.2基于余弦相似度特征提取方法 141.1客戶(hù)的交易行為分析用戶(hù)在進(jìn)行支付交易的過(guò)程中產(chǎn)生的不同尋常的行為即被稱(chēng)為支付交易中的異常行為。隨著互聯(lián)網(wǎng)的日益普遍，基于互聯(lián)網(wǎng)環(huán)境的支付交易也日益普及，支付交易過(guò)程的異常行為對(duì)支付交易的有序的負(fù)面也日益凸顯。因此，發(fā)現(xiàn)并檢測(cè)出支付交易系統(tǒng)中出現(xiàn)的各種異常行為成為維護(hù)互聯(lián)網(wǎng)支付交易的重要環(huán)節(jié)，開(kāi)發(fā)出具有異常檢測(cè)能力的支付交易系統(tǒng)對(duì)保障支付交易系統(tǒng)用戶(hù)的利益具有重要意義。1.1.1客戶(hù)交易行為分析本文中所指的交易行為分析，區(qū)別于證券交易行為，特指商業(yè)銀行的客戶(hù)在使用銀行賬戶(hù)辦理各類(lèi)金融業(yè)務(wù)中呈現(xiàn)出的交易行為，其概念上類(lèi)似于各種網(wǎng)站、APP、客戶(hù)端的后臺(tái)數(shù)據(jù)庫(kù)所采集、整理、統(tǒng)計(jì)的用戶(hù)交易信息，交易分析即可以通過(guò)對(duì)某類(lèi)數(shù)據(jù)的分析進(jìn)行交易行為的概況，對(duì)其進(jìn)行論證，并結(jié)合用戶(hù)的特殊屬性進(jìn)行評(píng)估概況的行為[54]。對(duì)商業(yè)銀行客戶(hù)使用銀行賬戶(hù)發(fā)生的資金轉(zhuǎn)入、轉(zhuǎn)出的金額、筆數(shù)、對(duì)手進(jìn)行統(tǒng)計(jì)、分析，獲取客戶(hù)使用或持有的金融產(chǎn)品的信息，統(tǒng)計(jì)客戶(hù)的資產(chǎn)、負(fù)債，跟蹤客戶(hù)發(fā)生銀行柜面、自助機(jī)具、線(xiàn)上業(yè)務(wù)的渠道偏好情況，大部分與客戶(hù)的基本屬性交易進(jìn)行分析論證以組成一部分。通過(guò)對(duì)這些行為的特征、規(guī)律進(jìn)行總結(jié)，可在一定程度上“認(rèn)識(shí)”、“認(rèn)清”、“認(rèn)定”客戶(hù)交易背后所反映出的深層次原因。將這種分析用于客戶(hù)營(yíng)銷(xiāo)方面，屬于運(yùn)用大數(shù)據(jù)進(jìn)行的精準(zhǔn)營(yíng)銷(xiāo)，而用于風(fēng)險(xiǎn)管理方面，則是對(duì)客戶(hù)風(fēng)險(xiǎn)行為的識(shí)別?？蛻?hù)對(duì)于資源的選擇也存在多種選擇方式對(duì)企業(yè)進(jìn)行選材，是所有的企業(yè)的部分收益根源。支付行業(yè)圈內(nèi)人，大家都知道收益是來(lái)之于對(duì)客戶(hù)的服務(wù)而產(chǎn)生的費(fèi)用。而服務(wù)費(fèi)用是什么呢?服務(wù)是替客戶(hù)進(jìn)行資金的清算，清算需要支付手續(xù)費(fèi)，手續(xù)費(fèi)就是收單機(jī)構(gòu)的收益來(lái)源。所以要產(chǎn)生收益，首先必須有客戶(hù)，有了客戶(hù)才有交易，然后才能對(duì)客戶(hù)資金進(jìn)行清算，才可能通過(guò)清算服務(wù)進(jìn)行手續(xù)費(fèi)的收取，所以客戶(hù)是基礎(chǔ)。根據(jù)上段描述可知，影響收益的要素不僅是客戶(hù)的數(shù)量，如果只是有客戶(hù)，但是客戶(hù)不進(jìn)行交易，自然也不會(huì)產(chǎn)生清算服務(wù)，沒(méi)有清算服務(wù)當(dāng)然也不會(huì)產(chǎn)生服務(wù)費(fèi)用。那么，影響收益的要素有哪些呢?其實(shí)包含了很多方面。比如，最基礎(chǔ)的是客戶(hù)數(shù)量，畢竟量變才能有質(zhì)變，客戶(hù)數(shù)量比較直接的體現(xiàn)了公司的基礎(chǔ)資源，數(shù)量基數(shù)越大，其交易增長(zhǎng)的速度不斷更新發(fā)展。為什么說(shuō)客戶(hù)的交易數(shù)量會(huì)影響到收益呢?這又得說(shuō)說(shuō)清算服務(wù)費(fèi)的收取規(guī)則了。最常見(jiàn)的就是按照原本的數(shù)據(jù)交易金額以及交易方式以及金額進(jìn)行部分的收取，不用的收益結(jié)果進(jìn)行不同的分類(lèi)，根據(jù)自身的不同進(jìn)行不同的手繪規(guī)則，當(dāng)然前提是滿(mǎn)足人行的規(guī)則之下，再進(jìn)行各自的規(guī)則設(shè)置，這樣正是收單機(jī)構(gòu)的利潤(rùn)之所在。所以交易的數(shù)量也決定了收益。然而客戶(hù)的交易金額的大小也會(huì)隨著各公司制定的服務(wù)費(fèi)規(guī)則進(jìn)行收取。這些等都直接代表收益的效益結(jié)構(gòu)劃分，所以客戶(hù)的資源支付成為其企業(yè)的基礎(chǔ)。站在公司的角度，經(jīng)營(yíng)中很重要的一點(diǎn)就是收益，結(jié)合上述對(duì)客戶(hù)資源的描述，其對(duì)于公司的發(fā)展有著重要的意義。針對(duì)于公司的劃分進(jìn)行有規(guī)律的劃分，對(duì)資源進(jìn)行分類(lèi)聚類(lèi)，其結(jié)構(gòu)也是非常重要的。1.1.1交易行為分析的目的對(duì)于商業(yè)銀行而言，行為分析的對(duì)象可以是客戶(hù)、員工等，其目的是服務(wù)于發(fā)展和經(jīng)營(yíng)。以往根據(jù)客戶(hù)分布的“二八原則”很難適應(yīng)經(jīng)濟(jì)“新常態(tài)”下的競(jìng)爭(zhēng)趨勢(shì)，銀行必須盡可能多的抓住“長(zhǎng)尾客戶(hù)”，這些客戶(hù)的管理如果依然按照以往的員工逐一認(rèn)領(lǐng)維護(hù)，很難做到廣泛而精準(zhǔn)的產(chǎn)品覆蓋或風(fēng)險(xiǎn)管控，而基于大數(shù)據(jù)、基于交易行為分析的客戶(hù)管理模式提供解決這一問(wèn)題的可能。以個(gè)人信貸業(yè)務(wù)而言，交易行為分析的目的是對(duì)日漸龐大的個(gè)人信貸客戶(hù)群體有宏觀的認(rèn)識(shí)和細(xì)節(jié)的判斷，更深層次的挖掘客戶(hù)的發(fā)展?fàn)顩r，發(fā)現(xiàn)優(yōu)質(zhì)客戶(hù)的趨勢(shì)，以及識(shí)別客戶(hù)的風(fēng)險(xiǎn)[55]。根據(jù)上面描述客戶(hù)資源時(shí)說(shuō)到收單機(jī)構(gòu)的收益主要來(lái)源于清算服務(wù)費(fèi)，那么如何理解交易數(shù)據(jù)的價(jià)值呢?前文中提到影響收益的多方面，除了客戶(hù)資源外，還有客戶(hù)的交易數(shù)量，和交易金額也會(huì)直接影響著服務(wù)費(fèi)的多少，那么交易數(shù)量和交易金額如何得來(lái)呢?這些信息記錄來(lái)在交易數(shù)據(jù)中，通過(guò)交易數(shù)據(jù)可知道客戶(hù)的交易金額，并且可通過(guò)交易數(shù)據(jù)按照客戶(hù)進(jìn)行匯總，得出客戶(hù)的交易數(shù)量。另外，通過(guò)客戶(hù)的交易數(shù)量和交易金額可對(duì)客戶(hù)的經(jīng)營(yíng)規(guī)模以及經(jīng)營(yíng)情況進(jìn)行分析，這些信息可以提供給市場(chǎng)針對(duì)客戶(hù)制訂不同的支付產(chǎn)品，以及營(yíng)銷(xiāo)活動(dòng)。此外，對(duì)這些交易數(shù)據(jù)進(jìn)行不同維度的分析，還能對(duì)客戶(hù)交易進(jìn)行風(fēng)險(xiǎn)監(jiān)控，以及反洗錢(qián)等不法行為等監(jiān)控。所以對(duì)這些數(shù)據(jù)的分析，對(duì)公司的各方面都起著很重要的作用，也體現(xiàn)了對(duì)這些數(shù)據(jù)分析的價(jià)值和意義。1.2交易支付需求描述首先對(duì)公司的結(jié)構(gòu)進(jìn)行數(shù)據(jù)的基礎(chǔ)劃分，包含客戶(hù)的數(shù)據(jù)類(lèi)別，中級(jí)信息，以及交易信息。行業(yè)相關(guān)的關(guān)聯(lián)信息有:行業(yè)信息、業(yè)務(wù)信息、渠道信息等。這些信息之間的關(guān)系如下圖:圖3SEQ圖\*ARABIC\s11數(shù)據(jù)機(jī)構(gòu)圖機(jī)構(gòu)發(fā)展客戶(hù)、客戶(hù)決定了所屬行業(yè)、行業(yè)決定相關(guān)費(fèi)率信息、客戶(hù)根據(jù)情況分配終端，終端設(shè)定業(yè)務(wù)、終端發(fā)起交易、交易選擇渠道，渠道完成后形成交易信息。下面分別對(duì)基礎(chǔ)信息進(jìn)行詳細(xì)描述，如下:【客戶(hù)】:客戶(hù)的數(shù)據(jù)編號(hào)、客戶(hù)的網(wǎng)站地址、聯(lián)系方式、狀態(tài)分析、所屬的數(shù)據(jù)機(jī)構(gòu)，行業(yè)、法人信息的數(shù)據(jù)編輯、身份證編號(hào)、身份證有效期、營(yíng)業(yè)執(zhí)照、營(yíng)業(yè)執(zhí)照有效期等)、賬戶(hù)信息(銀行卡賬號(hào)，銀行卡戶(hù)名、開(kāi)戶(hù)行銀行、開(kāi)戶(hù)銀行編碼)、開(kāi)展業(yè)務(wù)、入網(wǎng)時(shí)間、下單幣種、境內(nèi)/外標(biāo)志、結(jié)算方式(日結(jié)、月結(jié)、T+0等)、拓展人【終端】:客戶(hù)編號(hào)、終端編號(hào)、終端地址、狀態(tài)、開(kāi)展業(yè)務(wù)、裝機(jī)時(shí)間、機(jī)型、品牌、機(jī)身號(hào)、維護(hù)人員、撤機(jī)時(shí)間、最后停用時(shí)間等【交易】:清算日期、應(yīng)答碼、銀聯(lián)交易代碼、交易金額、消息類(lèi)型、本地交易日期時(shí)間、客戶(hù)類(lèi)型(MCC碼)、檢索參考號(hào)、主帳號(hào)、卡BIN、卡性質(zhì)(O1一貸記卡;02一準(zhǔn)貸記卡;03一借記卡;99一其他)、卡介質(zhì)(1一磁條;2-pbocis卡;3-emvis卡;4一無(wú)卡;5-Fallback、受理卡機(jī)終端標(biāo)識(shí)碼(終端編號(hào))、受理卡方標(biāo)識(shí)代碼(客戶(hù)編號(hào))、受理卡方名稱(chēng)地址(客戶(hù)簡(jiǎn)稱(chēng))、受理機(jī)構(gòu)標(biāo)識(shí)碼、轉(zhuǎn)發(fā)機(jī)構(gòu)標(biāo)識(shí)碼、接收機(jī)構(gòu)標(biāo)識(shí)碼、發(fā)卡機(jī)構(gòu)標(biāo)識(shí)碼、原始系統(tǒng)跟蹤號(hào)、原始系統(tǒng)日期時(shí)間;格式:YYYYMMDDhhmmss,原因碼、授權(quán)日期、授權(quán)標(biāo)識(shí)應(yīng)答碼、服務(wù)點(diǎn)輸入方式、服務(wù)點(diǎn)條件代碼、交易處理碼、交易所屬分支機(jī)構(gòu);原本交易數(shù)據(jù)金額結(jié)果、當(dāng)?shù)氐臄?shù)據(jù)增值數(shù)量、業(yè)務(wù)范圍內(nèi)的管控代碼、產(chǎn)品分類(lèi)代碼依據(jù);默認(rèn)為業(yè)務(wù)類(lèi)型代碼前四位、前置渠道、支付通道、受理端客戶(hù)編號(hào)、受理點(diǎn)終端編號(hào)、清分流水ID、清分交易金額、清分手續(xù)費(fèi)金額、發(fā)卡行收益金額、轉(zhuǎn)接方收益金額、收單收益金額、品牌服務(wù)費(fèi)、差錯(cuò)應(yīng)收金額、終端類(lèi)型(00:其它;O1:自動(dòng)柜員機(jī);03:POS終端;0_5:多媒體終端;06:銀行柜臺(tái)和柜面;07:個(gè)人電腦;08:手機(jī)設(shè)備;09:I型固定電話(huà);10:基于PBOC電子錢(qián)包/存折標(biāo)準(zhǔn)的交易終端;11:移動(dòng)POS;16:數(shù)字機(jī)頂盒;17:II型固定電話(huà))、創(chuàng)建時(shí)間、客戶(hù)所屬機(jī)構(gòu)、清算客戶(hù)號(hào)、渠道客戶(hù)號(hào)、渠道終端號(hào)、原本消息的數(shù)據(jù)類(lèi)別、支付方式的消費(fèi)渠道、接收服務(wù)所產(chǎn)生的費(fèi)用、清理計(jì)算的服務(wù)費(fèi)用、公司年度收入總類(lèi)別;客戶(hù)手續(xù)費(fèi)一渠道成本、總部收益、渠道編號(hào)、清算批次號(hào)、接入機(jī)構(gòu)代碼、轉(zhuǎn)接機(jī)構(gòu)代碼、增值接入客戶(hù)號(hào)、交易信息類(lèi)型、接受整理的流水賬號(hào)的流動(dòng)趨勢(shì)、增長(zhǎng)數(shù)值在網(wǎng)絡(luò)平臺(tái)上的盈利方式、響應(yīng)代碼、交易所處的消費(fèi)等狀態(tài)類(lèi)別、客戶(hù)的流動(dòng)賬號(hào)、接收流動(dòng)范圍的渠道方式、支付渠道流水號(hào)、訂單金額、訂單幣種、訂單匯率、清算幣種、記錄狀態(tài)(0二未處理、卜己處理)、業(yè)務(wù)收益盈余、原檢索參考號(hào)、原訂單號(hào)、原清算日期、原客戶(hù)流水號(hào)、原受理流水號(hào)、客戶(hù)手續(xù)費(fèi)一渠道成本一第三方合作機(jī)構(gòu)收益、入賬幣種、入賬匯率、商家編號(hào)、完稅標(biāo)記(0一未完稅、1一己完稅)、訂單日期時(shí)間、訂單日期、訂單時(shí)間、交易日期時(shí)間、交易日期、交易時(shí)間、原訂單日期時(shí)間、原訂單日期、原訂單時(shí)間、結(jié)算周期。[機(jī)構(gòu)]:機(jī)構(gòu)ID、機(jī)構(gòu)名稱(chēng)【渠道】:渠道信息、渠道成本【業(yè)務(wù)】:業(yè)務(wù)ID、業(yè)務(wù)名稱(chēng)、結(jié)算方式、業(yè)務(wù)費(fèi)率【行業(yè)】:行業(yè)編號(hào)、行業(yè)名稱(chēng)、行業(yè)費(fèi)率通過(guò)上述基礎(chǔ)信息中的要素，下面對(duì)如何利用這些數(shù)據(jù)進(jìn)行分析:客戶(hù)資源信息的分析:(1)客戶(hù)資源對(duì)公司收益有何影響?客戶(hù)的交易情況如何影響公司收益?(2)客戶(hù)資源對(duì)公司的服務(wù)有什么引導(dǎo)作用?客戶(hù)的投訴如何影響公司的服務(wù)成本?客戶(hù)資源對(duì)公司資源有何影響?客戶(hù)的非法操作或者肆意浪費(fèi)、破壞公司資源如何影響公司資源?(3)客戶(hù)資源對(duì)風(fēng)險(xiǎn)控制有何影響?客戶(hù)行業(yè)不符合實(shí)際情況是否對(duì)公司存在風(fēng)險(xiǎn)影響?(4)如何對(duì)客戶(hù)資源進(jìn)行分類(lèi)?如何對(duì)客戶(hù)服務(wù)進(jìn)行不同層次的對(duì)待?如何降低公司可能出現(xiàn)的風(fēng)險(xiǎn)?2.交易數(shù)據(jù)的分析思路如下:(1)如何對(duì)交易數(shù)據(jù)進(jìn)行不同維度的匯總?如何針對(duì)交易數(shù)據(jù)的匯總進(jìn)行公司收益情況表示?(2)如何利用交易數(shù)據(jù)進(jìn)行業(yè)務(wù)層面的分析?如何針對(duì)交易數(shù)據(jù)進(jìn)行業(yè)務(wù)的發(fā)展情況?(3)如何利用交易數(shù)據(jù)對(duì)客戶(hù)進(jìn)行分析?如何利用交易數(shù)據(jù)定義客戶(hù)分類(lèi)?如何利用交易數(shù)據(jù)進(jìn)行客戶(hù)服務(wù)?(4)如何利用交易數(shù)據(jù)發(fā)現(xiàn)風(fēng)險(xiǎn)?(5)如何針對(duì)交易數(shù)據(jù)進(jìn)行公司資源的使用情況分析?(6)如何針對(duì)交易數(shù)據(jù)進(jìn)行預(yù)測(cè)發(fā)展趨勢(shì)?1.交易風(fēng)險(xiǎn)的分析思路如下:(1)如何結(jié)合公司基礎(chǔ)數(shù)據(jù)，以及實(shí)際場(chǎng)景進(jìn)行風(fēng)險(xiǎn)分析?(2)如何利用己有的數(shù)據(jù)進(jìn)行風(fēng)險(xiǎn)范圍的確立?(3)如何發(fā)現(xiàn)風(fēng)險(xiǎn)?如何預(yù)測(cè)風(fēng)險(xiǎn)?如何防范風(fēng)險(xiǎn)?(4)如何將風(fēng)險(xiǎn)根據(jù)交易數(shù)據(jù)進(jìn)行結(jié)合處理?1.2.1客戶(hù)資源分析公司的收益雖依賴(lài)客戶(hù)，但也可能被客戶(hù)制約，比如，一個(gè)客戶(hù)一兩個(gè)月才有幾筆交易，且交易額度很低，這種情況下，該客戶(hù)對(duì)于公司來(lái)說(shuō)要耗費(fèi)POS終端及其折舊成本，還需要耗費(fèi)人力進(jìn)行巡查，但卻沒(méi)什么收益，這種客戶(hù)對(duì)于公司來(lái)時(shí)是低效甚至是無(wú)用客戶(hù)[56]。再者，客戶(hù)雖然有很多的交易但是交易大部分都是不成功，比如持卡人余額不足等情況，這種客戶(hù)是在消耗公司的資源，占用交易線(xiàn)路，造成系統(tǒng)繁忙，系統(tǒng)壓力增大等情況。這些客戶(hù)對(duì)于公司也是無(wú)用客戶(hù)，甚至是劣質(zhì)客戶(hù)。另外，還有一些客戶(hù)總是觸犯銀聯(lián)或公司的交易規(guī)則的，比如以一個(gè)渠道限額5W但總是交易產(chǎn)生大于5W交易額，導(dǎo)致交易失敗，這種客戶(hù)是明顯的觸犯交易規(guī)則的，這些客戶(hù)也可能存在潛在的風(fēng)險(xiǎn)。還有，客戶(hù)申請(qǐng)開(kāi)通交易，是有行業(yè)限制，不同行業(yè)的客戶(hù)申請(qǐng)，不同的行業(yè)有相對(duì)明顯的交易時(shí)間，交易額度的范圍，比如教育行業(yè)的客戶(hù)，總是在半夜凌晨發(fā)生，這種客戶(hù)可能是存在風(fēng)險(xiǎn)。對(duì)于上述的一些描述，大部分是客戶(hù)對(duì)公司沒(méi)什么收益，或者存在風(fēng)險(xiǎn)的情況描述?？偠灾驹谟麪顟B(tài)下為了達(dá)到所需要的預(yù)期范圍內(nèi)，達(dá)到其成本最小化利益最大化、那么對(duì)于風(fēng)險(xiǎn)的規(guī)避性則更加嚴(yán)密、使之風(fēng)險(xiǎn)的可控制性達(dá)到最大利益所得的目的狀態(tài)?？蓪?duì)客戶(hù)資源進(jìn)行不同的級(jí)別的定義，并定期更新客戶(hù)級(jí)別信息，以便公司的各項(xiàng)決策能得以全面的推行?？蛻?hù)的級(jí)別，可以簡(jiǎn)單詳細(xì)的定義，這很大程度取決于公司的規(guī)模，公司的抗風(fēng)險(xiǎn)能力等各個(gè)方面。所以這個(gè)級(jí)別的定義可設(shè)計(jì)為可變化的，可針對(duì)不同的情況作出不同的調(diào)整。相比之下可以根據(jù)一定的數(shù)據(jù)沒(méi)事進(jìn)行劃分，將其分為高質(zhì)量用戶(hù)、中等普通用戶(hù)、低效率營(yíng)銷(xiāo)用戶(hù)、劣質(zhì)用戶(hù)、風(fēng)險(xiǎn)分等級(jí)不同的用戶(hù)分類(lèi)等。當(dāng)然也可根據(jù)公司的實(shí)際情況進(jìn)行細(xì)分，比如優(yōu)質(zhì)客戶(hù)有分級(jí)別，優(yōu)質(zhì)客戶(hù)級(jí)別1，2,3··…客戶(hù)級(jí)別的界定，那就更是依賴(lài)于公司的實(shí)際情況來(lái)進(jìn)行決定了。比如可以按照該客戶(hù)對(duì)公司的產(chǎn)生的收益，交易成功率，觸犯交易規(guī)則多少，觸犯風(fēng)險(xiǎn)規(guī)則多少等等來(lái)進(jìn)行界定?？蛻?hù)的級(jí)別的定義，可以準(zhǔn)備的定位對(duì)客戶(hù)提供的服務(wù)程度，以及對(duì)可能存在的風(fēng)險(xiǎn)進(jìn)行預(yù)測(cè)和預(yù)防，還可以及時(shí)的發(fā)現(xiàn)公司的資源是否被浪費(fèi)等等。1.2.2交易數(shù)據(jù)分析風(fēng)險(xiǎn)數(shù)據(jù)對(duì)客戶(hù)資源的分析存在著很大作用，同時(shí)交易數(shù)據(jù)還能體現(xiàn)很多很多方面。通過(guò)對(duì)數(shù)據(jù)的研究分類(lèi)可將大數(shù)據(jù)狀態(tài)下的信息進(jìn)行不同層次的劃分分析。下面從幾個(gè)方面來(lái)進(jìn)行描述。（1）卡種和發(fā)卡行的交易趨勢(shì)支付數(shù)據(jù)中一定會(huì)有卡號(hào)信息，卡號(hào)信息包含有卡所屬的銀行，卡的種類(lèi)?？ㄋ鶎俚你y行我們一般稱(chēng)為發(fā)卡行;支付交易卡的類(lèi)別包含借記卡、貸記卡、預(yù)支支付卡等。根據(jù)發(fā)卡行進(jìn)行的交易數(shù)據(jù)的分析，進(jìn)行交易金額的匯總，進(jìn)行交易筆數(shù)等的匯總，能分析出各發(fā)卡行的一些使用拓展情況。當(dāng)然根據(jù)卡種類(lèi)的進(jìn)行匯總統(tǒng)計(jì)，能得出當(dāng)前各種卡的使用情況。支付數(shù)據(jù)中除了卡信息外，還可以根據(jù)交易的渠道進(jìn)行匯總，還有根據(jù)業(yè)務(wù)進(jìn)行匯總等，根據(jù)匯總分析業(yè)務(wù)的開(kāi)展情況，為后續(xù)的業(yè)務(wù)產(chǎn)品定位做一定指導(dǎo)作用。（2）業(yè)務(wù)開(kāi)展情況的分析通過(guò)從業(yè)務(wù)層面進(jìn)行每個(gè)業(yè)務(wù)的交易金額，筆數(shù)匯總，以及收益情況的匯總，進(jìn)行業(yè)務(wù)的發(fā)展情況進(jìn)行分析。可通過(guò)匯總的結(jié)果進(jìn)行業(yè)務(wù)的推廣策略調(diào)整，比如一個(gè)業(yè)務(wù)剛開(kāi)展幾天，但是交易筆數(shù)很大，那么這種情況下說(shuō)明該業(yè)務(wù)很受歡迎，可以適當(dāng)?shù)募哟笸茝V力度，與此同時(shí)也要考慮交易系統(tǒng)是否能支持相應(yīng)的大量交易情況等方案的調(diào)整等。（3）客戶(hù)交易收益分析結(jié)合客戶(hù)的交易筆數(shù)，交易金額，渠道手續(xù)費(fèi)等方面的匯總進(jìn)行分析。1.3數(shù)據(jù)處理及分析結(jié)合上文中對(duì)業(yè)務(wù)需求的分析，下面從技術(shù)的角度出發(fā)，分析該滿(mǎn)足上述的業(yè)務(wù)需求描述:y首先，分析業(yè)務(wù)需求要做什么?總的概括來(lái)說(shuō)，業(yè)務(wù)需求就是想要通過(guò)對(duì)公司己有的基礎(chǔ)數(shù)據(jù)進(jìn)行匯總，統(tǒng)計(jì)等分析方式，從而得出一系列結(jié)果結(jié)論數(shù)據(jù)，可以根據(jù)用戶(hù)的數(shù)據(jù)策劃得出揭露從而在數(shù)據(jù)庫(kù)中得出一定量的數(shù)據(jù)來(lái)源依據(jù)，從而得到數(shù)據(jù)支持。通過(guò)對(duì)業(yè)務(wù)需求的分析可以清晰的知道需要分析的主題「15」。2)知道了要做什么，要怎么做?既然，業(yè)務(wù)需求要做的就是從過(guò)往積累的歷史數(shù)據(jù)中，通過(guò)從不同維度對(duì)數(shù)據(jù)進(jìn)行匯總，統(tǒng)計(jì)。那就要考慮幾個(gè)問(wèn)題:.數(shù)據(jù)從何而來(lái)?.如何得到數(shù)據(jù)?.得到數(shù)據(jù)如何存儲(chǔ)?.如何對(duì)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)，匯總?.如何將匯總結(jié)果展現(xiàn)給用戶(hù)?數(shù)據(jù)倉(cāng)庫(kù)的組成部分包含有:數(shù)據(jù)大規(guī)模的庫(kù)存、數(shù)據(jù)開(kāi)放式集市模型、數(shù)據(jù)選擇性的選擇工具、元數(shù)據(jù)模型類(lèi)別、對(duì)于數(shù)據(jù)庫(kù)的管理控制、信息系統(tǒng)后臺(tái)操控管制、用戶(hù)針對(duì)于某個(gè)網(wǎng)站的訪問(wèn)方式統(tǒng)計(jì)工具。本文主要針對(duì)數(shù)據(jù)有選擇性的選擇篩選、數(shù)據(jù)大規(guī)模庫(kù)存、數(shù)據(jù)開(kāi)放式的具體分析具體研究，元數(shù)據(jù)，數(shù)據(jù)倉(cāng)庫(kù)管理，以及信息發(fā)布系統(tǒng)、訪問(wèn)工具在實(shí)際開(kāi)發(fā)過(guò)程中可參見(jiàn)比較成熟的數(shù)據(jù)倉(cāng)庫(kù)的設(shè)計(jì)。1.1.1基礎(chǔ)數(shù)據(jù)的來(lái)源首先，從公司的各個(gè)系統(tǒng)中尋找潛在的基礎(chǔ)數(shù)據(jù)，客戶(hù)數(shù)據(jù)存在于業(yè)務(wù)系統(tǒng)(業(yè)務(wù)系統(tǒng)專(zhuān)門(mén)用戶(hù)管理客戶(hù)入網(wǎng)，業(yè)務(wù)開(kāi)通);交易數(shù)據(jù)需要區(qū)分交易信息和清算信息，交易數(shù)據(jù)存在于交易系統(tǒng)(所有交易發(fā)生的必經(jīng)之路)，而清算信息存在于清算系統(tǒng)，然而結(jié)合需求來(lái)看，只需要清算數(shù)據(jù)即可。除了這些歷史基礎(chǔ)數(shù)據(jù)外，還有一點(diǎn)就是風(fēng)險(xiǎn)監(jiān)控需要使用到的風(fēng)險(xiǎn)規(guī)則，風(fēng)險(xiǎn)規(guī)則也是通過(guò)業(yè)務(wù)系統(tǒng)進(jìn)行添加。如下表:表3SEQ表\*ARABIC\s11基礎(chǔ)數(shù)據(jù)來(lái)源信息基礎(chǔ)數(shù)據(jù)所屬系統(tǒng)客戶(hù)數(shù)據(jù)業(yè)務(wù)系統(tǒng)風(fēng)險(xiǎn)規(guī)則業(yè)務(wù)系統(tǒng)交易數(shù)據(jù)-清算信息清算系統(tǒng)1.1.2基礎(chǔ)數(shù)據(jù)的篩選各個(gè)系統(tǒng)中的數(shù)據(jù)很多，需要從眾多的數(shù)據(jù)中找到對(duì)需求有用或者可能有用的數(shù)據(jù)，通過(guò)分析主題，將對(duì)主題分析有用的要素進(jìn)行提取。1.1.3基礎(chǔ)數(shù)據(jù)的提取上述所有的系統(tǒng)都是內(nèi)部系統(tǒng)，所以數(shù)據(jù)的提取，可直接從各業(yè)務(wù)系統(tǒng)的數(shù)據(jù)庫(kù)中使用存儲(chǔ)過(guò)程獲取數(shù)據(jù)(存儲(chǔ)過(guò)程:執(zhí)行操作具有高效性、數(shù)據(jù)多層次的雙重可用性、數(shù)據(jù)之間可相互轉(zhuǎn)換移植的性能、數(shù)據(jù)對(duì)于風(fēng)險(xiǎn)的可維護(hù)性能、提高數(shù)據(jù)的嚴(yán)密性的安全性能「9]，也可通過(guò)文件的多種形式進(jìn)行互相傳播進(jìn)行相互研究。然而，這些基礎(chǔ)數(shù)據(jù)時(shí)刻在發(fā)生變化，如交易數(shù)據(jù)。在進(jìn)行各項(xiàng)主題匯總統(tǒng)計(jì)時(shí)需保證我們統(tǒng)計(jì)的數(shù)據(jù)是全量的，因此我們需要指定一些規(guī)則來(lái)進(jìn)行數(shù)據(jù)的提取。對(duì)于數(shù)據(jù)的統(tǒng)計(jì)都是基于對(duì)歷史數(shù)據(jù)的分析，數(shù)據(jù)的時(shí)效性不需要實(shí)時(shí)更新，統(tǒng)計(jì)的范圍都是限于按天，按月，甚至按年「19]，所以數(shù)據(jù)的提取都按天進(jìn)行。如下表:表3SEQ表\*ARABIC\s12基礎(chǔ)數(shù)據(jù)提取規(guī)則基礎(chǔ)數(shù)據(jù)提取規(guī)則描述分析客戶(hù)數(shù)據(jù)每天提取全量提取客戶(hù)信息可以新增，修改；風(fēng)險(xiǎn)規(guī)則每天提取全量提取風(fēng)險(xiǎn)規(guī)則可新增，修改交易數(shù)據(jù)-清算信息每天提取增量提取清算數(shù)據(jù)只會(huì)增加，不會(huì)修改為了保證數(shù)據(jù)能每天都能進(jìn)行提取，需要通過(guò)設(shè)置定時(shí)任務(wù)按照一定的策略將任務(wù)按照彼此間的依賴(lài)關(guān)系，先后調(diào)度執(zhí)行任務(wù)「10]，每類(lèi)數(shù)據(jù)的提取需要為其配置一個(gè)相應(yīng)的定時(shí)任務(wù)進(jìn)行處理，并對(duì)其處理結(jié)果完成情況進(jìn)行監(jiān)控。如果對(duì)數(shù)據(jù)沒(méi)有完成正常數(shù)據(jù)的劃分，則需要話(huà)費(fèi)更多的時(shí)間進(jìn)行一定的調(diào)節(jié)。上述的按時(shí)效的數(shù)據(jù)管理模塊則包含以下三種部分：1)任務(wù)管理模塊:用于對(duì)大數(shù)據(jù)的生產(chǎn)技術(shù)管理進(jìn)行數(shù)據(jù)支持的執(zhí)行管理任務(wù)，可對(duì)任務(wù)做新增、刪減、修改、查詢(xún)操作。運(yùn)維角色用戶(hù)運(yùn)維角色用戶(hù)修改任務(wù)刪除任務(wù)查詢(xún)?nèi)蝿?wù)新增任務(wù)圖3SEQ圖\*ARABIC\s12定時(shí)任務(wù)系統(tǒng)任務(wù)管理模塊用例圖a)通過(guò)對(duì)任務(wù)設(shè)置相應(yīng)的屬性來(lái)控制任務(wù)的執(zhí)行計(jì)劃，控制計(jì)劃的屬性包含有:周期類(lèi)型(日、月、年、指定日期)，周期參數(shù)，生效日期，失效日期，狀態(tài)，執(zhí)行窗口(cron表達(dá)式配置)，超時(shí)控制，超時(shí)警告控制，通知方式等。b)通過(guò)配置任務(wù)的明細(xì)來(lái)添加具體執(zhí)行的邏輯，可以是存儲(chǔ)過(guò)程，Java代碼，潤(rùn)乾(生成報(bào)表的第三方服務(wù))。c)通過(guò)配置任務(wù)的依賴(lài)關(guān)系，來(lái)確定當(dāng)前任務(wù)是否需要收到其他任務(wù)的影響，一定需在其他任務(wù)執(zhí)行完成后才能觸發(fā)該任務(wù)，定義為前驅(qū)依賴(lài)任務(wù);另外當(dāng)成數(shù)據(jù)更改的一部分?jǐn)?shù)據(jù)元素，形成遞增的執(zhí)行模式，從上而下執(zhí)行的順序更改，可重新定義為后驅(qū)依賴(lài)任務(wù)。2)執(zhí)行記錄:有了任務(wù)，就根據(jù)任務(wù)的執(zhí)行計(jì)劃，創(chuàng)建需要執(zhí)行任務(wù)計(jì)劃，定時(shí)任務(wù)就通過(guò)執(zhí)行一條一條的計(jì)劃任務(wù)來(lái)達(dá)到目的。圖3SEQ圖\*ARABIC\s13定時(shí)任務(wù)系統(tǒng)執(zhí)行記錄模塊用例圖A）執(zhí)行記錄任務(wù)兩部分，一是有系統(tǒng)自動(dòng)根據(jù)任務(wù)的配置的屬性生成的執(zhí)行計(jì)劃;二是可手工添加任務(wù)的執(zhí)行計(jì)劃。B）執(zhí)行計(jì)劃可刪除，刪除該條計(jì)劃后，就不會(huì)再執(zhí)行該條計(jì)劃任務(wù)。C）執(zhí)行計(jì)劃任務(wù)可修改，修改執(zhí)行的狀態(tài)，觸發(fā)開(kāi)始，中止等。3）任務(wù)執(zhí)行監(jiān)控:此模塊是用于管理任務(wù)的執(zhí)行情況，初始化任務(wù)創(chuàng)建執(zhí)行記錄，觸發(fā)執(zhí)行計(jì)劃的執(zhí)行，中止執(zhí)行計(jì)劃的執(zhí)行，還可查看執(zhí)行額日志信息等。圖3SEQ圖\*ARABIC\s14定時(shí)任務(wù)系統(tǒng)任務(wù)執(zhí)行監(jiān)控模板用例圖a)初始化執(zhí)行計(jì)劃任務(wù)，是用于將添加的任務(wù)按照對(duì)任務(wù)的執(zhí)行配置參數(shù)進(jìn)行執(zhí)行計(jì)劃的記錄信息添加;b)檢查執(zhí)行計(jì)劃任務(wù)，是用于檢查任務(wù)狀態(tài)，是否超時(shí)，是否需要提醒;c)查詢(xún)計(jì)劃處理情況，是用于獲取到當(dāng)前線(xiàn)程的執(zhí)行情況信息，可在下面看到當(dāng)前線(xiàn)程的執(zhí)行計(jì)劃信息，和執(zhí)行的日志信息;d)中斷對(duì)于數(shù)據(jù)的執(zhí)行更改方式，是將數(shù)據(jù)在其工程中進(jìn)行必要的攔截避免造成誤差;e)執(zhí)行計(jì)劃之外的數(shù)據(jù)執(zhí)行任務(wù)，是將觸發(fā)另一種備注方案的執(zhí)行操作。1.1.4基礎(chǔ)數(shù)據(jù)的存儲(chǔ)所有的數(shù)據(jù)都需要每日更新，對(duì)于客戶(hù)信息和風(fēng)險(xiǎn)規(guī)則信息是可以在原數(shù)據(jù)上進(jìn)行修改，如果只保留每日最新的信息，是無(wú)法體現(xiàn)每天的變化的，所以這兩類(lèi)信息需要存儲(chǔ)兩份，一份是歷史，一份是最新的。然而交易數(shù)據(jù)，卻只是每日增加，因此交易數(shù)據(jù)只需要保存一份，每日添加。對(duì)于交易數(shù)據(jù)每天都在不斷的新增，然而日積月累，對(duì)于數(shù)據(jù)庫(kù)的存儲(chǔ)空間需求很高，結(jié)合業(yè)務(wù)主題的分析，幾乎不會(huì)需要用到多年前的數(shù)據(jù)，另外數(shù)據(jù)量非常龐大，因此每天都需要對(duì)數(shù)據(jù)進(jìn)行更改，增加或者減少數(shù)據(jù)的必要與之不必要，所以此處定義的數(shù)據(jù)屬于間斷性，因此只需要對(duì)當(dāng)前的數(shù)據(jù)進(jìn)行時(shí)效三年的過(guò)程數(shù)據(jù)。1.1.5主題數(shù)據(jù)處理在有了基礎(chǔ)數(shù)據(jù)后，如何通過(guò)基礎(chǔ)數(shù)據(jù)匯總出業(yè)務(wù)需要的結(jié)果，此處設(shè)計(jì)使用存儲(chǔ)過(guò)程對(duì)基礎(chǔ)進(jìn)行各維度的匯總統(tǒng)計(jì)。存儲(chǔ)過(guò)程中也需要對(duì)數(shù)據(jù)進(jìn)行二次篩選劃分，也需要對(duì)其進(jìn)行特定的執(zhí)行模式，生成對(duì)比明顯的數(shù)據(jù)主題安排。任務(wù)執(zhí)行失敗，也能人工參與重新執(zhí)行，以確保每天的主題數(shù)據(jù)都有變更。對(duì)于數(shù)據(jù)的處理從以下三個(gè)方面進(jìn)行考慮:1）變化數(shù)據(jù)的維度分析表，在數(shù)據(jù)庫(kù)中發(fā)現(xiàn)其存在誤差需要及時(shí)對(duì)其進(jìn)行更改，事實(shí)表對(duì)其基本維度的表達(dá)有一定的描述，用于存放對(duì)數(shù)據(jù)用具的劃分避免出現(xiàn)混亂，以?xún)?chǔ)存大量業(yè)務(wù)范圍內(nèi)的事實(shí)數(shù)據(jù)的整理，而維度表則是事實(shí)表的入口，通過(guò)對(duì)維度的屬性的重新編輯可以對(duì)數(shù)據(jù)進(jìn)行有規(guī)律的分割以此來(lái)進(jìn)行分析。2）漸變維度的處理，在大規(guī)模數(shù)據(jù)庫(kù)當(dāng)中需要對(duì)其進(jìn)行分類(lèi)，需要根據(jù)類(lèi)別進(jìn)行討論研究，而其關(guān)鍵在于關(guān)鍵字的互相對(duì)應(yīng)從而建立起一定的數(shù)據(jù)間的聯(lián)系。3)快變維度的處理，對(duì)于變化頻率較快的數(shù)據(jù)處理方式來(lái)看，如果仍然采用與之前相同類(lèi)別的研究可能出現(xiàn)誤差，則數(shù)據(jù)的處理維度則會(huì)發(fā)現(xiàn)改變，這將導(dǎo)致數(shù)據(jù)的某種類(lèi)別出現(xiàn)增長(zhǎng)過(guò)快的現(xiàn)象，帶來(lái)許多的嘈雜程序，冗余存儲(chǔ)，特別是對(duì)于某類(lèi)重要大規(guī)模的數(shù)據(jù)的維度換分表，過(guò)度膨脹將會(huì)直接影響到其歷史分析數(shù)據(jù)以及效率圖的變化更改。1.3支付交易數(shù)特征提取方法優(yōu)化支付交易數(shù)據(jù)相比普通的數(shù)據(jù)更復(fù)雜，普通分類(lèi)問(wèn)題一般針對(duì)正負(fù)樣本比例相關(guān)不大，而銀行交易數(shù)據(jù)面對(duì)的是大量的特征的問(wèn)題，對(duì)于降維有不少優(yōu)化方法，但需要根據(jù)不同問(wèn)題區(qū)別對(duì)待。本論文根據(jù)銀行交易數(shù)據(jù)的特點(diǎn)出發(fā)，重點(diǎn)選擇機(jī)器學(xué)習(xí)的算法進(jìn)行。1.1機(jī)器學(xué)習(xí)的特征提取機(jī)器學(xué)習(xí)特征提取t-SN[23]是通過(guò)仿射變換將數(shù)據(jù)點(diǎn)的相關(guān)性映射成概率分布，t-SNE算法是將高空數(shù)據(jù)的樣本進(jìn)行距離感的部分?jǐn)?shù)據(jù)的概況分析其所處的類(lèi)別進(jìn)行無(wú)條件的轉(zhuǎn)換概率，同時(shí)計(jì)算低維空間內(nèi)樣本點(diǎn)的條件概率，采