0引言近些年，隨著網(wǎng)絡(luò)通信技術(shù)的日新月異，人們能夠高效收集到各種各樣的信息，而各行各業(yè)也都已經(jīng)完成了大量數(shù)據(jù)的積累。這些海量數(shù)據(jù)在極大改善和豐富人們生活的同時(shí)，不免讓人們重新思考如何更好地進(jìn)行信息組織、查找與分析。隨著應(yīng)用場(chǎng)景越來(lái)越復(fù)雜，人工方式已經(jīng)不再能夠面對(duì)如此龐大的信息?；谶@些變化，處理數(shù)據(jù)的機(jī)器學(xué)習(xí)（MachineLearning）方法的地位迅速提升。目前，網(wǎng)絡(luò)安全與金融經(jīng)濟(jì)等眾多領(lǐng)域均非常關(guān)心機(jī)器學(xué)習(xí)相關(guān)的研究進(jìn)展，其中網(wǎng)絡(luò)借貸由于便捷性逐漸受到了廣泛關(guān)注。但是，網(wǎng)絡(luò)借貸中存在大量欺詐申請(qǐng)，若借貸人無(wú)法及時(shí)歸還借貸金額，會(huì)造成借貸公司的經(jīng)濟(jì)損失。關(guān)于欺詐和欺詐活動(dòng)有很多定義。注冊(cè)欺詐審查員協(xié)會(huì)（AssociationofCertifiedFraudExaminers）將“欺詐”定義為通過(guò)故意濫用或誤用雇傭組織的資源或資產(chǎn)來(lái)占用他人個(gè)人資產(chǎn)的行為。提到欺詐的主要成因是通過(guò)非法手段獲取虛假的利益，將對(duì)經(jīng)濟(jì)、法律乃至人類道德價(jià)值觀產(chǎn)生巨大影響。文獻(xiàn)[2]中提到涉及金錢(qián)和服務(wù)的幾乎所有技術(shù)系統(tǒng)都可能受到欺詐行為的影響，如信用卡、電信、醫(yī)療保險(xiǎn)、汽車保險(xiǎn)和在線拍賣系統(tǒng)等。反欺詐本質(zhì)上可以表示為一個(gè)二分類的異常檢測(cè)問(wèn)題，其中正常數(shù)據(jù)為一類，欺詐和異常數(shù)據(jù)為另一類。反欺詐模型建立的目的是將欺詐數(shù)據(jù)從所有數(shù)據(jù)中區(qū)分開(kāi)來(lái)。但是，與傳統(tǒng)的二分類問(wèn)題相比，該領(lǐng)域所使用的數(shù)據(jù)有很大不同。反欺詐領(lǐng)域中，數(shù)據(jù)集中的異常數(shù)據(jù)樣例通常較少，而正常數(shù)據(jù)通常占據(jù)絕大部分，同時(shí)異常數(shù)據(jù)的某些或者全部特征通常與其他數(shù)據(jù)點(diǎn)差別較大。監(jiān)督學(xué)習(xí)側(cè)重于對(duì)有標(biāo)簽的數(shù)據(jù)進(jìn)行訓(xùn)練，而對(duì)無(wú)標(biāo)簽樣本逐一進(jìn)行標(biāo)記往往不現(xiàn)實(shí)，需要耗費(fèi)大量的人力物力。面對(duì)這種標(biāo)簽數(shù)量缺失的情況，無(wú)監(jiān)督學(xué)習(xí)應(yīng)運(yùn)而生。相比監(jiān)督學(xué)習(xí)，無(wú)監(jiān)督學(xué)習(xí)是一種無(wú)標(biāo)簽數(shù)據(jù)進(jìn)行挖掘的學(xué)習(xí)模式。換而言之，無(wú)監(jiān)督學(xué)習(xí)是在不需要給數(shù)據(jù)打標(biāo)簽的基礎(chǔ)上進(jìn)行數(shù)據(jù)挖掘工作。無(wú)監(jiān)督學(xué)習(xí)的特點(diǎn)是在僅對(duì)其提供無(wú)標(biāo)簽的數(shù)據(jù)情況下，能夠自動(dòng)從這些數(shù)據(jù)中找出其潛在的類別規(guī)則，在學(xué)習(xí)完畢并經(jīng)測(cè)試后應(yīng)用到新的數(shù)據(jù)上。無(wú)監(jiān)督學(xué)習(xí)模型在學(xué)習(xí)時(shí)并不知道其分類結(jié)果是否正確，也就是說(shuō)沒(méi)有標(biāo)簽告訴模型何種學(xué)習(xí)是正確的。顯然，如果只進(jìn)行監(jiān)督訓(xùn)練，使用少量“昂貴的”有標(biāo)記的樣本而拋棄大量“廉價(jià)的”無(wú)標(biāo)記的樣本，是對(duì)數(shù)據(jù)資源的一種極大浪費(fèi)。如果使用無(wú)監(jiān)督學(xué)習(xí)，則數(shù)據(jù)集中的標(biāo)簽不能被有效利用，同時(shí)訓(xùn)練出的模型具有很大不確定性。針對(duì)這兩種情況，目前已有研究人員提出將少量的有標(biāo)簽樣本與大量的無(wú)標(biāo)簽樣本一起進(jìn)行學(xué)習(xí)的策略，即弱監(jiān)督學(xué)習(xí)算法。人們希望能夠使用弱監(jiān)督學(xué)習(xí)的辦法，將有限的標(biāo)簽信息和大量未標(biāo)記數(shù)據(jù)中的信息有效利用起來(lái)，結(jié)合少量有標(biāo)簽數(shù)據(jù)和大量未標(biāo)記數(shù)據(jù)中的信息，達(dá)到相應(yīng)的分類和預(yù)測(cè)效果。在這個(gè)過(guò)程中，本文主要做出了以下貢獻(xiàn)：基于借貸數(shù)據(jù)集構(gòu)成的關(guān)系圖，實(shí)現(xiàn)基于圖的半監(jiān)督算法。利用在數(shù)據(jù)集上構(gòu)建關(guān)系圖，并在關(guān)系圖上用Louvain算法進(jìn)行社區(qū)發(fā)現(xiàn)，能夠在大規(guī)模數(shù)據(jù)集上高效快速完成模型構(gòu)建。其中，詳細(xì)展示了Louvain算法的實(shí)現(xiàn)、如何對(duì)社區(qū)發(fā)現(xiàn)結(jié)果進(jìn)行標(biāo)簽傳播以及使用K-S值衡量反欺詐模型的效果并調(diào)整參數(shù)。本文旨在研究分析弱監(jiān)督算法在互聯(lián)網(wǎng)金融反欺詐領(lǐng)域的應(yīng)用，選取網(wǎng)絡(luò)借貸場(chǎng)景進(jìn)行研究。結(jié)合理論和實(shí)證分析，在借貸數(shù)據(jù)集上構(gòu)建申請(qǐng)信息的關(guān)系圖；結(jié)合借貸欺詐場(chǎng)景中非數(shù)值型數(shù)據(jù)集的特征，設(shè)計(jì)相應(yīng)的弱監(jiān)督反欺詐模型；在標(biāo)簽數(shù)量不足的情況下，基于圖進(jìn)行半監(jiān)督反欺詐模型的構(gòu)建，并評(píng)估相應(yīng)算法在該數(shù)據(jù)集上的表現(xiàn)。實(shí)驗(yàn)表明，該算法能夠在實(shí)際應(yīng)用中有效識(shí)別出欺詐。1相關(guān)工作最初的欺詐檢測(cè)研究主要集中在統(tǒng)計(jì)模型，如邏輯回歸和神經(jīng)網(wǎng)絡(luò)。1988年，神經(jīng)網(wǎng)絡(luò)就被用在金融預(yù)測(cè)領(lǐng)域。1995年，首先使用反向傳播神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)財(cái)務(wù)報(bào)表欺詐。2001年和2002年，用統(tǒng)計(jì)學(xué)習(xí)方法對(duì)欺詐檢測(cè)進(jìn)行了一些一般性分析。2006年，使用過(guò)程挖掘方法研究醫(yī)療保健欺詐。而在近期的相關(guān)研究中，使用邏輯回歸和支持向量機(jī)調(diào)查了一系列臺(tái)灣公司的財(cái)務(wù)報(bào)表欺詐行為。利用人工免疫系統(tǒng)識(shí)別了一家匿名巴西銀行的信用卡欺詐行為。使用決策樹(shù)對(duì)欺詐用戶建模，認(rèn)為在模型評(píng)估上準(zhǔn)確率和TPR并不適合這種問(wèn)題，并以此改進(jìn)了決策樹(shù)的損失函數(shù)。利用集成學(xué)習(xí)分類器，對(duì)比樸素貝葉斯、支出向量機(jī)和K近鄰算法進(jìn)行信用卡用戶的反欺詐建模，發(fā)現(xiàn)集成學(xué)習(xí)的效果好于單一的算法。討論計(jì)算機(jī)智能和云計(jì)算在金融反欺詐系統(tǒng)上的運(yùn)用。使用神經(jīng)網(wǎng)絡(luò)并引入用戶地理位置信息建立反欺詐系統(tǒng)，效果能夠提升80%。弱監(jiān)督學(xué)習(xí)方法適用于在構(gòu)建模型的過(guò)程中，使用的訓(xùn)練數(shù)據(jù)只有一小部分?jǐn)?shù)據(jù)有標(biāo)簽，而大部分?jǐn)?shù)據(jù)沒(méi)有標(biāo)簽，且只用這一小部分有標(biāo)簽的數(shù)據(jù)不足以訓(xùn)練一個(gè)好的模型的情況。弱監(jiān)督學(xué)習(xí)是一個(gè)較為總括性的術(shù)語(yǔ)，涵蓋了試圖通過(guò)較弱的監(jiān)督來(lái)構(gòu)建預(yù)測(cè)模型的各種研究。其中，數(shù)據(jù)標(biāo)簽可能存在數(shù)量不足、粗粒度較大以及不夠準(zhǔn)確的情況。在針對(duì)數(shù)據(jù)集標(biāo)簽數(shù)量不足的半監(jiān)督學(xué)習(xí)中，有兩個(gè)基本假設(shè)，即聚類假設(shè)（ClusterAssumption）和流形假設(shè)（ManifoldAssumption）。這兩個(gè)假設(shè)都是關(guān)于數(shù)據(jù)分布的。前者假設(shè)數(shù)據(jù)具有內(nèi)在的聚類（Cluster）結(jié)構(gòu)，處在相同聚類中的數(shù)據(jù)有較大的可能擁有相同的標(biāo)記。根據(jù)該假設(shè)，決策邊界應(yīng)該盡可能通過(guò)數(shù)據(jù)較為稀疏的地方，從而避免把稠密的聚類中的數(shù)據(jù)點(diǎn)分到?jīng)Q策邊界兩側(cè)。后者假設(shè)數(shù)據(jù)分布在一個(gè)流形上，處于一個(gè)很小的局部鄰域內(nèi)的示例具有相似的性質(zhì)。這一設(shè)定反映了決策函數(shù)的局部“平滑”性。和聚類假設(shè)著眼整體特性不同，流形假設(shè)主要考慮的是模型的局部特性。這兩個(gè)假設(shè)都揭示了數(shù)據(jù)分布信息與其類別標(biāo)記相互聯(lián)系。利用未標(biāo)注數(shù)據(jù)中的數(shù)據(jù)分布信息，可以更好地找到樣本點(diǎn)之間的關(guān)聯(lián)和預(yù)估樣本點(diǎn)的標(biāo)簽，從而提高模型性能。2方法設(shè)計(jì)Louvain算法是一種基于模塊度（Modularity）的社區(qū)發(fā)現(xiàn)算法，在效率和效果上都表現(xiàn)較好，并且能夠發(fā)現(xiàn)層次性的社區(qū)結(jié)構(gòu)。算法優(yōu)化的目標(biāo)是最大化整個(gè)圖屬性結(jié)構(gòu)（社區(qū)網(wǎng)絡(luò)）的模塊度。Louvain算法得到的社區(qū)結(jié)構(gòu)是分層的，每一輪計(jì)算完成后得到的新圖都是對(duì)一個(gè)大社區(qū)內(nèi)若干細(xì)分社區(qū)發(fā)現(xiàn)的結(jié)果。這樣的分層結(jié)構(gòu)得到的是每個(gè)網(wǎng)絡(luò)的自然屬性，使人們能夠深入了解某個(gè)社區(qū)的內(nèi)部結(jié)構(gòu)和形成機(jī)制。同時(shí)，Louvain算法的性能較好，對(duì)圖的大小幾乎沒(méi)有上限要求，并且能在迭代幾輪后快速收斂，使得該算法有能力處理?yè)碛邪偃f(wàn)級(jí)別以上節(jié)點(diǎn)的大型網(wǎng)絡(luò)。Louvain算法主要包括兩個(gè)階段。第一階段，不斷遍歷網(wǎng)絡(luò)中的結(jié)點(diǎn)。假設(shè)每個(gè)節(jié)點(diǎn)為1個(gè)社區(qū)，N個(gè)節(jié)點(diǎn)。初始化N個(gè)社區(qū)，嘗試將單個(gè)結(jié)點(diǎn)加入能夠使模塊度提升最大的社區(qū)中，直到所有結(jié)點(diǎn)不再變化。第二階段，處理第一階段結(jié)果，將一個(gè)個(gè)小社區(qū)歸并為一個(gè)超結(jié)點(diǎn)，重新構(gòu)造網(wǎng)絡(luò)。算法不斷迭代這兩個(gè)步驟，直至所有子社區(qū)模塊度相加值不再變化。模塊度Q提出，能用來(lái)評(píng)估算法結(jié)果的好壞。模塊度Q的公式定義為：其中圖片代表節(jié)點(diǎn)連接節(jié)點(diǎn)i、j的邊的權(quán)值；圖片表示與節(jié)點(diǎn)i相連的所有邊權(quán)值之和；圖片為節(jié)點(diǎn)i所歸屬的社區(qū)；而圖片為一個(gè)關(guān)于節(jié)點(diǎn)歸屬社區(qū)的函數(shù)，函數(shù)中兩個(gè)變量相同時(shí)取值為1，反之為0。Q值的取值范圍為0-1，值越大，說(shuō)明網(wǎng)絡(luò)劃分的社區(qū)結(jié)構(gòu)準(zhǔn)確度越高。首先，假設(shè)網(wǎng)絡(luò)中每一個(gè)節(jié)點(diǎn)歸屬于一個(gè)社區(qū)。對(duì)其中任一節(jié)點(diǎn)i，計(jì)算將其并入相鄰社區(qū)后整個(gè)網(wǎng)絡(luò)Q值的變化ΔQ：找到Q值變化最大的社區(qū)（若計(jì)算得到圖片為負(fù)，則不改變i的歸屬社區(qū)）。按照Q值增加的方向，將一個(gè)社團(tuán)的節(jié)點(diǎn)不斷移至另一個(gè)社團(tuán)，直至Q函數(shù)達(dá)到峰值。當(dāng)Q值不再發(fā)生變化，即將一個(gè)節(jié)點(diǎn)轉(zhuǎn)移到網(wǎng)絡(luò)內(nèi)的另一個(gè)相鄰社區(qū)不能帶圖片的提升時(shí)，此時(shí)網(wǎng)絡(luò)內(nèi)所有節(jié)點(diǎn)不再移動(dòng)，得到的各個(gè)社區(qū)將作為新圖的節(jié)點(diǎn)。當(dāng)執(zhí)行完Louvain算法后，劃分出若干個(gè)社區(qū)，其中每個(gè)社區(qū)可以看作是數(shù)據(jù)中的一個(gè)群體。到目前為止，需要對(duì)得到的社區(qū)中的節(jié)點(diǎn)進(jìn)行分類，即為每個(gè)社區(qū)打上標(biāo)簽。根據(jù)社區(qū)發(fā)現(xiàn)算法的原理，所得到的最佳劃分的每個(gè)子簇都代表一個(gè)社區(qū)，每個(gè)社區(qū)內(nèi)部的標(biāo)簽應(yīng)該一致。根據(jù)每個(gè)子社區(qū)中有標(biāo)簽節(jié)點(diǎn)的標(biāo)簽對(duì)整個(gè)子社區(qū)進(jìn)行標(biāo)注。當(dāng)存在標(biāo)簽為0的節(jié)點(diǎn)時(shí)，將子社區(qū)其他未標(biāo)記數(shù)據(jù)標(biāo)為0，如圖1所示。圖1標(biāo)記過(guò)程示意1當(dāng)存在標(biāo)簽為1的節(jié)點(diǎn)時(shí)，可以將子社區(qū)其他未標(biāo)記數(shù)據(jù)標(biāo)為1，如圖2所示。圖2標(biāo)記過(guò)程示意2當(dāng)子社區(qū)中同時(shí)存在標(biāo)簽為0和標(biāo)簽為1的節(jié)點(diǎn)時(shí)，將子社區(qū)其他節(jié)點(diǎn)標(biāo)為數(shù)量多的那方的標(biāo)簽，如圖3所示。圖3標(biāo)記過(guò)程示意33實(shí)驗(yàn)驗(yàn)證3.1數(shù)據(jù)集簡(jiǎn)介本實(shí)驗(yàn)中使用的數(shù)據(jù)集為某銀行的借貸數(shù)據(jù)集，數(shù)據(jù)集已經(jīng)過(guò)脫敏處理，不會(huì)泄露客戶個(gè)人信息。該數(shù)據(jù)集是一個(gè)非常典型的非數(shù)值型數(shù)據(jù)集，共有38個(gè)特征。除了label特征用來(lái)表示每條數(shù)據(jù)的標(biāo)簽外，其余特征皆是字符串類型的數(shù)據(jù)。數(shù)據(jù)集共有229407條數(shù)據(jù)，其中包含了大量無(wú)標(biāo)簽數(shù)據(jù)。Label為0，表示交易正常，共28171條數(shù)據(jù)；label為1，表示交易存在欺詐申請(qǐng)，共2546條數(shù)據(jù)；label為2和空，表示交易無(wú)法判斷是否存在欺詐申請(qǐng)，共198690條數(shù)據(jù)。3.2模型評(píng)估指標(biāo)KS值是一個(gè)常用來(lái)衡量風(fēng)控模型優(yōu)劣的指標(biāo)，在模型中能夠用于區(qū)分預(yù)測(cè)正負(fù)樣本分隔程度，因此非常適合用于評(píng)估反欺詐分類的效果。計(jì)算KS值時(shí)涉及到的各項(xiàng)指標(biāo)、含義和計(jì)算方法，如表1所示。表1模型評(píng)估相關(guān)指標(biāo)描述KS值的計(jì)算公式為：KS值越大，說(shuō)明模型區(qū)分正例和反例的效果越好3.3實(shí)驗(yàn)性能利用NetworkX導(dǎo)出Neo4j數(shù)據(jù)庫(kù)中的圖。在數(shù)據(jù)庫(kù)中為每種關(guān)系都建立邊，因而存在兩個(gè)節(jié)點(diǎn)之間有多條邊的情況。這里合并節(jié)點(diǎn)間的多條邊，將關(guān)系圖存儲(chǔ)成無(wú)權(quán)圖的格式。最終，所得無(wú)權(quán)圖共含有197862條邊。在關(guān)系圖上運(yùn)行Louvain算法，得到的最佳劃分的模塊度為0.9048。執(zhí)行完Louvain算法后，得到了關(guān)于關(guān)系圖的一個(gè)劃分。對(duì)得到的社區(qū)中的節(jié)點(diǎn)進(jìn)行分類，即為每個(gè)社區(qū)打上標(biāo)簽。標(biāo)注過(guò)程結(jié)束后，在訓(xùn)練集對(duì)應(yīng)的測(cè)試集上評(píng)估預(yù)測(cè)結(jié)果，得到的KS值為0.446，混淆矩陣如表2所示。表2Louvain算法性能通過(guò)調(diào)整標(biāo)簽標(biāo)記的方式來(lái)提高模型的性能。在標(biāo)簽標(biāo)記過(guò)程中，當(dāng)一個(gè)子社區(qū)中同時(shí)出現(xiàn)標(biāo)簽為1的節(jié)點(diǎn)和標(biāo)簽為0的節(jié)點(diǎn)時(shí)，根據(jù)雙方數(shù)量的多少來(lái)判斷剩下節(jié)點(diǎn)的標(biāo)簽。現(xiàn)在改變這一判定標(biāo)準(zhǔn)，定義欺詐占比Fr：根據(jù)Fr可以制定更精細(xì)的標(biāo)注方法。首先，分別統(tǒng)計(jì)每個(gè)子社區(qū)中的欺詐占比Fr。其次，設(shè)定劃分基準(zhǔn)rate。當(dāng)Fr＞rate時(shí)，子社區(qū)標(biāo)簽為1，否則標(biāo)簽為0。可知，當(dāng)rate=0.5時(shí)，根據(jù)1和0的數(shù)量多少來(lái)判定標(biāo)簽，即式（3）中使用的方法得到的KS值為0.446。通過(guò)改變r(jià)ate的值，可以得到KS關(guān)于rate變化的曲線。根據(jù)圖4，當(dāng)rate設(shè)置在0.2時(shí)，得到的KS值最高。因此，將模型的rate定為0.2，最終的KS能夠提升到0.46。圖4