1、基于機(jī)器學(xué)習(xí)的場外配資自動識別系統(tǒng)中泰證券股份有限公司 何波2015年7月股災(zāi)，拉開清理場外配資序幕總體上配資賬戶加劇了股市異常波動深交所關(guān)于場外配資賬戶的研究進(jìn)展的匯報： 配資賬戶持股占比越高的股票，股票的波動性越大。 配資賬戶導(dǎo)致股票特質(zhì)波動率增加。 配資賬戶偏好中小板股票，資金周轉(zhuǎn)率高于深市平均水平，表現(xiàn)出 “追高”、“炒小”、“炒熱點”等特征。 配資賬戶加大了股票流動性惡化的出現(xiàn)頻率。如何識別一個賬戶多人交易還是單人交易？ 配資賬戶交易模型用戶 a下單用戶 b用戶數(shù)據(jù)用戶 c監(jiān)測交易所系統(tǒng)券商系統(tǒng)配資系統(tǒng)（如HOMS）傳統(tǒng)的配資賬戶查處方法根據(jù)分析和經(jīng)驗建立一系列篩選條件 賬戶總資產(chǎn)達(dá)

2、到一定規(guī)模 成交量達(dá)到一定規(guī)模 交易頻率滿足一定次數(shù)傳統(tǒng)的配資賬戶查處方法存在以下幾個主要問題 篩選規(guī)則由監(jiān)管人員主觀決定，缺乏客觀依據(jù) 配資賬戶行為模式不斷發(fā)生變化，篩選規(guī)則難以及時做出調(diào)整 篩選規(guī)則有限，難以實現(xiàn)多樣復(fù)雜的篩選規(guī)則 配資賬戶樣本數(shù)據(jù)遠(yuǎn)小于正常賬戶數(shù)目，樣本存在嚴(yán)重不平衡問題基于機(jī)器學(xué)習(xí)的配資賬戶查處方法利用機(jī)器學(xué)習(xí)算法，建立配資賬戶的自動識別模型，有效提升了配資賬戶查處的效果： 充分利用客戶的基礎(chǔ)數(shù)據(jù)，交易數(shù)據(jù)，資產(chǎn)數(shù)據(jù)等，度判別某一賬戶是否為配資賬戶 通過設(shè)計用以描述配資賬戶的特征，充分刻畫配資賬戶的獨特特性和行為模式，從而區(qū)別非配資賬戶 增添查處規(guī)則的規(guī)模，實現(xiàn)復(fù)雜的查

3、處過程 利用機(jī)器學(xué)習(xí)算法，通過復(fù)雜的模型內(nèi)部算法提升查處的準(zhǔn)確性 對于未知的賬戶，將其相關(guān)數(shù)據(jù)輸入模型，模型根據(jù)內(nèi)部算法，實現(xiàn)自動預(yù)測該賬戶是否為配資賬戶用戶數(shù)據(jù)用戶特征預(yù)測配資賬戶模型訓(xùn)練生成模型建立配資賬戶自動識別系統(tǒng)流程特征設(shè)計 通過設(shè)計描述配資賬戶特有行為模式的特征，區(qū)別配資和非配資賬戶模型選擇 將特征輸入到不同的機(jī)器學(xué)習(xí)模型，基于檢驗結(jié)果選擇最優(yōu)模型和參數(shù)模型預(yù)測 對于待識別的賬戶，基于其原始數(shù)據(jù)計算特征，將特征輸入模型，模型基于內(nèi)部算法預(yù)測其是否為配資賬戶Hadoop 平臺R 平臺用戶配資標(biāo)簽是否配資配資模型配資預(yù)測模型訓(xùn)練用戶特征數(shù)據(jù)用戶數(shù)據(jù)特征計算待判斷用戶特征數(shù)據(jù)特征設(shè)計特征

4、設(shè)計原則 特征用以描述配資賬戶特點，區(qū)別配資和非配資賬戶經(jīng)觀察配資賬戶主要有兩個特點 配資賬戶內(nèi)部交易風(fēng)格差異較大 配資賬戶收益特征不同其他特征基礎(chǔ)特征資產(chǎn)特征交易風(fēng)格委托特征模型特征選擇目前我們設(shè)計采用特征包括：總成交量成交量最大值/最小值平均每筆成交量單只股票最大/最小成交量量成交量量標(biāo)準(zhǔn)差單只股票成交量量標(biāo)準(zhǔn)差最大值每日成交量峰度每日成交量偏度股票成交量峰度最大值股票成交量偏度最大值每只股票成交量峰度標(biāo)準(zhǔn)差每只股票成交量偏度標(biāo)準(zhǔn)差.賬戶總資產(chǎn)賬戶股票資產(chǎn)持倉率持有股票支數(shù)平均每支股票持有倉位持有倉位標(biāo)準(zhǔn)差持有股票最大/最小倉位占總持倉比例持有股數(shù)少于某一閾值的股票支數(shù)每日總成交次數(shù)每日單

5、只股票最大成交次數(shù)每日成交量少于某一閾值的成交次數(shù)成交價格標(biāo)準(zhǔn)差每日成交股票支數(shù)模型特征展示用于區(qū)別配資賬戶和非配資賬戶的特征特征類型特征配資賬戶非配資賬戶規(guī)模類型特征成交頻率363成交量2,910,72129,087股票資產(chǎn)5,056,76248,054持有股票數(shù)目333差異類型特征成交量標(biāo)準(zhǔn)差1.090.04股票倉位標(biāo)準(zhǔn)差1.370.43模型特征展示特征轉(zhuǎn)換考慮賬戶特征服從冪率分布的規(guī)律（大部分特征值分布在較小的一段區(qū)間內(nèi)，其余特征值 分布在較大的區(qū)間內(nèi)），對特征采取對數(shù)轉(zhuǎn)化，可以呈現(xiàn)更好的分布效果模型：隨機(jī)森林簡介經(jīng)過多種模型對比，隨機(jī)森林算法具有較好的效果隨機(jī)森林屬于分類算法，建立多個

6、分類樹模型，生成一系列的判定篩選條件，根據(jù)這些條 件判斷某一賬戶是否為配資賬戶。模型：隨機(jī)森林簡介基于隨機(jī)森林算法生成的簡化配資賬戶識別模型 特征名稱：交易頻率（matchfreq）、交易股票支數(shù)（stkfreq）、成交量標(biāo)準(zhǔn)差（std.matchamt）、平均每筆成交量（avg.matchamt) 模型可視化：對于每一個子節(jié)點，左邊的數(shù)字表示該節(jié)點中的普通賬戶數(shù)目，右邊數(shù) 字表示該節(jié)點中的配資賬戶數(shù)目，可以看出，每一個子節(jié)點都很好的實現(xiàn)了配資賬戶 和普通賬戶的劃分，使該節(jié)點的大部分賬戶為同一賬戶類別。模型：隨機(jī)森林簡介基于隨機(jī)深林模型特征重要性 隨機(jī)森林模型根據(jù)模型內(nèi)部算法和模型預(yù)測結(jié)果，對

7、每一個特征的重要性打分。 重要性排名前10特征展示特征排名特征名稱特 征重要性特征類型特征排名特征名稱特 征重要性特征類型1交易頻率16.0%規(guī)模類特征6個股成交量標(biāo)準(zhǔn)差波動5.4%差異類特征2總成交量14.3%規(guī)模類特征7個股成交量偏度3.1%差異類特征3交易股票支數(shù)12.66%規(guī)模類特征8個股成交量峰度2.7%差異類特征4成交量標(biāo)準(zhǔn)差10.22%差異類特征9交易頻率偏度2.7%差異類特征5個股成交量標(biāo)準(zhǔn)差極值7.0%差異類特征10交易頻率峰度2.6%差異類特征模型：隨機(jī)森林簡介重要特征在配資賬戶與非配資賬戶間分布差異模型檢驗效果 使用交叉驗證的方法，按8:2的比例把原始數(shù)據(jù)集分成模型生成樣

8、本和模型檢驗樣本 模型生成樣本用于生成模型，模型檢驗樣本用以檢驗?zāi)Ｐ偷男Ч?，以避免模型的過度 擬合。 模型檢驗樣本總共含有7295個賬戶，其中配資賬戶227個，非配資賬戶7068個，配 資賬戶占總樣本比例為3.1%。 經(jīng)多次抽樣迭代，模型平均能夠識別配資賬戶182個，召回率80%左右，誤識別的非 配資賬戶10個，準(zhǔn)確率95%左右。配資賬戶檢測數(shù)據(jù)倉庫 配資監(jiān)測模型每日運行，對當(dāng)天交易和資產(chǎn)數(shù)據(jù)進(jìn)行監(jiān)測 定期報送可疑到運營管理部門以及CRM系統(tǒng)算法集群 對可疑進(jìn)行電話回訪，發(fā)現(xiàn)明確提供配資服務(wù)?？头到y(tǒng)疑似配資賬戶正常賬戶模型優(yōu)化模型優(yōu)化的主要方向 增加特征，配資賬戶畫像更加完備 對于模型中的特

9、征進(jìn)行分析，識別強(qiáng)特征和弱特征，挖掘強(qiáng)特征背后的邏輯和 原因 對模型的參數(shù)進(jìn)行調(diào)試和優(yōu)化 通過增加模型的復(fù)雜程度來優(yōu)化模型，提升模型準(zhǔn)確率智查配資賬戶識別系統(tǒng)開發(fā)智查配資賬戶自動識別系統(tǒng)開發(fā) 在星環(huán)TDH上完成整個配資系統(tǒng)產(chǎn)品化開發(fā) 使整個配資賬戶識別流程一體化第一版本與2017.06開發(fā)完成智查配資賬戶識別系統(tǒng)開發(fā)查詢結(jié)果展示： 顯示每個未知賬戶是配資賬戶的可能性 顯示每個賬戶的各個特征值和該特征值的正常區(qū)間單賬戶配資 后續(xù)工作：配資賬戶識別系統(tǒng)主要針對傘型配資賬戶，后續(xù)準(zhǔn)備展開針對單賬戶配資的研究以及相關(guān)模型的開發(fā)工作。 背景工作：2015年股市大牛市中出現(xiàn)的配資賬戶主要為傘型配資賬戶，在及相關(guān)機(jī)構(gòu)的大力監(jiān)管下，傘型配資賬戶逐漸減少，目前流行的配資形式為單賬戶配資。 單