人工智能金融應用評價體系研究報告二零二一年十月目 錄一、人工智能金融應用現(xiàn)狀 8（一）人工智能金融應用政策環(huán)境 8（二）人工智能金融應用要素映射 9（三）人工智能金融應用調(diào)研 （四）人工智能金融應用評價 1、數(shù)據(jù)安全評價 2、算法應用評價 3、服務能力評價 二、問題挑戰(zhàn)與解決思路 （一）人工智能金融應用的問題挑戰(zhàn) （二）人工智能應用評價的問題挑戰(zhàn) （三）解決思路與方法 三、建立多元化評價體系 （一）評價體系階段建設 （二）評價標準體系建設 （三）檢測能力全面提升 四、發(fā)揮認證價值助力人工智能治理 （一）建立“產(chǎn)品+服務”雙認證體系 （二）開展人工智能金融應用認證試點 （三）推動認證結果多方采信 參考文獻 一、人工智能金融應用現(xiàn)狀20175G（一）人工智能金融應用政策環(huán)境203020199202199202139（二）人工智能金融應用要素映射表1人工智能金融應用場景序號應用場景數(shù)據(jù)算法1智能風控客戶數(shù)據(jù)、外部數(shù)據(jù)、交互數(shù)據(jù)、規(guī)則庫LRGsGDT、DeeFM、NN、LSTM、ijsra、PageRank、LPA2智能投顧股票基本面、技術面數(shù)據(jù)、輿情數(shù)據(jù)多因子模型、集成學習模型、LSTM模型、強化學習模型3智能支付客戶生物特征數(shù)據(jù)GMM-HMM、DeepSpeechInsightfacefacenetMTCNN、DenseBox4智能客服金融行業(yè)語料、歷史對話數(shù)據(jù)、規(guī)則庫GMM-HMM、DeepSpeechWaveNet信息檢索、語義理解、圖算法、語義特征計算等5智能營銷客戶畫像、產(chǎn)品畫像、觸達交互數(shù)據(jù)因子分解機算法、集成學習類算法等6智能運營業(yè)務流程數(shù)據(jù)、用戶行為數(shù)據(jù)GDTRGst等7智能監(jiān)管監(jiān)管規(guī)則、財務數(shù)據(jù)、流水數(shù)據(jù)LRGsGDTDeeFRNN、LSTDijsrPeRLP神經(jīng)網(wǎng)絡（三）人工智能金融應用調(diào)研5672340在部分場景有所應用，其中87%圖1高頻算法技術應用統(tǒng)計圖2主要金融應用場景統(tǒng)計從算法構建難點看，當前遇到的困難主要集中在算法可解釋圖3算法構建難點統(tǒng)計圖4算法應用難點統(tǒng)計通過本次調(diào)研，我們可以看到當前人工智能金融應用發(fā)展與（四）人工智能金融應用評價1、數(shù)據(jù)安全評價AIAI金融應用為確保人工智能金融應用輸出結果的可預期性以及可用性，應當要求開發(fā)者或使用者對人工智能金融應用所使用和處理數(shù)據(jù)進行質(zhì)量管控，確保數(shù)據(jù)的可靠性、關聯(lián)性、準確性、完整性。2、算法應用評價源框架或者依賴庫出現(xiàn)底層缺陷,進而產(chǎn)生誤判問題,應當對算法算法訓練安全：AUCSoeioao1算法性能評估的指標包括四個方面：模型平均響應時間、模SeooWA算法準召率：對于不同的業(yè)務場景，應該選擇不同的評估方生。算法效果穩(wěn)定性：模型預測能力的穩(wěn)定性體現(xiàn)在模型的預測能力在時間維度上是一致的，即模型在測試集、時間外樣本集、線上測試和正式使用的時候有同樣的區(qū)分度。評估設計文檔中對于模型效果穩(wěn)定性是否有相應的保障措施；檢測模型效果穩(wěn)定性保障實現(xiàn)是否與說明文檔一致；準備合理的測試數(shù)據(jù)進行模型的推理測試獲得模型效果的評估隨時間的變化，是否能夠保持穩(wěn)定。算法泛化能力：3、服務能力評價問題以及系統(tǒng)與軟件安全問題兩類。硬件設備安全問題,主要指,指承載人工智能技術的各類計算機軟件中存在的漏洞和缺陷,如利用復雜度（mxiy）從理論上表征算法運行可能消耗的時間或）及（epoch參如images/s/s（二、問題挑戰(zhàn)與解決思路（一）人工智能金融應用的問題挑戰(zhàn)（二）人工智能應用評價的問題挑戰(zhàn)（三）解決思路與方法三、建立多元化評價體系（一）評價體系階段建設表2評價體系階段建設發(fā)展階段評價規(guī)則評價方法評價技術評價工具國家和行自聲明與基于目前技術應用水工具場景業(yè)政策要驗證相結平，充分采用已有安全攻耦合度求，行業(yè)合；防、性能和精準性測試技高；探索階段通用標準規(guī)范術手段；基于模型優(yōu)化等實踐經(jīng)工具類型單一；估相結合驗應用于可解釋性的評價專用工具技術缺乏部分成熟以標準符基于長期積累的最佳實應用或高合性驗證踐形成的安全攻防、性能專用工具風險應用為主；和精準性測試技術手段；豐富；擴展階段逐步豐富的漏洞掃描技術；實用性評評結合規(guī)范統(tǒng)一的多緯度可解具；價工作實釋性評價技術可比較性施指南等的測試基準覆蓋各種基于統(tǒng)一基于風險控制的安全攻體系化成金融應用規(guī)范的技防技術評價體系；套工具；場景的評術測試要具有可比性且基準一致體系化的價指標體求，自動的性能和精準性測試技術數(shù)據(jù)、工成熟階段系；化的測試手段；具集、測完善的評技術支撐系統(tǒng)性支撐的漏洞掃描試基準等價實施指系統(tǒng)化的技術；基礎設南等評價方法基于理論支持的多緯度施?？山忉屝栽u價技術等工作。（二）評價標準體系建設圖5金融行業(yè)人工智能評價標準體系（三）檢測能力全面提升完善人工智能算法測評方案JR/T0221-2021重點檢測技術攻關在安全方面，對算法的系列攻防對抗技術和漏洞掃描技術需統(tǒng)一提升檢測工