1、Harbor在 學(xué)習(xí)項(xiàng)目FATE中的應(yīng)用馬國強(qiáng)，微眾銀行高級研究員張海寧，VMware中國研發(fā)技術(shù)總監(jiān)//FederatedAI /goharbor/1234學(xué)習(xí)應(yīng)用縱向和橫向?qū)W習(xí)學(xué)習(xí)開源平臺(tái) - FATEHarbor集成FATE目錄CONTENTS 201學(xué)習(xí)應(yīng)用3AI成功的秘訣: 算力和大數(shù)據(jù)數(shù)據(jù)資源如同新的石油AI領(lǐng)域的挑戰(zhàn): 數(shù)據(jù)孤島Enterprise AEnterprise B 數(shù)據(jù)共享的安全性 隔離的數(shù)據(jù)集 缺少標(biāo)簽的數(shù)據(jù) 80% 以上的企業(yè)存在數(shù)據(jù)孤島現(xiàn)象!學(xué)習(xí)分類其他應(yīng)

2、用案例1002縱向和橫向?qū)W習(xí)8縱向 學(xué)習(xí) 聯(lián)合建模需求場景舉例：微眾與合作企業(yè)聯(lián)合建模，微眾有（業(yè)務(wù)表現(xiàn)），期望優(yōu)化本方的預(yù)測模型 設(shè)定： 只有微眾擁有 Y=“逾期表現(xiàn)” 合作企業(yè)無法暴露含有隱私的 X 傳統(tǒng)建模方法問題： 合作企業(yè)缺乏Y無法獨(dú)立建模 X數(shù)據(jù)全量傳輸?shù)轿⒈姴豢尚?期望結(jié)果： 保護(hù)隱私條件下，建立聯(lián)合模型 聯(lián)合模型效果超過單邊數(shù)據(jù)建模合作企業(yè)ID證件號(hào)電話號(hào)X1帳齡X2月薪X3等級U198000AU245000CU323500CU41010000AU557500BU657500AU788000B業(yè)務(wù)系統(tǒng)A 數(shù)據(jù)微眾銀行ID證件號(hào)電話號(hào)X4央行征信分X5微 眾內(nèi)部分Y表現(xiàn)數(shù)據(jù)U16

3、00600無U2550500有U3520500有U4600600無U8600600無U9520500有U10600600無業(yè)務(wù)系統(tǒng)B 數(shù)據(jù)9橫向 學(xué)習(xí) 聯(lián)合建模需求場景舉例：微眾和合作行共建反洗錢模型，期望優(yōu)化反洗錢模型 設(shè)定： Y 表示“是否存在洗錢行為” 合作行和微眾都有（X,Y） 雙方不暴露自己的（X,Y） 傳統(tǒng)建模方法問題： 微眾和合作行各自樣本不夠多微眾銀行合作行 期望結(jié)果： 保護(hù)隱私條件下，建立聯(lián)合模型 聯(lián)合模型效果超過單邊數(shù)據(jù)建模證件號(hào)電話號(hào)資金來源和經(jīng)營范圍不符筆數(shù)大額交易筆數(shù)表現(xiàn)數(shù)據(jù)有有無無無有有證件號(hào)電話號(hào)資金來源和經(jīng)營范圍不符筆數(shù)大額交易筆數(shù)表現(xiàn)數(shù)據(jù)有有有有有業(yè)務(wù)系統(tǒng)數(shù)據(jù)

4、業(yè)務(wù)系統(tǒng)數(shù)據(jù)1003學(xué)習(xí)開源平臺(tái)-FATE11 愿景 工業(yè)級別 學(xué)習(xí)系統(tǒng) 有效幫助多個(gè)機(jī)構(gòu)在符合數(shù)據(jù)安全和政府法規(guī)前提下，進(jìn)行數(shù)據(jù)使用和聯(lián)合建模設(shè)計(jì)原則 支持多種主流算法：為機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、遷移學(xué)習(xí)提供高性能 學(xué)習(xí)機(jī)制、 支持多種多方安全計(jì)算協(xié)議：同態(tài)加密共享、哈希散列等 友好的跨域交互信息管理方案，解決了學(xué)習(xí)信息安全審計(jì)難的問題/FederatedAI/FATEWebsite https:/FedAI.org 12核心功能FATE FederatedMLFATE-FlowFATE-BoardFATE-ServingFederated NetworkEgg

5、Roll 在線模型服務(wù)建?？梢暬?端到端 建模Pipeline 學(xué)習(xí)算 能組件分布式計(jì)算和存儲(chǔ)跨站點(diǎn)網(wǎng)絡(luò)通信 13目前 FATE 項(xiàng)目中算法&案例 Features 安全交集計(jì)算 縱向 特征工程 縱向特征分箱 縱向Pearson相關(guān)性(v1.2，即將發(fā)布） 縱向特征選擇 縱向 采樣 縱向 機(jī)器學(xué)習(xí) 縱向Logisitc Regression 縱向線性回歸 縱向possion 回歸 縱向Secure Boosting Tree 縱向深度神經(jīng)網(wǎng)絡(luò)（v1.2，即將發(fā)布) 橫向 機(jī)器學(xué)習(xí) 橫向Logisitc Regression 橫向深度神經(jīng)網(wǎng)絡(luò) 遷移學(xué)習(xí) Reference 算法參考：https:

6、//FederatedAI/FATE/tree/master/federatedml 案例參考：/FederatedAI/FATE/tree/master/examples/federatedml-1.0-examples 開發(fā)指引參考 :/FederatedAI/FATE/blob/master/doc/develop_guide.md1404Harbor 集成 FATE 15FATE部署架構(gòu) （單節(jié)點(diǎn)）FATE部署架構(gòu) （多節(jié)點(diǎn)）KubeFATE: Harbor與FATE集成FederationProxyMeta serviceRollEgg x nServingBoardFate-