(12)發(fā)明專利(73)專利權(quán)人中國(guó)人民解放軍網(wǎng)絡(luò)空間部隊(duì)信道62號(hào)(72)發(fā)明人胡學(xué)先楊鴻健魏江宏李可佳徐陽(yáng)張蕾公司41111基于同態(tài)加密的隱私保護(hù)非線性聯(lián)邦支持特別涉及一種基于同態(tài)加密的隱私保護(hù)非線性密鑰協(xié)商協(xié)議獲取組密鑰及用于生成原始數(shù)據(jù)2各參與方利用密鑰協(xié)商協(xié)議獲取組密鑰及用于生成原各參與方利用隨機(jī)種子生成映射函數(shù)，并使用映射函各參與方利用高維數(shù)據(jù)作為訓(xùn)練樣本，使用隱私保護(hù)的聯(lián)邦SVM算法訓(xùn)練局部模型參2.根據(jù)權(quán)利要求1所述的基于同態(tài)加密的隱私保護(hù)非線性聯(lián)邦支持向量機(jī)訓(xùn)練方法，3.根據(jù)權(quán)利要求1所述的基于同態(tài)加密的隱私保護(hù)非線性聯(lián)邦支持向量機(jī)訓(xùn)練方法，4.根據(jù)權(quán)利要求2所述的基于同態(tài)加密的隱私保護(hù)非線性聯(lián)邦支持向量機(jī)訓(xùn)練方法，5.根據(jù)權(quán)利要求1所述的基于同態(tài)加密的隱私保護(hù)非線性聯(lián)邦支持向量機(jī)訓(xùn)練方法，6.根據(jù)權(quán)利要求5所述的基于同態(tài)加密的隱私保護(hù)非線性聯(lián)邦支持向量機(jī)訓(xùn)練方法，7.根據(jù)權(quán)利要求1所述的基于同態(tài)加密的隱私保護(hù)非線性聯(lián)邦支持向量機(jī)訓(xùn)練方法，8.根據(jù)權(quán)利要求7所述的基于同態(tài)加密的隱私保護(hù)非線性聯(lián)邦支持向量機(jī)訓(xùn)練方法，3密鑰協(xié)商模塊，用于各參與方利用密鑰協(xié)商協(xié)議獲取組密組密鑰，組密鑰K表示為為中間結(jié)果，且X?=Zi+1/Z,樣本構(gòu)建模塊，用于各參與方利用隨機(jī)種子生成映射函數(shù)，并4技術(shù)領(lǐng)域[0001]本發(fā)明屬于隱私保護(hù)的機(jī)器學(xué)習(xí)技術(shù)領(lǐng)域，特別涉及一種基于同態(tài)加密的隱私保護(hù)非線性聯(lián)邦支持向量機(jī)訓(xùn)練方法及系統(tǒng)。背景技術(shù)[0002]隨著大數(shù)據(jù)與人工智能的快速發(fā)展，隱私保護(hù)，數(shù)據(jù)安全等數(shù)據(jù)安全問(wèn)題愈發(fā)受到重視，如何在有效保護(hù)用戶隱私數(shù)據(jù)的前提下，進(jìn)行多源數(shù)據(jù)聯(lián)合挖掘成為了一個(gè)亟待解決的問(wèn)題。同態(tài)加密作為一種建立在公鑰密碼學(xué)理論基礎(chǔ)之上、通過(guò)數(shù)學(xué)難題保證密文安全性的隱私保護(hù)技術(shù)，為解決多源數(shù)據(jù)聯(lián)合挖掘隱私問(wèn)題提供了有效的解決方案。[0003]目前關(guān)于隱私保護(hù)的SVM研究主要從四個(gè)方向展開，其分別為：安全多方計(jì)算、數(shù)據(jù)擾動(dòng)、安全外包計(jì)算與聯(lián)邦學(xué)習(xí)?；诎踩喾接?jì)算的SVM的研究多通過(guò)安全多方計(jì)算協(xié)議實(shí)現(xiàn)多參與方的聯(lián)合建模，能夠保證各參與方訓(xùn)練數(shù)據(jù)的隱私性，但存在時(shí)間，通信開銷較大的缺陷；基于數(shù)據(jù)擾動(dòng)的SVM是指通過(guò)向Gram矩陣中注入噪聲的方式來(lái)保證數(shù)據(jù)隱私性，但會(huì)降低模型的準(zhǔn)確性；基于安全外包計(jì)算的SVM是指借助云服務(wù)器強(qiáng)大的計(jì)算能力，將原始數(shù)據(jù)加密后上傳至云中，并由云在密文域中進(jìn)行模型訓(xùn)練與預(yù)測(cè)，但其計(jì)算復(fù)雜度整體較高，且需要將本地?cái)?shù)據(jù)加密后上傳至云服務(wù)器中。而聯(lián)邦學(xué)習(xí)則能夠在保證數(shù)據(jù)不出本地的前提下，僅通過(guò)交換各參與方之間的模型參數(shù)，實(shí)現(xiàn)全局模型的建立。與其他方法相比，聯(lián)邦學(xué)習(xí)具有更卓越的訓(xùn)練效率與更廣的應(yīng)用背景。因而，近些年基于同態(tài)加密的隱私保護(hù)聯(lián)邦學(xué)習(xí)研究熱度逐漸提高。[0004]但是，目前現(xiàn)有的聯(lián)邦學(xué)習(xí)SVM研究也存在許多挑戰(zhàn)。首先，一些研究在未使用任何隱私保護(hù)手段的前提下，直接將聯(lián)邦SVM算法應(yīng)用于相應(yīng)場(chǎng)景中。存在隱私泄露的隱患；其次，主流的橫向聯(lián)邦學(xué)習(xí)通過(guò)梯度下降進(jìn)行求解，暫無(wú)通過(guò)SMO算法求解的相關(guān)研究，原因是對(duì)偶問(wèn)題計(jì)算的全局最優(yōu)系數(shù)與局部數(shù)據(jù)計(jì)算的局部最優(yōu)系數(shù)不同。由于每一方都有一個(gè)數(shù)據(jù)子集的數(shù)據(jù)，求解數(shù)據(jù)子集上的對(duì)偶問(wèn)題難以生成全局最優(yōu)系數(shù)。這意味著在橫向聯(lián)邦學(xué)習(xí)場(chǎng)景下，將難以利用核技巧直接求解非線性聯(lián)邦SVM。發(fā)明內(nèi)容[0005]為此，本發(fā)明提供一種基于同態(tài)加密的隱私保護(hù)非線性聯(lián)邦支持向量機(jī)訓(xùn)練方法及系統(tǒng)，實(shí)現(xiàn)隱私保護(hù)的聯(lián)邦SVM聯(lián)合訓(xùn)練，可兼顧各參與方隱私保護(hù)及訓(xùn)練速度，便于實(shí)際場(chǎng)景應(yīng)用。[0006]按照本發(fā)明所提供的設(shè)計(jì)方案，提供一種基于同態(tài)加密的隱私保護(hù)非線性聯(lián)邦支持向量機(jī)訓(xùn)練方法，包含如下內(nèi)容：[0007]各參與方利用密鑰協(xié)商協(xié)議獲取組密鑰及用于生成原始數(shù)據(jù)映射函數(shù)的隨機(jī)種[0008]各參與方利用隨機(jī)種子生成映射函數(shù)，并使用映射函數(shù)將各參與方的本地?cái)?shù)據(jù)集5作為原始數(shù)據(jù)映射到相同高維空間，以獲取各參與方對(duì)應(yīng)的高維數(shù)據(jù)；[0009]各參與方利用高維數(shù)據(jù)作為訓(xùn)練樣本，使用隱私保護(hù)的聯(lián)邦SVM算法訓(xùn)練局部模型參數(shù)，并通過(guò)服務(wù)器利用同態(tài)加密運(yùn)算聚合各局部模型參數(shù)，通過(guò)聯(lián)合訓(xùn)練來(lái)獲取最終模型。[0010]作為本發(fā)明基于同態(tài)加密的隱私保護(hù)非線性聯(lián)邦支持向量機(jī)訓(xùn)練方法，進(jìn)一步地，各參與方采用Burmester-Desmedt協(xié)議作為密鑰協(xié)商協(xié)議來(lái)獲取公私鑰對(duì)；并將自身公鑰廣播給其他參與方；通過(guò)各參與方參與密鑰協(xié)商的中間參數(shù)來(lái)獲取組密鑰。[0011]作為本發(fā)明基于同態(tài)加密的隱私保護(hù)非線性聯(lián)邦支持向量機(jī)訓(xùn)練方法，進(jìn)一步地，將組密鑰作為偽隨機(jī)數(shù)生成器的輸入，利用偽隨機(jī)數(shù)生成器來(lái)獲取用于生成原始數(shù)據(jù)映射函數(shù)的隨機(jī)種子。[0012]作為本發(fā)明基于同態(tài)加密的隱私保護(hù)非線性聯(lián)邦支持向量機(jī)訓(xùn)練方法，進(jìn)一步地，利用Burmester-Desmedt協(xié)議生成公私鑰對(duì)中，所選用的群為RFC3526中2048-bit的乘法循環(huán)群。[0013]作為本發(fā)明基于同態(tài)加密的隱私保護(hù)非線性聯(lián)邦支持向量機(jī)訓(xùn)練方法，進(jìn)一步地，偽隨機(jī)數(shù)生成器采用ChaCha偽隨機(jī)數(shù)生成器。[0014]作為本發(fā)明基于同態(tài)加密的隱私保護(hù)非線性聯(lián)邦支持向量機(jī)訓(xùn)練方法，進(jìn)一步地，針對(duì)獲取的隨機(jī)種子，結(jié)合隨機(jī)傅里葉特征算法將各參與方的原始數(shù)據(jù)映射到相同的高維空間中。[0015]作為本發(fā)明基于同態(tài)加密的隱私保護(hù)非線性聯(lián)邦支持向量機(jī)訓(xùn)練方法，進(jìn)一步地，隨機(jī)傅里葉特征算法中，依據(jù)隨機(jī)種子設(shè)置隨機(jī)數(shù)生成器；并通過(guò)隨機(jī)數(shù)生成器來(lái)構(gòu)建映射函數(shù)；利用映射函數(shù)對(duì)各參與方本地?cái)?shù)據(jù)集的原始數(shù)據(jù)進(jìn)行映射，得到對(duì)應(yīng)映射后的高維數(shù)據(jù)。[0016]作為本發(fā)明基于同態(tài)加密的隱私保護(hù)非線性聯(lián)邦支持向量機(jī)訓(xùn)練方法，進(jìn)一步地，使用隱私保護(hù)的聯(lián)邦SVM算法對(duì)模型進(jìn)行聯(lián)合訓(xùn)練中，服務(wù)器生成初始模型參數(shù)并將初始模型參數(shù)廣播至各參與方；各參與方對(duì)本地模型進(jìn)行迭代訓(xùn)練，在迭代訓(xùn)練中，首先，各參與方利用本地訓(xùn)練樣本進(jìn)行模型訓(xùn)練獲取局部模型參數(shù)，對(duì)局部模型參數(shù)進(jìn)行同態(tài)加密并上傳至服務(wù)器，服務(wù)器使用同態(tài)加密運(yùn)算聚合各參與方的局部模型參數(shù)來(lái)獲取全局模型參數(shù)密文，并將全局模型參數(shù)密文發(fā)送給各參與方，各參與方依據(jù)接收的全局模型參數(shù)密文，通過(guò)解密來(lái)獲取本地模型參數(shù)，并進(jìn)入下一輪的模型訓(xùn)練，直至滿足預(yù)設(shè)的最大迭代輪[0017]作為本發(fā)明基于同態(tài)加密的隱私保護(hù)非線性聯(lián)邦支持向量機(jī)訓(xùn)練方法，進(jìn)一步地，聯(lián)合訓(xùn)練中，依據(jù)各參與方本地?cái)?shù)據(jù)集樣本大小設(shè)置參與方貢獻(xiàn)度，在迭代訓(xùn)練中各參與方利用本地訓(xùn)練樣本訓(xùn)練本輪模型參數(shù)，并利用接收到的全局模型參數(shù)和本輪訓(xùn)練的本地模型參數(shù)及參與方貢獻(xiàn)度來(lái)更新當(dāng)前輪次接收的全局模型參數(shù)，并將更新后的全局模型參數(shù)作為該參與方的局部模型參數(shù)，對(duì)局部模型參數(shù)進(jìn)行同態(tài)加密并發(fā)送給服務(wù)器。[0018]進(jìn)一步地，本發(fā)明還提供一種基于同態(tài)加密的隱私保護(hù)非線性聯(lián)邦支持向量機(jī)訓(xùn)[0019]密鑰協(xié)商模塊，用于各參與方利用密鑰協(xié)商協(xié)議獲取組密鑰及用于生成原始數(shù)據(jù)映射函數(shù)的隨機(jī)種子；6[0020]樣本構(gòu)建模塊，用于各參與方利用隨機(jī)種子生成映射函數(shù)，并使用映射函數(shù)將各參與方的本地?cái)?shù)據(jù)集作為原始數(shù)據(jù)映射到相同高維空間，以獲取各參與方對(duì)應(yīng)的高維數(shù)[0021]聯(lián)合訓(xùn)練模塊，用于各參與方利用高維數(shù)據(jù)作為訓(xùn)練樣本，使用隱私保護(hù)的聯(lián)邦SVM算法訓(xùn)練局部模型參數(shù)，并通過(guò)服務(wù)器利用同態(tài)加密運(yùn)算聚合各局部模型參數(shù)，通過(guò)聯(lián)合訓(xùn)練來(lái)獲取最終模型。[0023]本發(fā)明在多個(gè)參與方共同協(xié)商生成組密鑰及隨機(jī)種子，利用隨機(jī)傅里葉特征算法將原始的訓(xùn)練數(shù)據(jù)映射至相同的高維的空間中，并利用隱私保護(hù)的聯(lián)邦SVM訓(xùn)練算法進(jìn)行模型的聯(lián)合訓(xùn)練，以同時(shí)兼顧隱私性及訓(xùn)練速度；并進(jìn)一步，在訓(xùn)練階段使用CKKS同態(tài)加密，保證訓(xùn)練過(guò)程中各參與方模型參數(shù)及參與方貢獻(xiàn)(本地?cái)?shù)據(jù)集大小)的隱私性，并可避免對(duì)時(shí)間開銷較大的同態(tài)乘法的使用，以緩解因引入密碼系統(tǒng)所帶來(lái)的高額時(shí)間開銷。通過(guò)實(shí)驗(yàn)驗(yàn)證，相較于其余聯(lián)邦SVM訓(xùn)練方法，本案方案能夠在保證隱私性的同時(shí)得到無(wú)損的模型精度，具有較深的應(yīng)用價(jià)值。附圖說(shuō)明[0024]圖1為實(shí)施例中基于同態(tài)加密的隱私保護(hù)非線性聯(lián)邦支持向量機(jī)訓(xùn)練流程示意；[0025]圖2為實(shí)施例中使用到的CKKS同態(tài)加密示意；[0026]圖3為實(shí)施例中采用的1個(gè)生成數(shù)據(jù)集Circle的示意示意；[0027]圖4為實(shí)施例中采用的1個(gè)生成數(shù)據(jù)集Moon的示意；[0028]圖5為實(shí)施例中采用的4個(gè)數(shù)據(jù)集上的性能示意。具體實(shí)施方式[0029]為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚、明白，下面結(jié)合附圖和技術(shù)方案對(duì)本發(fā)明作進(jìn)一步詳細(xì)的說(shuō)明。[0030]本發(fā)明實(shí)施例，參見圖1所示，提供一種基于同態(tài)加密的隱私保護(hù)非線性聯(lián)邦支持[0031]S101、各參與方利用密鑰協(xié)商協(xié)議獲取組密鑰及用于生成原始數(shù)據(jù)映射函數(shù)的隨機(jī)種子；[0032]S102、各參與方利用隨機(jī)種子生成映射函數(shù)，并使用映射函數(shù)將各參與方的本地?cái)?shù)據(jù)集作為原始數(shù)據(jù)映射到相同高維空間，以獲取各參與方對(duì)應(yīng)的高維數(shù)據(jù)；[0033]S103、各參與方利用高維數(shù)據(jù)作為訓(xùn)練樣本，使用隱私保護(hù)的聯(lián)邦SVM算法訓(xùn)練局部模型參數(shù)，并通過(guò)服務(wù)器利用同態(tài)加密運(yùn)算聚合各局部模型參數(shù)，通過(guò)聯(lián)合訓(xùn)練來(lái)獲取最終模型。[0034]本案方案在多個(gè)參與方共同協(xié)商生成組密鑰及隨機(jī)種子，利用隨機(jī)傅里葉特征算法將原始的訓(xùn)練數(shù)據(jù)映射至相同的高維的空間中，并利用隱私保護(hù)的聯(lián)邦SVM訓(xùn)練算法進(jìn)[0035]進(jìn)一步地，各參與方采用Burmester-Desmedt協(xié)議作為密鑰協(xié)商協(xié)議進(jìn)行隨機(jī)種子安全協(xié)商，在各參與方得到相同的隨機(jī)種子。參與方通過(guò)將自身公鑰廣播給其他參與方；7[0036]利用Burmester-Desme[0037]步驟1.1:在各參與方本地生成B群；步驟1.5中，組密鑰長(zhǎng)度可采用2048;步驟1.6中，所選用的PRNG可為密碼學(xué)安全的[0046]步驟2.1:使用步驟1中協(xié)商得到的seed設(shè)置并得到隨機(jī)數(shù)生成器random,并設(shè)置8型參數(shù)及參與方貢獻(xiàn)度來(lái)更新當(dāng)前輪次接收的全局模型參數(shù)，并將更新后的全局模型參數(shù)作為該參與方的局部模型參數(shù)，對(duì)局部模型參數(shù)進(jìn)行同態(tài)加密并發(fā)送給服務(wù)器。[0052]同態(tài)加密(HomomorphicEncryption,HE)將原始數(shù)據(jù)經(jīng)過(guò)同態(tài)加密后，對(duì)密文進(jìn)行特定的運(yùn)算，得到的密文計(jì)算結(jié)果；在進(jìn)行同態(tài)解密后，得到的明文等價(jià)于原始明文數(shù)據(jù)直接進(jìn)行相同計(jì)算所得到的數(shù)據(jù)結(jié)果。參見圖2所示，本案實(shí)施例中，在聯(lián)合訓(xùn)練中，可使用CKKS同態(tài)加密來(lái)保證訓(xùn)練過(guò)程中各參與方模型參數(shù)及參與方貢獻(xiàn)度的隱私性；并進(jìn)一步可通過(guò)對(duì)計(jì)算過(guò)程優(yōu)化，來(lái)避免對(duì)時(shí)間開銷較大的同態(tài)乘法的使用，并可緩解因引入密碼系統(tǒng)所帶來(lái)的高額時(shí)間開銷。[0053]使用映射后得到的高維數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)，本案方案中，基于同態(tài)加密并利用隱私保護(hù)的聯(lián)邦SVM算法訓(xùn)練模型的算法可包含客戶端和服務(wù)器兩部分，兩者訓(xùn)練的具體過(guò)程可設(shè)計(jì)為如下步驟：[0056]步驟3.1.2:如果當(dāng)前為客戶端與服務(wù)器的首次交互則從服務(wù)端接收初始化模型[0057]步驟3.1.3:否則，從服務(wù)端接收第t輪迭代的密文模型參數(shù)[w][0058]步驟3.1.4:解密接收到的密文模型參數(shù)w2=Decs([w'])[0059]步驟3.1.5:計(jì)算得到全局模型參數(shù)@3=w1w+2[0060]步驟3.1.6:使用本地?cái)?shù)據(jù)集D訓(xùn)練得到本輪更新的參數(shù)g。[0061]步驟3.1.7:更新模型參數(shù)[0062]步驟3.1.8:隱藏貢獻(xiàn)wt+1=not+1,[0063]步驟3.1.9:對(duì)向量a1進(jìn)行加密c?=Enck(①t+)并發(fā)送給服務(wù)器[0064]步驟3.1.10:直至達(dá)到通信輪數(shù)[0066]步驟3.2.1[0067]步驟3.2.2:接收所有參與方的加密模型參數(shù)c?[0068]步驟3.2.3:使用同態(tài)加法聚合全局模型參數(shù)C=Add(C,c;)[0069]步驟3.2.4:將聚合密文C發(fā)送給各參與方[0070]進(jìn)一步地，基于上述的方法，本發(fā)明實(shí)施例還提供一種基于同態(tài)加密的隱私保護(hù)非線性聯(lián)邦支持向量機(jī)訓(xùn)練系統(tǒng)，包含：密鑰協(xié)商模塊、樣本構(gòu)建模塊及聯(lián)合訓(xùn)練模塊，其[0071]密鑰協(xié)商模塊，用于各參與方利用密鑰協(xié)商協(xié)議獲取組密鑰及用于生成原始數(shù)據(jù)映射函數(shù)的隨機(jī)種子；[0072]樣本構(gòu)建模塊，用于各參與方利用隨機(jī)種子生成映射函數(shù)，并使用映射函數(shù)將各參與方的本地?cái)?shù)據(jù)集作為原始數(shù)據(jù)映射到相同高維空間，以獲取各參與方對(duì)應(yīng)的高維數(shù)[0073]聯(lián)合訓(xùn)練模塊，用于各參與方利用高維數(shù)據(jù)作為訓(xùn)練樣本，使用隱私保護(hù)的聯(lián)邦SVM算法訓(xùn)練局部模型參數(shù)，并通過(guò)服務(wù)器利用同態(tài)加密運(yùn)算聚合各局部模型參數(shù)，通過(guò)聯(lián)9合訓(xùn)練來(lái)獲取最終模型。[0074]為驗(yàn)證本案方案有效性，下面結(jié)合試驗(yàn)數(shù)據(jù)做進(jìn)一步解釋說(shuō)明：[0075]采用兩個(gè)真實(shí)數(shù)據(jù)集Ring、BCD以及兩個(gè)生成數(shù)據(jù)集Moon,Circle來(lái)進(jìn)行仿真實(shí)驗(yàn)，仿真中所用到的生成數(shù)據(jù)集Moon,Circle如圖3,4所示。圖5中反映四個(gè)數(shù)據(jù)集在本案實(shí)現(xiàn)算法與未加隱私保護(hù)的FedAvg算