(19)國(guó)家知識(shí)產(chǎn)權(quán)局(12)發(fā)明專利(10)授權(quán)公告號(hào)CN114625879B(65)同一申請(qǐng)的已公布的文獻(xiàn)號(hào)(73)專利權(quán)人北京工業(yè)大學(xué)地址100124北京市朝陽區(qū)平樂園100號(hào)(72)發(fā)明人范青武王子棟(74)專利代理機(jī)構(gòu)北京思海天達(dá)知識(shí)產(chǎn)權(quán)代理有限公司11203專利代理師劉萍審查員婁貝貝(54)發(fā)明名稱基于自適應(yīng)變分編碼器的短文本聚類方法基于自適應(yīng)變分編碼器的短文本聚類方法涉及文本聚類技術(shù)領(lǐng)域。首先，對(duì)短文本使用sentence-Bert的方法進(jìn)行文本表示；自編碼器將向量轉(zhuǎn)化為低維特征向量，使用K-means方法提取聚類中心；然后，使用聚類中心作為變分自編碼器的期望均值對(duì)于輸入向量進(jìn)行預(yù)訓(xùn)練，轉(zhuǎn)化為滿足以聚類中心為期望均值的分布的特征向量；將特征向量根據(jù)K-means算法構(gòu)建分類器，通過分類后的分布對(duì)分類器與編碼器的權(quán)重進(jìn)行微調(diào)。最后根據(jù)微調(diào)后的編碼器與分類器得到聚類結(jié)果。本發(fā)明能夠很好的處理短文121.基于自適應(yīng)變分編碼器的短文本聚類算法，其特征在于，步驟如下：S1數(shù)據(jù)收集；S2將文本輸入到sentence-Bert中，轉(zhuǎn)化成詞向量；S3使用自編碼器對(duì)詞向量進(jìn)行預(yù)訓(xùn)練，得到降維編碼器；S4使用K-means對(duì)降維后的數(shù)據(jù)進(jìn)行聚類，得到每一文本的聚類標(biāo)簽和聚類中心；S5將文本詞向量使用變分自編碼器進(jìn)行預(yù)訓(xùn)練，使用聚類中心作為期望均值訓(xùn)練編碼器網(wǎng)絡(luò)參數(shù)；S6使用K-means對(duì)預(yù)訓(xùn)練編碼器產(chǎn)生的特征向量做聚類，得到初始的聚類中心；S7使用聚類中心對(duì)向量進(jìn)行軟分配；S8使用輔助目標(biāo)分布，從當(dāng)前的高置信度分配中，學(xué)習(xí)更新預(yù)訓(xùn)練編碼器并重新定義聚類質(zhì)心；在步驟S2中，無需對(duì)數(shù)據(jù)進(jìn)行預(yù)處理操作，使用Sentence-BERT對(duì)文本進(jìn)行向量空間表在步驟S3中，使用自動(dòng)編碼器訓(xùn)練文本向量，對(duì)于轉(zhuǎn)化為的句向量x?∈R";構(gòu)建編碼器對(duì)原始數(shù)據(jù)進(jìn)行編碼：在使用解碼器對(duì)原始數(shù)據(jù)進(jìn)行解碼：損失函數(shù)為最小化重建誤差：其中x、x1和z分別是輸入數(shù)據(jù)、輸出數(shù)據(jù)和潛在變量，f和g分別表示編碼器和解碼器的轉(zhuǎn)化函數(shù)；σ是激活函數(shù)這里選用ReLU(x),W和b是權(quán)重和偏差，其中e和d分別表示編碼器和解碼器；自動(dòng)編碼器往往通過最小化重建誤差，更新網(wǎng)絡(luò)權(quán)重W與偏差b,在完成設(shè)定的迭代次數(shù)t后，得到一個(gè)編碼器f。(x):X∈R"→Z∈R1;t設(shè)置t為10,其中Z是潛在的特征空間，這里的m為上文中提到的輸入句向量的維度384維，1為隱層的維度與聚類文本的聚類目標(biāo)類別k相同，由于聚類類別k小于輸入維度d因此得到降維編碼器f。(x);在步驟S4中，使用K-means作為聚類算法對(duì)降維后的文本z;進(jìn)行聚類；這里采用了歐式距離作為K-means算法的距離度量，K-means的目標(biāo)是旨在選擇集群中的質(zhì)心μ,能夠最小化簇內(nèi)平方和：這一步聚類的目的是找到質(zhì)心μk,和每一條文本對(duì)應(yīng)的文本類別k;通過類別k和質(zhì)心3μk得到每一文本的期望均值記為μ*={μ,μ2,…,μk};經(jīng)過預(yù)處理，得到文本的向量化X,與降維文本的聚類中心μ*;在步驟S7種根據(jù)聚類中心，計(jì)算在特征空間中的Z′每個(gè)數(shù)據(jù)點(diǎn)的軟簇分配；使用單自由度t分布q;;,以測(cè)量嵌入點(diǎn)z'和質(zhì)心k;之間的相似性：2.根據(jù)權(quán)利要求1所述基于自適應(yīng)變分編碼器的短文本聚類算法，其特征在于：止VAE損失函數(shù)中的KL散度消失，共同構(gòu)成SVAE的框架；使用步驟S4中的聚類中心μ*作為VAE的特征分布的期望均值，使p(Z′)變?yōu)槠渲泻停槐硎綛N前后的近似后驗(yàn)；μ?;和o?;表示μ的均值和標(biāo)準(zhǔn)差，為樣本的每個(gè)維度其中t∈(0,1)是一個(gè)常數(shù)，而θ是可訓(xùn)練是一個(gè)可學(xué)習(xí)的參數(shù)。3.根據(jù)權(quán)利要求1所述基于自適應(yīng)變分編碼器的短文本聚類算法，其特征在于：的是作為DEC聚類層的初始權(quán)重；在步驟S7種根據(jù)聚類中心，計(jì)算在特征空間中的Z′每個(gè)數(shù)據(jù)點(diǎn)的軟簇分配；使用單自由度t分布q;;,以測(cè)量嵌入點(diǎn)z'和質(zhì)心k;之間的相似性：4步驟S8:使用輔助分布p;;,提高聚類的純度，并更加強(qiáng)調(diào)具有高可信度的數(shù)據(jù)點(diǎn)；輔助分布P中的概率D.;計(jì)算如下：通過軟分配和目標(biāo)分布匹配來微調(diào)，為此，將目標(biāo)定義為軟分配和輔助分類之間的KL步驟S9:使用隨機(jī)梯度下降來聯(lián)合優(yōu)化簇中心kcnt;與SVAE中的編碼器的參數(shù)θ,每個(gè)樣本和每個(gè)簇中心的梯度計(jì)算如下：使用K-means將作為初始化聚類層的權(quán)重，然后使用高置信度預(yù)測(cè)來確定編碼器并分配類簇，重復(fù)步驟S7與S8,當(dāng)達(dá)到迭代次數(shù)t1達(dá)到2000時(shí)，或類別標(biāo)簽變化率θ小于0.001后，通過取每一樣本在質(zhì)心上軟分配q;;的最大值即可完成對(duì)樣本的分配與聚類；獲得聚類L與Last分別為第i個(gè)文本的標(biāo)簽與上一次的標(biāo)簽，n為樣本總量。5技術(shù)領(lǐng)域[0001]本發(fā)明涉及文本聚類技術(shù)，特別是涉及短文本的聚類以及相應(yīng)的深度算法的構(gòu)建。背景技術(shù)[0002]隨著信息技術(shù)的迅速發(fā)展，各媒體平臺(tái)上產(chǎn)生了海量的短文本數(shù)據(jù)，新聞推薦、用戶調(diào)查、事件檢測(cè)等多個(gè)領(lǐng)域都要求在短文本的數(shù)據(jù)中挖掘出有價(jià)值的信息。相對(duì)于長(zhǎng)文本來說，短文本具有字?jǐn)?shù)少、歧義以及信息不規(guī)范的特點(diǎn)，導(dǎo)致文本特征難以提取和表達(dá)。[0003]短文本中大多數(shù)單詞只出現(xiàn)一次，因此傳統(tǒng)的基于詞頻的向量化方法不能很好的表達(dá)文本特征，稀疏的特征表示帶來了詞共現(xiàn)不足和上下文信息缺乏的問題。為了解決這語料庫進(jìn)行訓(xùn)練，使用高維向量表示文本，這一定程度上豐富了短文本的特征，解決了文本向量稀疏的問題，但是也給聚類算法提出了更高的要求。[0004]長(zhǎng)期建立的聚類方法如K-means和高斯混合模型(GaussianMixtureModel,GMM)在低維數(shù)據(jù)空間中表現(xiàn)較好，但對(duì)于高維數(shù)據(jù)空間效果較差。另一方面，深度神經(jīng)網(wǎng)絡(luò)作為一種有效特征嵌入的方法，可以將向量化的文本數(shù)據(jù)映射到低維的可分離的表示空間，降低了文本聚類算法的難度。[0005]深度嵌入式聚類DEC便將聚類與深度嵌入學(xué)習(xí)相結(jié)合。它是Xie在2016年提出一種用深度神經(jīng)網(wǎng)絡(luò)同時(shí)學(xué)習(xí)特征表示和聚類分配的方法。DEC將數(shù)據(jù)從原始空間映射到低維特征空間，進(jìn)行聚類軟分配后，迭代優(yōu)化聚類目標(biāo)，這也成為深度嵌入聚類的beseline算法。但是DEC在進(jìn)行深度嵌入時(shí)一般使用的是自編碼器(Autoencoder,AE),自編碼器采用最小化輸出與輸入的均方差(MeanSquaredError,MSE)損失來優(yōu)化網(wǎng)絡(luò)參數(shù)?？梢缘玫桨紨?shù)據(jù)信息的低維特征向量，但因?yàn)闆]有對(duì)表征空間做規(guī)范，容易打亂數(shù)據(jù)的分布，造成不同的類在表示空間中交叉、重疊的現(xiàn)象。發(fā)明內(nèi)容[0006]為解決上述提到的問題，本發(fā)明提出了一種基于自適應(yīng)變分編碼器的短文本聚類方法，目的是將能將文本向量化的高維特征轉(zhuǎn)化成低維可分離特征，從而將語義相似的短文本準(zhǔn)確的聚類。[0007]基于自適應(yīng)變分編碼器的短文本聚類算法，該方法的步驟如下：[0008]S1數(shù)據(jù)收集；[0009]S2將文本輸入到sen[0010]S3使用自編碼器對(duì)詞向量進(jìn)行預(yù)訓(xùn)練，得到降維編碼器；[0011]S4使用K-means對(duì)降維后的數(shù)據(jù)進(jìn)行聚類，得到每一文本的聚類標(biāo)簽和聚類中心；[0012]S5將文本詞向量使用變分自編碼器進(jìn)行預(yù)訓(xùn)練，使用聚類中心作為期望均值訓(xùn)練編碼器網(wǎng)絡(luò)參數(shù)；6[0013]S6使用K-means對(duì)預(yù)訓(xùn)練編碼器產(chǎn)生的特征向量做聚類，得到初始的聚類中心；[0014]S7使用聚類中心對(duì)向量進(jìn)行軟分配；[0015]S8使用輔助目標(biāo)分布，從當(dāng)前的高置信度分配中，學(xué)習(xí)更新預(yù)訓(xùn)練編碼器并重新定義聚類質(zhì)心；[0016]S9重復(fù)S7、S8,滿足收附圖說明[0017]圖1為基于自適應(yīng)變分自編碼器的短文本聚類算法具體細(xì)節(jié)示意圖。[0018]圖2為基于自適應(yīng)變分自編碼器的短文本聚類算法的流程圖。具體實(shí)施方式[0019]本發(fā)明提出一種基于自適應(yīng)變分自編碼器的短文本聚類算法，方法的主要流程如附圖1所示：[0020]結(jié)合附圖1詳細(xì)說明本發(fā)明的具體實(shí)施方式：[0021]步驟S1,抽取文本數(shù)據(jù)集。從微博平臺(tái)上抽取微博源文本，構(gòu)建短文本的語料庫D={(s,1)|1≤i≤n},其中n為語料庫D的文本數(shù)目。S={s?,S?,...,s}表示所有文本的文字表示。L={1?,12,...,1}表明真實(shí)標(biāo)簽與s,相對(duì)應(yīng)。這里由于采用無監(jiān)督聚類的方式，標(biāo)簽只用于最后結(jié)果的評(píng)價(jià)，不參與模型訓(xùn)練過程。[0022]步驟S2,無需對(duì)文本數(shù)據(jù)進(jìn)行預(yù)處理操作，使用Sentence-BERT對(duì)文本進(jìn)行向量空成的句向量維度由采用的模型決定，這里采用模型維度為384。[0023]步驟S3,使用自動(dòng)編碼器訓(xùn)練文本向量，對(duì)于轉(zhuǎn)化為的句向量x?∈R"。構(gòu)建編碼器對(duì)原始數(shù)據(jù)進(jìn)行編碼：[0025]在使用解碼器對(duì)原始數(shù)據(jù)進(jìn)行解碼：[0027]損失函數(shù)為最小化重建誤差：[0029]其中x、x;和z分別是輸入數(shù)據(jù)、輸出數(shù)據(jù)和潛在變量，f。和g分別表示編碼器和解碼器的轉(zhuǎn)化函數(shù)。是激活函數(shù)這里選用ReLU(x),W和b是權(quán)重和偏差，其中e和d分別表示編碼器和解碼器。[0030]自動(dòng)編碼器往往通過最小化重建誤差，更新網(wǎng)絡(luò)權(quán)重W與偏差b,在完成設(shè)定的迭10,其中Z是潛在的特征空間，這里的m為上文中提到的輸入句向量的維度384維，1為隱層的維度與聚類文本的聚類目標(biāo)類別k相同，由于聚類類別k小于輸入維度d因此得到降維編碼器f。(x)。7距離作為K-means算法的距離度量，K-means的目標(biāo)是旨在選擇集群中的質(zhì)心μ,能夠最小[0034]步驟S5,采用深度自編碼器的網(wǎng)絡(luò)的配置加深變分自編碼器的網(wǎng)絡(luò)層數(shù)。使用期q。(Z′|X),該變分分布由一個(gè)復(fù)雜的神經(jīng)網(wǎng)絡(luò)參數(shù)來逼近真實(shí)后驗(yàn)分布，優(yōu)化證據(jù)下界(EvidenceLowerBound,ELBO)的logp(X):[0041]VAE損失函數(shù)的第二項(xiàng)是和普通自編碼器的差別，這里的根據(jù)數(shù)據(jù)集進(jìn)行改進(jìn)也[0042]本發(fā)明通過推理網(wǎng)絡(luò)μ的輸出應(yīng)用一個(gè)固定的批處理化(Batc8[0044]其中食和食；表示BN前后的近似后驗(yàn)。μ?和σ?表示μ?的均值和標(biāo)準(zhǔn)差[0046]其中t∈(0,1)是一個(gè)常數(shù)，本發(fā)明取τ=0.5,而θ是可訓(xùn)練參數(shù)。這樣μ的分布的[0047]改進(jìn)的變分自編碼器本發(fā)明稱之為自適應(yīng)變分自編碼器SVAE,經(jīng)過SVAE的預(yù)訓(xùn)練了非線性映射f(X):X∈R→Z′∈R°,這里的數(shù)據(jù)維度c與自編碼器隱層中的數(shù)據(jù)維度相同，這里的設(shè)定參考聚類類別數(shù)目k。[0048]步驟S6:使用K-means對(duì)表征空間的特征Z′進(jìn)行聚類，得到聚類中心，該步的目的是作為DEC聚類層的初始權(quán)重。[0049]步驟S7:使用K-means的聚類中心，計(jì)算在特征空間中的Z′每個(gè)數(shù)據(jù)點(diǎn)的軟簇分配。使用單自由度t分布q;;,以測(cè)量嵌入點(diǎn)z'和質(zhì)心k;之間的相似性：取1。而q;;可解釋為將樣本i分配給聚類j的概率(即軟分配)。[0052]步驟S8:使用輔助分布p,提高聚類的純度，并更加強(qiáng)調(diào)具有高可信度的數(shù)據(jù)點(diǎn)。輔助分布P中的概率p;計(jì)算如下：[0054]通過軟分配和目標(biāo)分布匹配來微調(diào)，為此，本文將目標(biāo)定義為軟分配和輔助分類之間的KL散度所示，如下所示：[0056]步驟S9:使用隨機(jī)梯度下降(SGD)來聯(lián)合優(yōu)化簇中心k;與SVAE中的編碼器的參數(shù)θ,每個(gè)樣本和每個(gè)簇中心的梯度計(jì)算如下：9[0059]使用K-means將作為初始化聚類層的權(quán)重，然后使用高置信度預(yù)測(cè)來確定編碼器并分配類簇，重復(fù)步驟S7與S8,當(dāng)達(dá)到迭代次數(shù)t1達(dá)到2000時(shí)，或類別標(biāo)簽變化率θ小于0.001后，通過取每一樣本在質(zhì)心上軟分配q;;的最大值即可完成對(duì)樣本的分配與聚類。獲得[0061]L與Llast分別為第i個(gè)文本的標(biāo)簽與上一次的標(biāo)簽，n為樣本總量。[0062]實(shí)驗(yàn)設(shè)置：本發(fā)明驗(yàn)證所采用的硬件環(huán)境為但不限于此：CPU為InterXeon4210R,主頻為2.4GHz,內(nèi)存使用64GB內(nèi)存，顯卡使用兩張NVIDIAGeforeRTX3060,操作系統(tǒng)為windows10.本發(fā)明使用了Sentence-BERT中的通用句子轉(zhuǎn)換庫，來實(shí)現(xiàn)了通用數(shù)據(jù)集的文本向量表示(paraphrase-multilingual-MiniLM-L12-v2),該模型最大序列程度為128,可以將文本裝換成384維的向量，模型大小為384MB,其使基于paraphrase-MiniLM-L12-v2模型的多語言版，針對(duì)50多種語言的并行數(shù)據(jù)進(jìn)行訓(xùn)練，主要在Al1NLI,sentence-compression,SimpleWiki,等多個(gè)數(shù)據(jù)集上訓(xùn)練。本發(fā)明在預(yù)訓(xùn)練過程中使用了Adam優(yōu)化(KingmaandBa,2015),batch_size設(shè)置為64,預(yù)訓(xùn)練代數(shù)epoch設(shè)置為15,在預(yù)訓(xùn)練時(shí)采用的SAE上的編碼器使用了[500,500,2000,20]的網(wǎng)絡(luò)結(jié)構(gòu)，解碼器于其正好相反，在正式訓(xùn)練時(shí)的VAE中也有相同的部分。并在DEC中的訓(xùn)學(xué)習(xí)率，設(shè)置了0.9的衰減率，最大的迭代次數(shù)為1500,batchsize與預(yù)訓(xùn)練時(shí)采用了相同的配置。[0063]實(shí)驗(yàn)使用數(shù)據(jù)集包含四個(gè)短文本聚類的英文數(shù)據(jù)集，與一個(gè)中文數(shù)據(jù)集：[0064](1)SearchSnippets:一個(gè)網(wǎng)頁搜索片段的文本集合，包含了8個(gè)不同主題的分類。(2)Stackoverflow:一個(gè)問答網(wǎng)站帖子的集合，曾作為kaggle挑戰(zhàn)的數(shù)據(jù)集。該數(shù)據(jù)集包含了20個(gè)不同類別中選擇的問題標(biāo)題。(3)Biomedical:PubMed數(shù)據(jù)集中的一個(gè)子集，其中從20組中隨機(jī)選取了20000篇論文標(biāo)題。(4)Tweet:由2472條Tweet數(shù)據(jù)，有89個(gè)類別。(5)本文使用了ChineseNEWS中文輿情數(shù)據(jù)集，是實(shí)際項(xiàng)目中使用的數(shù)據(jù)集，找尋了2017～2019年的6個(gè)典型的事件，通過事件關(guān)鍵詞對(duì)相應(yīng)的微博進(jìn)行爬取，本文從每個(gè)事件中隨機(jī)抽取2000條數(shù)據(jù)，獲得總量為12000條數(shù)據(jù)集。為保證數(shù)據(jù)集的可靠性，通標(biāo)抽取出第7個(gè)事件“微博之夜”與一些和事件無關(guān)的文本為第8個(gè)類別，因此本文總共獲得8個(gè)類別的數(shù)據(jù)集。[0065]本發(fā)明與下面聚類算法做對(duì)比：[0066](1)Bow&TF-IDF:通過詞語的頻率對(duì)句子進(jìn)行向量化計(jì)算，將句子轉(zhuǎn)換維度為1500維的向量，并應(yīng)用K-means算法進(jìn)行聚類評(píng)估；(2)Sentence-BERT(SBERT):通過Sentence-BERT,將文本轉(zhuǎn)化為384維的向量，這也是本文使用的文本向量化方法，并應(yīng)用K-means算法做聚類評(píng)估；(3)VaDE:將高斯混合模型與變分自編碼器結(jié)合起來的產(chǎn)物。與本發(fā)明有相似的理念，都先通過自編碼器進(jìn)行與訓(xùn)練，不同之處在于其通過GMM來得到數(shù)據(jù)的初始先驗(yàn)，最后通過編碼、解碼、反向更新參數(shù)，最后完成對(duì)數(shù)據(jù)的特征嵌入與聚類；(4)STC2:有三個(gè)獨(dú)立的階段組成，對(duì)于每個(gè)數(shù)據(jù)集，它首先使用word2Vec方法預(yù)訓(xùn)練在大型語料庫嵌入的單詞。然后優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)以進(jìn)一步豐富表示，將語句放入K-means中進(jìn)行最后階段的聚類；(5)Self-Train:利用SIF增強(qiáng)了Xu等人的與訓(xùn)練詞嵌入，跟隨Xie等人使用了深度嵌入的聚類算法，是一種通過分層與訓(xùn)練獲得的自動(dòng)編碼器，然后進(jìn)一步對(duì)其進(jìn)行調(diào)優(yōu)；(6)SCCL:模型由三個(gè)組件組成，對(duì)于每個(gè)數(shù)據(jù)集，數(shù)據(jù)包括原始數(shù)據(jù)和擴(kuò)充數(shù)據(jù)，在經(jīng)過一個(gè)神經(jīng)網(wǎng)絡(luò)將輸入數(shù)據(jù)映射到表示空間，分別應(yīng)用對(duì)比損失和聚類損失來優(yōu)化編碼器的參實(shí)驗(yàn)結(jié)果如表1所示。表格1文本聚類結(jié)果ChineseNEWSSearchS