(19)國家知識產(chǎn)權(quán)局63/177,2532021.04.20US(71)申請人瞻博網(wǎng)絡(luò)公司地址美國加利福尼亞州H04LH04LH04LH04L具有使用ML模型的主動分析和關(guān)聯(lián)引擎的本公開的實施例涉及具有使用ML模型的主管理系統(tǒng)處理從AP設(shè)備接收到的網(wǎng)絡(luò)事件數(shù)據(jù)事件類型的針對預(yù)期發(fā)生的最小(MIN)閾值和最大(MAX)閾值，其中MIN閾值和MAX閾值定義針對確定針對事件類型中的每種事件類型的網(wǎng)絡(luò)事的預(yù)測發(fā)生計數(shù)和動態(tài)地確定的最小閾值和最148A12一個或多個處理器，所述一個或多個處理器被耦合到所述存儲器并且被配置為：將無監(jiān)督機(jī)器學(xué)習(xí)模型應(yīng)用于網(wǎng)絡(luò)事件數(shù)據(jù)，以確定觀察期期間的一種或多種事件類型中的第一事件類型的網(wǎng)絡(luò)事件的預(yù)測發(fā)生測量；基于所述觀察期期間的觀察到的網(wǎng)絡(luò)事件數(shù)據(jù)來確定預(yù)測誤差，所述預(yù)測誤差指示所述預(yù)測發(fā)生測量與所述第一事件類型的網(wǎng)絡(luò)事件的觀察到的發(fā)生測量之間的差異；以及基于所述預(yù)測誤差在針對所述第一事件類型的網(wǎng)絡(luò)事件的閾值發(fā)生范圍之外來檢測異常網(wǎng)絡(luò)行為。2.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中所述無監(jiān)督機(jī)器學(xué)習(xí)模型已經(jīng)使用未標(biāo)記的訓(xùn)練數(shù)據(jù)被訓(xùn)練，所述未標(biāo)記的訓(xùn)練數(shù)據(jù)包括網(wǎng)絡(luò)事件數(shù)據(jù)，所述網(wǎng)絡(luò)事件數(shù)據(jù)在具有不同時間原點的多個重疊時間窗期間被觀察到，并且利用針對所述一種或多種事件類型的網(wǎng)絡(luò)事件的閾值發(fā)生范圍被增強(qiáng)。3.根據(jù)權(quán)利要求2所述的系統(tǒng)，其中所述一個或多個處理器還被配置為基于在具有不同時間原點的所述多個重疊時間窗期間被觀察到的所述網(wǎng)絡(luò)事件數(shù)據(jù)來確定定義針對所述一種或多種事件類型的網(wǎng)絡(luò)事件的所述閾值發(fā)生范圍的最小閾值和最大閾值。4.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中為了確定所述最小閾值和所述最大閾值，所述一個或多個處理器還被配置為：針對所述多個重疊時間窗中的每個時間窗，確定針對所述一種或多種事件類型中的每種事件類型的網(wǎng)絡(luò)事件的發(fā)生測量；針對每種事件類型，將所述最大閾值確定為針對所述多個重疊時間窗中的任何時間窗期間的相應(yīng)的所述事件類型的所述網(wǎng)絡(luò)事件的最大發(fā)生測量；以及針對每種事件類型，將所述最小閾值確定為針對所述多個重疊時間窗中的任何時間窗期間的相應(yīng)的所述事件類型的所述網(wǎng)絡(luò)事件的最小發(fā)生測量。5.根據(jù)權(quán)利要求1至4中的任一項所述的系統(tǒng)，其中所述一個或多個處理器還被配置基于檢測到所述異常網(wǎng)絡(luò)行為來執(zhí)行對觀察到的所述網(wǎng)絡(luò)事件數(shù)據(jù)的根本原因分析；以及基于所述異常網(wǎng)絡(luò)行為的一個或多個標(biāo)識的根本原因來確定補(bǔ)救動作。由計算系統(tǒng)將無監(jiān)督機(jī)器學(xué)習(xí)模型應(yīng)用于網(wǎng)絡(luò)事件數(shù)據(jù)，以確定觀察期期間的一種或多種事件類型中的第一事件類型的網(wǎng)絡(luò)事件的預(yù)測發(fā)生測量；由所述計算系統(tǒng)基于所述觀察期期間的觀察到的網(wǎng)絡(luò)事件數(shù)據(jù)來確定預(yù)測誤差，所述預(yù)測誤差指示所述預(yù)測發(fā)生測量與所述第一事件類型的網(wǎng)絡(luò)事件的觀察到的發(fā)生測量之由所述計算系統(tǒng)基于所述預(yù)測誤差在針對所述第一事件類型的網(wǎng)絡(luò)事件的閾值發(fā)生范圍之外來檢測異常網(wǎng)絡(luò)行為。7.根據(jù)權(quán)利要求6所述的方法，其中所述無監(jiān)督機(jī)器學(xué)習(xí)模型已經(jīng)使用未標(biāo)記的訓(xùn)練數(shù)據(jù)被訓(xùn)練，所述未標(biāo)記的訓(xùn)練數(shù)據(jù)包括網(wǎng)絡(luò)事件數(shù)據(jù)，所述網(wǎng)絡(luò)事件數(shù)據(jù)在具有不同時3間原點的多個重疊時間窗期間被觀察到，并且利用針對所述一種或多種事件類型的網(wǎng)絡(luò)事件的閾值發(fā)生范圍被增強(qiáng)。8.根據(jù)權(quán)利要求7所述的方法，還包括基于在具有不同時間原點的所述多個重疊時間窗期間被觀察到的所述網(wǎng)絡(luò)事件數(shù)據(jù)來確定定義針對所述一種或多種事件類型的網(wǎng)絡(luò)事件的所述閾值發(fā)生范圍的最小閾值和最大閾值。9.根據(jù)權(quán)利要求8所述的方法，其中確定所述最小閾值和所述最大閾值還包括：針對所述多個重疊時間窗中的每個時間窗，確定針對所述一種或多種事件類型中的每種事件類型的網(wǎng)絡(luò)事件的發(fā)生測量；針對每種事件類型，將所述最大閾值確定為針對所述多個重疊時間窗中的任何時間窗期間的相應(yīng)的所述事件類型的所述網(wǎng)絡(luò)事件的最大發(fā)生測量；以及針對每種事件類型，將所述最小閾值確定為針對所述多個重疊時間窗中的任何時間窗期間的相應(yīng)的所述事件類型的所述網(wǎng)絡(luò)事件的最小發(fā)生測量。10.根據(jù)權(quán)利要求6至9中的任一項所述的方法，還包括：基于檢測到所述異常網(wǎng)絡(luò)行為來執(zhí)行對觀察到的所述網(wǎng)絡(luò)事件數(shù)據(jù)的根本原因分析；以及基于所述異常網(wǎng)絡(luò)行為的一個或多個標(biāo)識的根本原因來確定補(bǔ)救動作。11.一種計算機(jī)可讀存儲介質(zhì)，所述計算機(jī)可讀存儲介質(zhì)利用指令而被編碼，所述指令用于使得一個或多個可編程處理器：將無監(jiān)督機(jī)器學(xué)習(xí)模型應(yīng)用于網(wǎng)絡(luò)事件數(shù)據(jù)，以確定觀察期期間的一種或多種事件類型中的第一事件類型的網(wǎng)絡(luò)事件的預(yù)測發(fā)生測量；基于所述觀察期期間的觀察到的網(wǎng)絡(luò)事件數(shù)據(jù)來確定預(yù)測誤差，所述預(yù)測誤差指示所述預(yù)測發(fā)生測量與所述第一事件類型的網(wǎng)絡(luò)事件的觀察到的發(fā)生測量之間的差異；以及基于所述預(yù)測誤差在針對所述第一事件類型的網(wǎng)絡(luò)事件的閾值發(fā)生范圍之外來檢測異常網(wǎng)絡(luò)行為。12.根據(jù)權(quán)利要求11所述的計算機(jī)可讀介質(zhì)，其中所述無監(jiān)督機(jī)器學(xué)習(xí)模型已經(jīng)使用未標(biāo)記的訓(xùn)練數(shù)據(jù)被訓(xùn)練，所述未標(biāo)記的訓(xùn)練數(shù)據(jù)包括網(wǎng)絡(luò)事件數(shù)據(jù)，所述網(wǎng)絡(luò)事件數(shù)據(jù)在具有不同時間原點的多個重疊時間窗期間被觀察到，并且利用針對所述一種或多種事件類型的網(wǎng)絡(luò)事件的閾值發(fā)生范圍被增強(qiáng)。13.根據(jù)權(quán)利要求12所述的計算機(jī)可讀介質(zhì)，其中所述指令還使得所述一個或多個可編程處理器基于在具有不同時間原點的所述多個重疊時間窗期間被觀察到的所述網(wǎng)絡(luò)事件數(shù)據(jù)來確定定義針對所述一種或多種事件類型的網(wǎng)絡(luò)事件的所述閾值發(fā)生范圍的最小閾值和最大閾值。14.根據(jù)權(quán)利要求11所述的計算機(jī)可讀介質(zhì)，其中為了確定所述最小閾值和所述最大閾值，所述指令還使得所述一個或多個可編程處理器：針對所述多個重疊時間窗中的每個時間窗，確定針對所述一種或多種事件類型中的每種事件類型的網(wǎng)絡(luò)事件的發(fā)生測量；針對每種事件類型，將所述最大閾值確定為針對所述多個重疊時間窗中的任何時間窗期間的相應(yīng)的所述事件類型的所述網(wǎng)絡(luò)事件的最大發(fā)生測量；以及針對每種事件類型，將所述最小閾值確定為針對所述多個重疊時間窗中的任何時間窗4期間的相應(yīng)的所述事件類型的所述網(wǎng)絡(luò)事件的最小發(fā)生測量。15.根據(jù)權(quán)利要求11至14中的任一項所述的計算機(jī)可讀介質(zhì)，其中所述指令還使得所述一個或多個可編程處理器：基于檢測到所述異常網(wǎng)絡(luò)行為來執(zhí)行對觀察到的所述網(wǎng)絡(luò)事件數(shù)據(jù)的根本原因分析；以及基于所述異常網(wǎng)絡(luò)行為的一個或多個標(biāo)識的根本原因來確定補(bǔ)救動作。5[0002]本申請是申請日為2021年7月28日、申請?zhí)枮?02110857663.5、名稱為“具有使用ML模型的主動分析和關(guān)聯(lián)引擎的虛擬網(wǎng)絡(luò)助理”的中國發(fā)明專利申請的分案申請。[0003]本申請要求2021年5月24日所提交的美國申請第17/303,222號和2021年4月20日所提交的美國臨時專利申請第63/177,253號的權(quán)益，這些申請中的每個的全部內(nèi)容通過引用并入本文。技術(shù)領(lǐng)域[0004]本公開大體上涉及計算機(jī)網(wǎng)絡(luò)，并且更具體地，涉及計算機(jī)網(wǎng)絡(luò)和網(wǎng)絡(luò)系統(tǒng)的基于機(jī)器學(xué)習(xí)的診斷。背景技術(shù)[0005]無線接入網(wǎng)絡(luò)利用無線接入點(AP)的網(wǎng)絡(luò)，這些無線接入點是物理電子設(shè)備，這些物理電子設(shè)備使得其他設(shè)備能夠使用各種無線聯(lián)網(wǎng)協(xié)議和技術(shù)(諸如符合IEEE802.11標(biāo)準(zhǔn)(即“WiFi”)、藍(lán)牙/藍(lán)牙低功耗(BLE)、網(wǎng)格聯(lián)網(wǎng)協(xié)議(諸如ZigBee)中的一個或多個的無線局域聯(lián)網(wǎng)協(xié)議或其他無線聯(lián)網(wǎng)技術(shù)),來無線地連接到有線網(wǎng)絡(luò)。許多不同類型的設(shè)備了無線通信技術(shù)，并且可以被配置為在設(shè)備處于兼容的無線接入點的范圍內(nèi)時連接到無線[0006]無線接入網(wǎng)絡(luò)和一般的計算機(jī)網(wǎng)絡(luò)是復(fù)雜的系統(tǒng)，這些系統(tǒng)可能經(jīng)歷瞬態(tài)和/或永久性問題。一些問題可能導(dǎo)致明顯的系統(tǒng)性能下降，而其他問題可能自行解決，而不會顯著地影響如用戶所感知的系統(tǒng)級性能。一些問題在高負(fù)載下可能被預(yù)期且接受，并且一旦負(fù)載減弱，自我修復(fù)機(jī)制(諸如重試等)可能使問題消失。發(fā)明內(nèi)容[0007]大體上，本公開描述了使得虛擬網(wǎng)絡(luò)助理(VNA)能夠執(zhí)行主動分析和關(guān)聯(lián)引擎(PACE)的技術(shù)，該主動分析和關(guān)聯(lián)引擎被配置為動態(tài)地構(gòu)建和應(yīng)用無監(jiān)督的基于機(jī)器學(xué)習(xí)(“基于ML”)的模型以用于減少或最小化在網(wǎng)絡(luò)診斷上所花費的資源。如本文中所描述，技術(shù)使得主動分析和關(guān)聯(lián)引擎能夠?qū)o監(jiān)督的基于ML的模型應(yīng)用于收集到的網(wǎng)絡(luò)事件數(shù)據(jù)，以確定網(wǎng)絡(luò)事件數(shù)據(jù)是否表示可以自我校正的預(yù)期瞬態(tài)的網(wǎng)絡(luò)誤差或需要被虛擬網(wǎng)絡(luò)助理進(jìn)一步分析的異常行為，以便支持對網(wǎng)絡(luò)系統(tǒng)中的底層故障的解決。[0008]此外，這些技術(shù)通過利用被劃分為時間序列子組的滑動窗口的實時網(wǎng)絡(luò)數(shù)據(jù)以用于動態(tài)計算針對在定義的時間段內(nèi)的各種類型的網(wǎng)絡(luò)事件的預(yù)期范圍(最小/最大預(yù)期發(fā)訓(xùn)練，以基于作為訓(xùn)練數(shù)據(jù)的實際網(wǎng)絡(luò)事件數(shù)據(jù)預(yù)測針對網(wǎng)絡(luò)事件的發(fā)生級別，該實際網(wǎng)絡(luò)事件數(shù)據(jù)使用針對不同類型的網(wǎng)絡(luò)事件的動態(tài)地確定的預(yù)期范圍被增強(qiáng)。網(wǎng)絡(luò)管理系統(tǒng)6(NMS)的PACE將(多個)基于ML的模型應(yīng)用于從網(wǎng)絡(luò)系統(tǒng)所接收到的網(wǎng)絡(luò)事件數(shù)據(jù)(不包括最近觀察時間幀),且操作以預(yù)測針對各種類型的網(wǎng)絡(luò)事件的被預(yù)期在當(dāng)前觀察時間幀期間被看見的發(fā)生級別以及針對每種類型網(wǎng)絡(luò)事件的估計(預(yù)測)最小和最大閾值，即針對每種類型的網(wǎng)絡(luò)事件的發(fā)生次數(shù)的預(yù)測容限范圍。在確定當(dāng)前觀察期內(nèi)對網(wǎng)絡(luò)事件數(shù)據(jù)的真實觀察偏離超出了由該時期內(nèi)由模型估計(預(yù)測)的最小和/或最大閾值設(shè)置的范圍后，主動分析和關(guān)聯(lián)引擎將那些網(wǎng)絡(luò)事件標(biāo)記為指示異常行為，從而觸發(fā)更詳細(xì)的根本原因分[0009]本公開的技術(shù)提供了一個或多個技術(shù)優(yōu)點和實際應(yīng)用。例如，技術(shù)實現(xiàn)自動化虛擬網(wǎng)絡(luò)助理，這些自動化虛擬網(wǎng)絡(luò)助理可以確定哪些網(wǎng)絡(luò)問題應(yīng)該被分析和哪些問題應(yīng)該被視為瞬態(tài)問題，這些瞬態(tài)問題可以被自行解決且因此無需花費附加的計算資源而被忽[0010]為確保復(fù)雜的計算機(jī)網(wǎng)絡(luò)滿足其用戶群體的需求，網(wǎng)絡(luò)管理者尋求快速解決系統(tǒng)操作期間可能出現(xiàn)的任何問題。另一方面，分析網(wǎng)絡(luò)且試圖找出每一個問題的根本原因會導(dǎo)致計算資源的浪費，這是因為系統(tǒng)會在網(wǎng)絡(luò)分析器的結(jié)果變得可用之前或緊接之后例如通過重試機(jī)制過度分析已經(jīng)被整流的問題的根本原因。[0011]進(jìn)一步地，為了實現(xiàn)某些技術(shù)效率，技術(shù)實現(xiàn)基于無監(jiān)督的基于ML的模型的自動化虛擬網(wǎng)絡(luò)助理，從而減少和/或消除將每個消息流和統(tǒng)計加標(biāo)簽為表示“良好/正?！毕0012]在一個示例中，本公開涉及一種方法，其包括：接收指示網(wǎng)絡(luò)的操作行為的網(wǎng)絡(luò)事件數(shù)據(jù)，其中網(wǎng)絡(luò)事件數(shù)據(jù)定義一種或多種事件類型的一系列網(wǎng)絡(luò)事件；針對每種事件類型且基于網(wǎng)絡(luò)事件數(shù)據(jù)動態(tài)地確定對應(yīng)最小(MIN)和最大(MAX)閾值，這些閾值定義針對網(wǎng)絡(luò)事件的預(yù)期發(fā)生范圍。方法還包括：基于網(wǎng)絡(luò)事件數(shù)據(jù)和針對每種事件類型的動態(tài)地確定的最小閾值和最大閾值構(gòu)建無監(jiān)督機(jī)器學(xué)習(xí)模型，而不需要對網(wǎng)絡(luò)事件數(shù)據(jù)的網(wǎng)絡(luò)事件中的每個網(wǎng)絡(luò)事件進(jìn)行標(biāo)記；以及在構(gòu)建無監(jiān)督機(jī)器學(xué)習(xí)模型之后，使用該機(jī)器學(xué)習(xí)模型處理附加網(wǎng)絡(luò)事件數(shù)據(jù)，以針對事件類型中的每種事件類型確定網(wǎng)絡(luò)事件的預(yù)測發(fā)生計數(shù)。方法還包括基于預(yù)測發(fā)生計數(shù)和針對每種事件類型的動態(tài)地確定的最小閾值和最大閾值將網(wǎng)絡(luò)事件中的一個或多個網(wǎng)絡(luò)事件標(biāo)識為指示異常網(wǎng)絡(luò)行為。[0013]在另一示例中，本公開涉及一種管理無線網(wǎng)絡(luò)中的一個或多個接入點(AP)設(shè)備的該網(wǎng)絡(luò)事件數(shù)據(jù)指示無線網(wǎng)絡(luò)的操作行為，并且其中網(wǎng)絡(luò)事件數(shù)據(jù)定義隨時間變化的一種或多種事件類型的一系列網(wǎng)絡(luò)事件。NMS被配置為將無監(jiān)督機(jī)器學(xué)習(xí)模型應(yīng)用于網(wǎng)絡(luò)事件數(shù)據(jù)，以針對觀察時間段中的最近一個觀察時間段確定以下各項：(i)針對事件類型中的每種事件類型的網(wǎng)絡(luò)事件的預(yù)測發(fā)生計數(shù)，以及(ii)針對每種事件類型的估計最小(MIN)閾值和估計最大(MAX)閾值，其中MIN閾值和MAX閾值定義針對對應(yīng)事件類型的網(wǎng)絡(luò)事件的預(yù)期發(fā)生范圍；以及基于估計最小閾值和估計最大閾值以及針對觀察時間段中的最近一個觀察時間段的實際網(wǎng)絡(luò)事件數(shù)據(jù)，將網(wǎng)絡(luò)事件中的一個或多個網(wǎng)絡(luò)事件標(biāo)識為指示異常網(wǎng)絡(luò)行為。7附圖說明[0014]圖1是示例網(wǎng)絡(luò)系統(tǒng)的框圖，其中虛擬網(wǎng)絡(luò)助理(VNA)執(zhí)行主動分析和關(guān)聯(lián)引擎(PACE),該主動分析和關(guān)聯(lián)引擎被配置為動態(tài)地構(gòu)建和應(yīng)用無監(jiān)督的基于ML的模型以供網(wǎng)絡(luò)診斷。[0015]圖2是根據(jù)本公開的一種或多種技術(shù)的示例接入點設(shè)備的框圖。[0016]圖3是根據(jù)本公開的一種或多種技術(shù)的具有被配置為執(zhí)行PACE的VNA的示例網(wǎng)絡(luò)管理系統(tǒng)的框圖，該P(yáng)ACE被配置為動態(tài)地構(gòu)建和應(yīng)用無監(jiān)督的基于ML的模型以供網(wǎng)絡(luò)診[0017]圖4是根據(jù)本公開的一種或多種技術(shù)的示例網(wǎng)絡(luò)節(jié)點(諸如路由器或交換機(jī))的框[0018]圖5是根據(jù)本公開的一種或多種技術(shù)的示例用戶裝備設(shè)備的框圖。[0019]圖6圖示了示例網(wǎng)絡(luò)事件表。[0020]圖7圖示了被用于測量與每個網(wǎng)絡(luò)事件計數(shù)器相關(guān)聯(lián)的可變性的時間窗。[0021]圖8圖示了用于估計網(wǎng)絡(luò)事件計數(shù)器的預(yù)期可變性和邊界的過程的流程圖。[0022]圖9圖示了包括動態(tài)邊界的VPE計數(shù)器的值的時間序列。[0023]圖10圖示了包括動態(tài)邊界的確定的VPE計數(shù)器的值的時間序列。[0024]圖11示出了示出系統(tǒng)的行為模型的訓(xùn)練的示例圖。[0026]圖13示出了預(yù)測誤差的直方圖的示例。[0027]圖14圖示了用于構(gòu)建網(wǎng)絡(luò)事件行為模型的流程圖，包括確保模型排除異常行為。[0028]圖15圖示了當(dāng)VPE預(yù)測誤差超過動態(tài)邊界段時所觸發(fā)的過程的流程圖。具體實施方式[0029]如本文中所描述，商業(yè)場所(諸如辦公室、醫(yī)院、機(jī)場、體育場或零售店)通常在整個房屋內(nèi)安裝復(fù)雜的無線網(wǎng)絡(luò)系統(tǒng)，包括無線接入點(AP)的網(wǎng)絡(luò)，以向站點處的一個或多個客戶端設(shè)備(或簡稱為“客戶端”)提供無線網(wǎng)絡(luò)服務(wù)?？蛻舳丝赡馨ɡ缰悄茈娫捇蚱渌苿釉O(shè)備、物聯(lián)網(wǎng)(IoT)設(shè)備等。當(dāng)移動客戶端在整個房屋內(nèi)移動時，這些移動客戶端可能自動從一個無線接入點切換到另一范圍內(nèi)的無線接入點，以便為用戶提供整個房屋內(nèi)的無縫網(wǎng)絡(luò)連接性。附加地，如果特定無線接入點提供不良的覆蓋范圍，客戶端設(shè)備可能自動嘗試連接到具有更好覆蓋范圍的不同無線接入點。[0030]在許多示例中，無線網(wǎng)絡(luò)服務(wù)提供者實施系統(tǒng)來監(jiān)測和收集一個或多個網(wǎng)絡(luò)性能度量，以監(jiān)測網(wǎng)絡(luò)行為且測量站點處的無線網(wǎng)絡(luò)的性能。例如，服務(wù)水平期望(SLE)度量可以被用于測量無線網(wǎng)絡(luò)性能的各個方面。SLE度量尋求從網(wǎng)絡(luò)上的最終用戶體驗的視角來測量和理解網(wǎng)絡(luò)性能。一個示例SLE度量是覆蓋范圍度量，其追蹤由客戶端被連接的接入點所測量的客戶端的接收信號強(qiáng)度指示器(RSSI)低于可配置閾值的用戶分鐘數(shù)。另一示例SLE度量是漫游度量，其追蹤客戶端的在規(guī)定閾值內(nèi)的兩個接入點之間的成功漫游百分比。指示無線網(wǎng)絡(luò)性能的一個或多個方面的任何其他度量。閾值可以由無線服務(wù)提供者定制和配置，以定義站點處的服務(wù)水平期望。8[0031]根據(jù)本文中所描述的一種或多種技術(shù)，虛擬網(wǎng)絡(luò)助理(VNA)執(zhí)行主動分析和關(guān)聯(lián)引擎(PACE),該主動分析和關(guān)聯(lián)引擎被配置為動態(tài)地構(gòu)建和應(yīng)用用于網(wǎng)絡(luò)診斷的無監(jiān)督的基于ML的模型，即使用未標(biāo)記的訓(xùn)練數(shù)據(jù)所訓(xùn)練的機(jī)器學(xué)習(xí)模型。如本文中所描述，技術(shù)使得虛擬網(wǎng)絡(luò)助理的主動分析和關(guān)聯(lián)引擎能夠檢測需要被解決的網(wǎng)絡(luò)問題且支持對網(wǎng)絡(luò)系統(tǒng)中所標(biāo)識的故障的解決。[0032]作為一個示例，本公開描述了示例實施例，其中復(fù)雜網(wǎng)絡(luò)系統(tǒng)(例如無線網(wǎng)絡(luò)系統(tǒng))的網(wǎng)絡(luò)管理系統(tǒng)(NMS)實現(xiàn)主動分析和關(guān)聯(lián)引擎以確定在網(wǎng)絡(luò)系統(tǒng)中所檢測到的問題是被預(yù)期作為系統(tǒng)正常操作的一部分還是非典型的。如果NMS確定在觀察到的狀況下問題是典型的，那么假設(shè)問題可以通過自我修復(fù)機(jī)制(諸如重啟或自動重新配置機(jī)制)被解決，NMS就可以被配置為無視這些問題。然而，如果NMS確定問題在觀察到的狀況下不典型，那么NMS可以被配置為自動調(diào)用更復(fù)雜且計算成本高的網(wǎng)絡(luò)分析，以確定問題的根本原因且自動執(zhí)行補(bǔ)救，諸如重新開始或重新配置一個或多個網(wǎng)絡(luò)部件以恢復(fù)令人滿意的系統(tǒng)級體驗(SLE)。[0033]在本文中所描述的各種示例中，技術(shù)能夠基于由NMS針對網(wǎng)絡(luò)所收集到的網(wǎng)絡(luò)事件數(shù)據(jù)構(gòu)建無監(jiān)督ML模型。例如，根據(jù)本文中所描述的技術(shù)，NMS可以基于從歷史上觀察到的消息和/或針對網(wǎng)絡(luò)的統(tǒng)計中所提取的網(wǎng)絡(luò)事件，自動生成和重新訓(xùn)練針對主動分析和關(guān)聯(lián)引擎的無監(jiān)督ML模型。然后，NMS的主動分析和關(guān)聯(lián)引擎可以將ML模型應(yīng)用于數(shù)據(jù)流和/或各種網(wǎng)絡(luò)事件類型的新收集到的數(shù)據(jù)(例如統(tǒng)計、消息、SLE度量等，本文中被稱為“PACE”事件數(shù)據(jù)或事件類型)的日志以檢測當(dāng)前觀察到的網(wǎng)絡(luò)事件數(shù)據(jù)與傳入數(shù)據(jù)流是否指示系統(tǒng)正常操作或傳入的網(wǎng)絡(luò)事件數(shù)據(jù)是否指示對應(yīng)于需要緩解的出故障網(wǎng)絡(luò)的非典型系統(tǒng)行為事件或趨勢。[0034]如所描述，當(dāng)主動分析和關(guān)聯(lián)引擎將ML模型應(yīng)用于網(wǎng)絡(luò)事件數(shù)據(jù)指示需要緩解時，NMS可能調(diào)用虛擬網(wǎng)絡(luò)助理(VNA)的更復(fù)雜的根本原因網(wǎng)絡(luò)分析部件以標(biāo)識異常系統(tǒng)行為的根本原因，且如果可能，那么觸發(fā)自動化或半自動化校正動作。以此方式，主動分析和關(guān)聯(lián)引擎(PACE)可以構(gòu)建和應(yīng)用基于特定復(fù)雜網(wǎng)絡(luò)的ML模型，其中PACE被部署作為用于快速且有效地確定是否對從復(fù)雜網(wǎng)絡(luò)系統(tǒng)內(nèi)的元素所收集到(例如實時)的網(wǎng)絡(luò)事件數(shù)據(jù)的傳入流執(zhí)行進(jìn)一步資源密集型分析的機(jī)制。[0035]進(jìn)一步地，除了標(biāo)識哪些問題需要注意之外，本文中所描述的一些示例可以被配置為監(jiān)測在復(fù)雜網(wǎng)絡(luò)系統(tǒng)內(nèi)所交換的消息以及許多操作計數(shù)器和統(tǒng)計。在正常操作期間，不同計數(shù)器和統(tǒng)計的值之間的比率可以假定可接受值的特定范圍內(nèi)的值，在本文中被稱為{Min,Max}范圍。如下文更詳細(xì)地描述，本文中所描述的技術(shù)的一個技術(shù)優(yōu)點是NMS可以被配置為構(gòu)建無監(jiān)督ML模型，以使得ML模型自動確定和調(diào)整針對表示正常操作的網(wǎng)絡(luò)事件數(shù)據(jù)(例如特定統(tǒng)計、計數(shù)器、度量等)的可接受值的動態(tài){Min,Max}范圍，從而實現(xiàn)了提高用于確定是否觸發(fā)對網(wǎng)絡(luò)事件數(shù)據(jù)的更深入的根本原因分析的ML模型的準(zhǔn)確性和可靠性。[0036]圖1是示例網(wǎng)絡(luò)系統(tǒng)100的框圖，其中虛擬網(wǎng)絡(luò)助理(VNA)執(zhí)行主動分析和關(guān)聯(lián)引擎(PACE),該主動分析和關(guān)聯(lián)引擎被配置為基于實時收集到的網(wǎng)絡(luò)數(shù)據(jù)動態(tài)地構(gòu)建、應(yīng)用和重新訓(xùn)練無監(jiān)督的基于ML的模型以供網(wǎng)絡(luò)診斷。[0037]示例網(wǎng)絡(luò)系統(tǒng)100包括多個站點102A-102N,網(wǎng)絡(luò)服務(wù)提供者在這些站點處分別管理一個或多個無線網(wǎng)絡(luò)106A-106N。盡管在圖1中，每個站點102A-102N被示出為分別包括單9個無線網(wǎng)絡(luò)106A-106N,在一些示例中，每個站點102A-102N可以包括多個無線網(wǎng)絡(luò)，并且本公開在這方面不受限制。[0038]每個站點102A-102N包括多個接入點(AP),大體上被稱為AP142。例如，站點102A可以是任何類型的無線接入點，包括但不限于商業(yè)或企業(yè)AP、路由器或能夠提供無線網(wǎng)絡(luò)接入的任何其他設(shè)備。[0039]每個站點102A-102N還包括多個客戶端設(shè)備，以其他方式被稱為用戶裝備設(shè)備 (UE),大體上被稱為UE148,從而表示每個站點內(nèi)的各種無線啟用的設(shè)備。例如，多個UE站點102N處。每個UE148可以是任何類型的無線客戶端設(shè)備，包括但不限于移動設(shè)備(諸如感器或被配置為通過一個或多個無線網(wǎng)絡(luò)進(jìn)行通信的任何其他設(shè)備。[0040]示例網(wǎng)絡(luò)系統(tǒng)100還包括用于在有線網(wǎng)絡(luò)內(nèi)提供聯(lián)網(wǎng)服務(wù)的各種聯(lián)網(wǎng)部件，作為示例，包括用于認(rèn)證用戶和/或UE148的認(rèn)證、授權(quán)和記賬(AAA)服務(wù)器110、用于在認(rèn)證后向UE148動態(tài)分配網(wǎng)絡(luò)地址(例如IP地址)的動態(tài)主機(jī)配置協(xié)議(DHCP)服務(wù)器116、用于將域名解析為網(wǎng)絡(luò)地址的域名系統(tǒng)(DNS)服務(wù)器122、多個服務(wù)器128(例如web服務(wù)器、數(shù)據(jù)庫服務(wù)器、文件服務(wù)器等)和網(wǎng)絡(luò)管理系統(tǒng)(NMS)136。如圖1中所示出，網(wǎng)絡(luò)100的各種設(shè)備和系統(tǒng)經(jīng)由一個或多個網(wǎng)絡(luò)134(例如因特網(wǎng)和/或企業(yè)內(nèi)聯(lián)網(wǎng))被耦合在一起。服務(wù)器110、的一部分的任何其他服務(wù)器或設(shè)備中的每一個可以包括系統(tǒng)日志或誤差日志模塊，其中這些設(shè)備中的每一個都記錄設(shè)備的狀態(tài)，包括正常操作狀態(tài)和誤差狀況。[0041]在圖1的示例中，NMS136是基于云的計算平臺，其在站點102A-102N中的一個或多個站點處管理無線網(wǎng)絡(luò)106A-106N。如本文中進(jìn)一步描述，NMS136提供管理工具的集成套件且實現(xiàn)本公開的各種技術(shù)。[0042]根據(jù)本文中所描述的技術(shù)，NMS136分別監(jiān)測從每個站點102A-102N處的無線網(wǎng)絡(luò)106A-106N所接收到的SLE度量，并且管理網(wǎng)絡(luò)資源，諸如每個站點處的AP142,以向站點處[0043]例如，NMS136可以包括虛擬網(wǎng)絡(luò)助理(VNA)133,該虛擬網(wǎng)絡(luò)助理實現(xiàn)用于為IT操作提供實時洞察和簡化的故障排除的事件處理平臺，且自動采取校正動作或提供推薦以主動解決無線網(wǎng)絡(luò)問題。VNA133可以例如包括事件處理平臺，該事件處理平臺被配置為處理來自與AP142和/或網(wǎng)絡(luò)134內(nèi)的節(jié)點相關(guān)聯(lián)的傳感器和/或代理的成百上千的并發(fā)事件流。例如，根據(jù)本文中所描述的各種示例，NMS136的VNA133可以包括底層分析和網(wǎng)絡(luò)誤差標(biāo)識引擎和警報系統(tǒng)。VNA133的底層分析引擎可以將歷史數(shù)據(jù)和模型應(yīng)用于入站事件流以計算斷言，諸如標(biāo)識出的異常或構(gòu)成網(wǎng)絡(luò)誤差狀況的事件的預(yù)測發(fā)生。進(jìn)一步地，VNA本原因分析和自動化或輔助誤差補(bǔ)救。[0044]由NMS136的VNA133實現(xiàn)的操作的進(jìn)一步示例細(xì)節(jié)在2015年6月30日所提交且標(biāo)題為“MonitoringWirelessAccessPointEvents”的美國申請系列第14/788,489號、2020年3月31日所提交且標(biāo)題為“NetworkSystemFaultResolutionUsingaMachineLearningModel”的美國申請系列第16/835,757號、2019年2月19日所提交且標(biāo)題為“SystemsandMethodsforaVirtualNetworkAssistant”的美國申請系列第16/279,243號、2018年12月31日所提交且標(biāo)題為“MethodsandApparatusforFacilitatingFaultDetectionand/orPredictiveFaultDetection”的美國申請系列第16/237,677系列第16/251,942號和2019年3月8日所提交且標(biāo)題為“MethodforConveyingAPError全部內(nèi)容通過引用并入本文。用一個或多個校正動作來校正誤差狀況的根本原因，從而自動改進(jìn)底層SLE度量并且還自交且標(biāo)題為“SystemsandMethodsforaVirtualNetworkAssistant”的美國申請系列第16/279,243號、2018年12月31日所提交且標(biāo)題為“MethodsandApparatusfor第16/237,677號、2019年1月18日所提交且標(biāo)題為“MethodforSpatio-Temporal新訓(xùn)練(多個)無監(jiān)督ML模型137的虛擬網(wǎng)絡(luò)助理的主動分析和關(guān)聯(lián)137操作以預(yù)測預(yù)期在當(dāng)前觀察時間幀期間針對各種類型的網(wǎng)絡(luò)事件中的每種類型的網(wǎng)絡(luò)11135將那些網(wǎng)絡(luò)事件標(biāo)記為指示異常行為，從而觸發(fā)VNA133對那些事件執(zhí)行根本原因分夠準(zhǔn)確地確定哪些潛在的網(wǎng)絡(luò)問題應(yīng)該進(jìn)行更深入的根本原因分析和哪些問題應(yīng)該被視而消除誤報，這些誤報可能以其他方式出現(xiàn)且導(dǎo)致與根本原因分析相關(guān)聯(lián)的資源過度分模型137,以確定收集到的網(wǎng)絡(luò)事件數(shù)據(jù)是否應(yīng)該被丟棄，或數(shù)據(jù)是否表示需要被轉(zhuǎn)發(fā)給2中所示出的示例接入點200可以被用于實現(xiàn)如本文中關(guān)于圖1所示出和描述的任何AP于發(fā)送和接收網(wǎng)絡(luò)通信，例如分組。有線接口230直接或間接地將接入點200耦合到圖1的括Wi-Fi802.11接口(例如2.4GHz和/或5GHz)并且第二無線接口220B可以包括藍(lán)牙接口用于定義軟件或計算機(jī)程序的軟件指令，被存儲到計算機(jī)可讀存儲諸如非瞬態(tài)計算機(jī)可讀介質(zhì)，包括存儲設(shè)備(例如磁盤驅(qū)動器或光驅(qū))或存儲器(諸如閃速存儲器或RAM)或任何其他類型的易失性或非易失性存儲器，該計算機(jī)可讀存儲介質(zhì)存儲指令以使一個或多個處理器206執(zhí)行本文中所描述的技術(shù)。[0054]存儲器212包括一個或多個設(shè)備，其被配置為存儲與接入點200的操作相關(guān)聯(lián)的編程模塊和/或數(shù)據(jù)。例如，存儲器212可以包括計算機(jī)可讀存儲介質(zhì)，諸如非瞬態(tài)計算機(jī)可讀介質(zhì)，包括存儲設(shè)備(例如磁盤驅(qū)動器或光驅(qū))或存儲器(諸如閃速存儲器或RAM)或任何其他類型的易失性或非易失性存儲器，該計算機(jī)可讀存儲介質(zhì)存儲指令以使一個或多個處理器206執(zhí)行本文中所描述的技術(shù)。[0055]在該示例中，存儲器212存儲可執(zhí)行軟件，包括應(yīng)用編程接口(API)240、通信管理器242、配置設(shè)置250、設(shè)備狀態(tài)日志252和數(shù)據(jù)存儲裝置254。設(shè)備狀態(tài)日志252包括特定于接入點200的事件列表。事件可以包括正常事件和誤差事件兩者的日志，諸如例如存儲器狀針對每個事件的時間和日期戳。日志控制器255基于來自NMS136的指令確定設(shè)備的日志記錄級別。數(shù)據(jù)254可以存儲由接入點200使用和/或生成的任何數(shù)據(jù)，包括從UE148所收集到的數(shù)據(jù)，諸如被用于運(yùn)算一個或多個SLE度量的數(shù)據(jù)，該數(shù)據(jù)由接入點200傳輸以用于無線[0056]通信管理器242包括程序代碼，當(dāng)由(多個)處理器206執(zhí)行時，該程序代碼允許接入點200經(jīng)由(多個)接口230和/或220A-220C中的任一個與UE148和/或(多個)網(wǎng)絡(luò)134通信。配置設(shè)置250包括用于接入點200的任何設(shè)備設(shè)置，諸如針對(多個)無線接口220A-220C中的每個無線接口的無線電設(shè)置。這些設(shè)置可以手動地被配置或可以由NMS136遠(yuǎn)程監(jiān)測和管理在定期(例如每小時或每天)基礎(chǔ)上優(yōu)化無線網(wǎng)絡(luò)性能。[0057]輸入/輸出(I/0)210表示能夠與用戶交互的物理硬件部件，諸如按鈕、顯示器等。盡管未示出，但存儲器212通常存儲可執(zhí)行軟件，以用于控制關(guān)于經(jīng)由I/0210所接收到的輸入的用戶接口。[0058]如本文中所描述，AP設(shè)備200可以測量來自狀態(tài)日志252的SLE相關(guān)數(shù)據(jù)(即網(wǎng)絡(luò)事件數(shù)據(jù))且將其報告給NMS136.SLE相關(guān)數(shù)據(jù)可以包括指示無線網(wǎng)絡(luò)的性能和/或狀態(tài)的各種參數(shù)。參數(shù)可以由一個或多個UE設(shè)備和/或一個或多個AP200在無線網(wǎng)絡(luò)中被測量和/或確定。NMS136基于從無線網(wǎng)絡(luò)中的AP所接收到的SLE相關(guān)將SLE度量存儲為事件數(shù)據(jù)139(圖1)。根據(jù)本公開的一種或多種技術(shù)，NMS136的PACE135分析與無線網(wǎng)絡(luò)相關(guān)聯(lián)的SLE度量(即事件數(shù)據(jù)139)以動態(tài)地構(gòu)建、訓(xùn)練、應(yīng)用和重新訓(xùn)練(多個)無監(jiān)督ML模型137以確定收集到的網(wǎng)絡(luò)事件數(shù)據(jù)是否表示需要被VNA133進(jìn)一步分析以支持根本原因分析和故障解決的異常行為。[0059]圖3示出了根據(jù)本公開的一種或多種技術(shù)所配置的示例網(wǎng)絡(luò)管理系統(tǒng)(NMS)300。NMS300可以被用于實現(xiàn)例如圖1中的NMS136。在這種示例中，NMS300負(fù)責(zé)分別在站點接收由AP200所收集到的數(shù)據(jù)，諸如被用于運(yùn)算一個或多個SLE度量的數(shù)據(jù)，并且分析該數(shù)據(jù)以用于無線網(wǎng)絡(luò)106A-106N的基于云的管理。在一些示例中，NMS300可以是圖1中所示出的另一服務(wù)器的一部分或任何其他服務(wù)器的一部分。[0060]NMS300包括通信接口330、一個或多個處理器306、用戶接口310、存儲器312和數(shù)據(jù)庫318。各種元件經(jīng)由總線314被耦合在一起，各種元件可以通過該總線交換數(shù)據(jù)和信息。[0061](多個)處理器306執(zhí)行軟件指令，諸如被用于定義軟件或計算機(jī)程序的軟件指令，被存儲到計算機(jī)可讀存儲介質(zhì)(諸如存儲器312),諸如非瞬態(tài)計算機(jī)可讀介質(zhì)，包括存儲設(shè)備(例如磁盤驅(qū)動器或光驅(qū))或存儲器(諸如閃速存儲器或RAM)或任何其他類型的易失性或非易失性存儲器，該計算機(jī)可讀存儲介質(zhì)存儲指令以使一個或多個處理器306執(zhí)行本文中所描述的技術(shù)。[0062]通信接口330可以包括例如以太網(wǎng)接口。通信接口330將NMS300耦合到網(wǎng)絡(luò)和/或因特網(wǎng)，諸如如圖1中所示出的任何(多個)網(wǎng)絡(luò)134和/或任何局域網(wǎng)。通信接口330包括接和/或形成網(wǎng)絡(luò)100的部分的任何其他設(shè)備或系統(tǒng)(諸如圖1中所示出)中的任一個接收/傳輸數(shù)據(jù)和信息。由NMS300接收到的數(shù)據(jù)和信息可以包括例如從接入點200所接收到的SLE相關(guān)或事件日志數(shù)據(jù)，該接入點被NMS300使用以遠(yuǎn)程監(jiān)測無線網(wǎng)絡(luò)106A-106N的性能。NMS還可以經(jīng)由通信接口330將數(shù)據(jù)傳輸給任何網(wǎng)絡(luò)設(shè)備(諸如任何網(wǎng)絡(luò)站點102A-102N處的AP142)以遠(yuǎn)程管理無線網(wǎng)絡(luò)106A-106N。[0063]存儲器312包括一個或多個設(shè)備，其被配置為存儲與NMS300的操作相關(guān)聯(lián)的編程模塊和/或數(shù)據(jù)。例如，存儲器312可以包括計算機(jī)可讀存儲介質(zhì)，諸如非瞬態(tài)計算機(jī)可讀介質(zhì)，包括存儲設(shè)備(例如磁盤驅(qū)動器或光驅(qū))或存儲器(諸如閃速存儲器或RAM)或任何其他類型的易失性或非易失性存儲器，該計算機(jī)可讀存儲介質(zhì)存儲指令以使一個或多個處理器306執(zhí)行本文中所描述的技術(shù)。[0064]在該示例中，存儲器312包括API320、SLE模塊322、虛擬網(wǎng)絡(luò)助理(VNA)/AI引擎350、無線電資源管理(RRM)引擎360和根本原因分析引擎370.NMS300還可以包括被配置用于無線網(wǎng)絡(luò)106A-106N的遠(yuǎn)程監(jiān)測和管理(包括任何AP142/200的遠(yuǎn)程監(jiān)測和管理)的任何其他編程模塊、軟件引擎和/或接口。[0065]SLE模塊322能夠設(shè)置和追蹤針對每個網(wǎng)絡(luò)106A-106N的SLE度量的閾值。SLE模塊322進(jìn)一步分析由AP收集到的SLE相關(guān)數(shù)據(jù)，諸如來自每個無線網(wǎng)絡(luò)106A-106N中的UE的任收集SLE相關(guān)數(shù)據(jù)。該數(shù)據(jù)被傳輸給NMS300,其由SLE模塊322執(zhí)行以確定針對當(dāng)前被連接到無線網(wǎng)絡(luò)106A的每個UE148A-1到148A-N的一個或多個SLE度量。一個或多個SLE度量還可以被聚合到站點處的每個AP,以深入了解每個AP對站點處的無線網(wǎng)絡(luò)性能的貢獻(xiàn)。SLE度量追蹤服務(wù)級別是否滿足針對每個SLE度量所配置的閾值。每個度量還可以包括一個或多個分類器。如果度量不滿足SLE閾值，那么失敗可能被歸因于分類器之一，以進(jìn)一步理解失敗發(fā)生的位置。[0066]可以由NMS300確定的示例SLE度量及其分類器在表1中被示出。連接時間花費比連接到因特網(wǎng)的指定閾值長的連接數(shù)。分類器：關(guān)聯(lián)、授權(quán)、DHCP、因特網(wǎng)服務(wù)吞吐量客戶端的估計吞吐量低于指定閾值的時間量。分類器：容量、覆蓋范圍、設(shè)備能力、網(wǎng)絡(luò)問題覆蓋范圍由接入點測量的客戶端的RSSI低于指定閾值的用戶分鐘數(shù)。分類器：不對稱下行、不對稱上行、Wi-Fi干擾容量客戶端經(jīng)歷“不良”容量的用戶分鐘數(shù)。分類器：AP負(fù)載、非Wi-Fi干擾、Wi-Fi干擾漫游在客戶端漫游所花費的指定目標(biāo)時間內(nèi)的針對客分類器：無快速漫游、次優(yōu)11r漫游、次優(yōu)okc漫游、慢速漫游成功連接在客戶端與網(wǎng)絡(luò)的初始連接期間當(dāng)客戶端從一個分類器：關(guān)聯(lián)、授權(quán)、DHCP這可以基于AP重啟、AP無法到達(dá)事件和站點關(guān)分類器：AP重啟、AP無法到達(dá)、站點關(guān)閉RRM引擎360監(jiān)測針對每個站點106A-106N的一個或多個度量，以便了解和優(yōu)化每個站點處的RF環(huán)境。例如，RRM引擎360可以在站點102處監(jiān)測針對無線網(wǎng)絡(luò)106的覆蓋范圍和容量SLE度量，以便標(biāo)識無線網(wǎng)絡(luò)106中的SLE覆蓋范圍和/或容量的潛在問題，且對每個站點處的接入點的無線電設(shè)置進(jìn)行調(diào)整以解決標(biāo)識出的問題。例如，RRM引擎可以跨每個網(wǎng)絡(luò)106A-106N中的所有AP142確定信道且傳輸功率分布。例如，RRM引擎360可以監(jiān)測事件、站點106處的一個或多個AP142的配置，其目的是改進(jìn)覆蓋范圍和容量SLE度量，且從而為用戶提供改進(jìn)的無線體驗。[0071]VNA/AI引擎350分析從AP142/200所接收到的數(shù)據(jù)以及其自己的數(shù)據(jù)以標(biāo)識不希望的異常狀態(tài)何時在無線網(wǎng)絡(luò)106A-106N之一中被遇到。例如，VNA/AI引擎350可以使用根本原因分析模塊370來標(biāo)識任何不希望的或異常狀態(tài)的根本原因。在一些示例中，根本原因分析模塊370利用基于人工智能的技術(shù)來幫助標(biāo)識一個或多個無線網(wǎng)絡(luò)106A-106N處的(多個)任何不良SLE度量的根本原因。附加地，VNA/AI引擎350可以自動調(diào)用旨在解決一個或多個不良SLE度量的(多個)標(biāo)識出的根本原因的一個或多個校正動作?？梢杂蒝NA/AI引擎350自動調(diào)用的校正動作的示例可以包括但不限于：調(diào)用RRM360以重啟一個或多個AP,調(diào)整/修改特定AP中的特定無線電的傳輸功率，向特定AP添加SSID配置，改變AP或AP集合上的信道等。校正動作還可以包括重新啟動交換機(jī)和/或路由器，調(diào)用將新軟件下載到AP、交換機(jī)或路由器等。這些校正動作僅出于示例目的被給出，而本公開不限于這方面。如果自動校正動作不可用或不能充分解決根本原因，那么VNA/AI引擎350可以主動提供通知，包括將由IT人員采取以解決網(wǎng)絡(luò)誤差的推薦校正動作。[0072]根據(jù)本公開的一種或多種技術(shù)，用以對事件數(shù)據(jù)(SLE度量316)動態(tài)地構(gòu)建、訓(xùn)練、應(yīng)用和重新訓(xùn)練(多個)無監(jiān)督ML模型337的虛擬網(wǎng)絡(luò)助理的PACE335以確定收集到的網(wǎng)絡(luò)事件數(shù)據(jù)是否表示需要被VNA350的根本原因分析370進(jìn)一步分析以支持故障的標(biāo)識和解決的異常行為。[0073]本公開的技術(shù)提供了一個或多個優(yōu)點。例如，技術(shù)使得自動化虛擬網(wǎng)絡(luò)助理350能夠準(zhǔn)確地確定哪些潛在的網(wǎng)絡(luò)問題應(yīng)該進(jìn)行更深入的根本原因分析370和哪些問題應(yīng)該被視為可以在正常過程中被解決的噪聲或瞬態(tài)問題并且因此可以被無視。進(jìn)一步地，為了實現(xiàn)某些技術(shù)效率，技術(shù)實現(xiàn)基于無監(jiān)督機(jī)器學(xué)習(xí)(ML)模型337的自動化虛擬網(wǎng)絡(luò)助理，從而減少和/或消除將每個消息流和統(tǒng)計加標(biāo)簽為表示“良好/正?！毕⒘髁鞯暮臅r工作。此外，技術(shù)支持自動重新訓(xùn)練基于ML的模型，以便適應(yīng)不斷變化的網(wǎng)絡(luò)狀況，從而消除誤報，這些誤報可能以其他方式出現(xiàn)且導(dǎo)致與根本原因分析相關(guān)聯(lián)的資源過度分配。[0074]圖4示出了示例用戶裝備(UE)設(shè)備400。圖4中所示出的示例UE設(shè)備400可以被用于實現(xiàn)如本文中關(guān)于圖1所示出和描述的任何UE148.UE設(shè)備400可以包括任何類型的無線客戶端設(shè)備，并且本公開在這方面不受限制。例如，UE設(shè)備400可以包括移動設(shè)備(諸如智能電何其他類型的移動或可穿戴式設(shè)備。UE400還可以包括任何類型的IoT客戶端設(shè)備，諸如打印機(jī)、安全傳感器或設(shè)備、環(huán)境傳感器或被配置為通過一個或多個無線網(wǎng)絡(luò)進(jìn)行通信的任何其他連接設(shè)備。[0075]根據(jù)本公開的一種或多種技術(shù)，一個或多個SLE參數(shù)值(即，由NMS136用于運(yùn)算一個或多個SLE度量的數(shù)據(jù))從無線網(wǎng)絡(luò)中的每個UE400被接收到。例如，NMS136從圖1的網(wǎng)絡(luò)從UE148接收SLE參數(shù)值，并且NMS可以在由第一預(yù)定時間段(例如每10分鐘或其他預(yù)定時間段)定義的定期基礎(chǔ)上針對每個UE運(yùn)算一個或多個SLE度量。[0076]UE設(shè)備400包括有線接口430412和用戶接口410。各種元件經(jīng)由總線414被耦合在一起，各種元件可以通過該總線交換數(shù)據(jù)和信息。有線接口430包括接收器432和傳輸器434。如果需要，有線接口430可以被用于將UE400耦合到圖1的(多個)網(wǎng)絡(luò)134。第一無線接口420A、第二無線接口420B和第三無線接口420C分別包括接收器422A、422B和422C,每個接收器包括接收天線，UE400可以經(jīng)由該接信的其他設(shè)備)接收無線信號。第一無線接口420A、第二無線接口420B和第三無線接口420C分別還包括傳輸器424A、424B和424C,每個傳輸器包括傳輸天線，UE400可以經(jīng)由該傳輸天線向無線通信設(shè)備(諸如圖1的AP142、圖2的AP200、其他UE138和/或被配置用于無線通信的其他設(shè)備)傳輸無線信號。在一些示例中，第一無線接口420A可以包括Wi-Fi802.11接口(例如2.4GHz和/或5GHz)并且第二無線接口420B可以包括藍(lán)牙接口和/或藍(lán)牙低功耗接口。第三無線接口420C可以包括例如蜂窩接口，UE設(shè)備400可以通過該蜂窩接口連接到蜂窩網(wǎng)絡(luò)。[0077](多個)處理器406執(zhí)行軟件指令，諸如被用于定義軟件或計算機(jī)程序的軟件指令，被存儲到計算機(jī)可讀存儲介質(zhì)(諸如存儲器412),諸如非瞬態(tài)計算機(jī)可讀介質(zhì)，包括存儲設(shè)備(例如磁盤驅(qū)動器或光驅(qū))或存儲器(諸如閃速存儲器或RAM)或任何其他類型的易失性或非易失性存儲器，該計算機(jī)可讀存儲介質(zhì)存儲指令以使一個或多個處理器406執(zhí)行本文中所描述的技術(shù)。[0078]存儲器412包括一個或多個設(shè)備，其被配置為存儲與UE400的操作相關(guān)聯(lián)的編程模塊和/或數(shù)據(jù)。例如，存儲器412可以包括計算機(jī)可讀存儲介質(zhì)，諸如非瞬態(tài)計算機(jī)可讀介質(zhì)，包括存儲設(shè)備(例如磁盤驅(qū)動器或光驅(qū))或存儲器(諸如閃速存儲器或RAM)或任何其他類型的易失性或非易失性存儲器，該計算機(jī)可讀存儲介質(zhì)存儲指令以使一個或多個處理器406執(zhí)行本文中所描述的技術(shù)。數(shù)據(jù)存儲裝置454。數(shù)據(jù)存儲裝置454可以包括例如狀態(tài)/誤差日志，該狀態(tài)/誤差日志包括事件列表和/或特定于UE400的SLE相關(guān)數(shù)據(jù)。根據(jù)基于來自網(wǎng)絡(luò)管理系統(tǒng)的指令的日志記錄級別，事件可以包括正常事件和誤差事件兩者的日志。數(shù)據(jù)存儲裝置454可以存儲由UE400使用和/或生成的任何數(shù)據(jù)，諸如被用于運(yùn)算一個或多個SLE度量的數(shù)據(jù)，該數(shù)據(jù)由UE400收集且被傳輸給無線網(wǎng)絡(luò)106中的任何AP138以用于進(jìn)一步傳輸給NMS136。[0080]通信模塊444包括程序代碼，當(dāng)由(多個)處理器406執(zhí)行時，該程序代碼使得UE400能夠使用(多個)有線接口430、無線接口420A-420B和/或蜂窩接口450C中的任一個進(jìn)行通信。配置設(shè)置450包括針對(多個)無線接口420A-420B和/或蜂窩接口420C中的每一個的UE400設(shè)置的任何設(shè)備設(shè)置。[0081]圖5是圖示根據(jù)本文中所描述的技術(shù)所配置的示例網(wǎng)絡(luò)節(jié)點500的框圖。在一個或多個示例中，網(wǎng)絡(luò)節(jié)點500實現(xiàn)被附接到圖1的網(wǎng)絡(luò)134的設(shè)備或服務(wù)器，例如路由器、交換機(jī)等。在一些實施例中，圖4的網(wǎng)絡(luò)節(jié)點400是圖1的服務(wù)器110、116、122、128或圖1的網(wǎng)絡(luò)134的路由器/交換機(jī)。[0082]在該示例中，網(wǎng)絡(luò)節(jié)點500包括經(jīng)由總線509被耦合在一起的通信接口502(例如以存儲器512和部件516的組件，例如硬件模塊的組件，例如電路的組件，各種元件可以通過該總線交換數(shù)據(jù)和信息。通信接口502將網(wǎng)絡(luò)節(jié)點500耦合到網(wǎng)絡(luò)，諸如企業(yè)網(wǎng)絡(luò)。雖然僅一個接口通過示例的方式被示出，但是本領(lǐng)域的技術(shù)人員應(yīng)該認(rèn)識到網(wǎng)絡(luò)節(jié)點可以并且通常確實具有多個通信接口。通信接口502包括接收器520,網(wǎng)絡(luò)節(jié)點500(例如服務(wù)器)可以經(jīng)由該通知服務(wù)(SNS)查找和網(wǎng)頁請求。通信接口502包括傳輸器522,網(wǎng)絡(luò)節(jié)點500(例如服務(wù)器)[0083]存儲器512存儲可執(zhí)行軟件應(yīng)用532、操作系統(tǒng)540和數(shù)據(jù)/信息530。數(shù)據(jù)530包括系統(tǒng)日志和/或誤差日志，該系統(tǒng)日志和/或誤差日志基于根據(jù)來自網(wǎng)絡(luò)管理系統(tǒng)的指令的日志記錄級別存儲針對節(jié)點500和/或其他設(shè)備(諸如無線接入點)的SLE度量(事件數(shù)據(jù))。在一些示例中，網(wǎng)絡(luò)節(jié)點500可以將SLE度量轉(zhuǎn)發(fā)給網(wǎng)絡(luò)管理系統(tǒng)(例如圖1的NMS136)以用于如本文中所描述的分析。備選地或附加地，網(wǎng)絡(luò)節(jié)點500可以提供平臺以供執(zhí)行PACE135,以基于數(shù)據(jù)530(SLE度量)在本地構(gòu)建、訓(xùn)練、應(yīng)用和重新訓(xùn)練(多個)無監(jiān)督ML模型337,以確定收集到的網(wǎng)絡(luò)事件數(shù)據(jù)是否應(yīng)該被丟棄，或數(shù)據(jù)是否表示需要被轉(zhuǎn)發(fā)給NMS136以供對VNA350進(jìn)行進(jìn)一步根本原因分析(圖2)以支持故障的標(biāo)識和解決的異常行為。[0085]圖6是根據(jù)本文中所描述的技術(shù)由PACE(諸如PACE135)收集和使用的網(wǎng)絡(luò)事件的簡化示例表600.NMS136從消息中提取事件，這些消息從接入點142和/或網(wǎng)絡(luò)節(jié)點(諸如網(wǎng)絡(luò)134的路由器和交換機(jī))被接收到。通知NMS136關(guān)于網(wǎng)絡(luò)事件的發(fā)生的消息可以在網(wǎng)絡(luò)事等活動相關(guān)的網(wǎng)絡(luò)事件)已經(jīng)由網(wǎng)絡(luò)的任何部件經(jīng)歷之后的任何時間到達(dá)。[0086]示例消息600包括ID,該ID包括針對列620的行中所列出的每個網(wǎng)絡(luò)事件的索引號。簡化表包括15個網(wǎng)絡(luò)事件，但事件數(shù)量可能大得多，其中事件的數(shù)量取決于訓(xùn)練數(shù)據(jù)庫中所包括的事件數(shù)量。列610提供針對事件的索引，這些索引可以被用于簡化對特定事件的引用。事件字典表600的列630提供了可以被顯示以支持IT技術(shù)人員或系統(tǒng)管理員對系統(tǒng)的服務(wù)的文本。[0087]列640包括指定網(wǎng)絡(luò)事件類型的數(shù)據(jù)且?guī)椭鷮⑹录诸悶橄嚓P(guān)事件的特定組，并且列650提供每個網(wǎng)絡(luò)事件的性質(zhì)的更詳細(xì)的文本描述。來自注釋欄650的信息對于可能需要服務(wù)于系統(tǒng)但未被下文更詳細(xì)地描述的自動化系統(tǒng)使用的技術(shù)人員來說可能是有用的。[0088]估計網(wǎng)絡(luò)事件計數(shù)器的預(yù)期可變性和邊界[0089]圖7圖示了示例性時間窗700A、700B、700C到700m+1,這些時間窗由PACE135使用以實時(即當(dāng)事件數(shù)據(jù)139在網(wǎng)絡(luò)系統(tǒng)100內(nèi)被收集到時)動態(tài)地測量與針對每個不同類型的網(wǎng)絡(luò)事件的計數(shù)器值相關(guān)聯(lián)的可變性。在該示例中，時間窗序列700A的第一時間窗在時間t。處開始且持續(xù)w秒的持續(xù)時間。類似地，連續(xù)的時間窗在時間to+時間t?+2。在每個時間窗期間，PACE135監(jiān)測到達(dá)的網(wǎng)絡(luò)事件且維持在特定時間窗期間針對每種類型的網(wǎng)絡(luò)事件的發(fā)生次數(shù)的計數(shù)。在一些示例中，PACE135創(chuàng)建和存儲計數(shù)作為網(wǎng)絡(luò)事件的向量(在本文中被稱為PACE事件或VPE的向量):[0090]VPE(t)=[c?,C?,C?,…c]等式1[0093]c;-在所述時間期間發(fā)生的第一網(wǎng)絡(luò)事件i的數(shù)量[0095]t-指示時間窗開始的時間標(biāo)記[0096]i-網(wǎng)絡(luò)事件的索引，諸如圖6的列610的索引[0097]n-網(wǎng)絡(luò)事件數(shù)量。[0098]如下文參考圖8的流程圖800更詳細(xì)地解釋，由于時間原點t。是任意選擇的，所以PACE135檢查且確定如果時間窗的原點開始于稍微不同的時間，那么計數(shù)器c?到c,中的每一個計數(shù)器的值將是什么。以此方式，PACE135使用偏移了時間增量的重疊時間窗序列700a-700m的滑動窗動態(tài)地測量針對事件數(shù)據(jù)的時間序列的計數(shù)器值的可變性，例如從AP和網(wǎng)絡(luò)系統(tǒng)100的網(wǎng)絡(luò)節(jié)點所接收到的事件數(shù)據(jù)的實時流。[0099]圖8是圖示由PACE135執(zhí)行的用于估計網(wǎng)絡(luò)事件計數(shù)器的預(yù)期可變性和可接受邊界的示例過程800的流程圖。每個事件計數(shù)器參數(shù)/元素的具體值取決于時間t。的具體起始點，其中時間窗被設(shè)置成開始。例如，參考圖7,事件計數(shù)器中的每個事件計數(shù)器用于建立等式1中所描述的網(wǎng)絡(luò)事件向量。在時間窗序列700a的時間窗內(nèi)由PACE135測量的事件計數(shù)器將不同于在時間窗序列700b的時間窗內(nèi)(這在增量秒后開始)或在時間窗序列700(m+1)的時間窗內(nèi)(這在增量秒前開始)測量的事件計數(shù)器。[0100]由PACE135執(zhí)行的用于處理事件數(shù)據(jù)139的過程800開始于操作805且繼續(xù)到操作810,其中PACE135確定初始時間窗參數(shù)，諸如起始點t0、窗持續(xù)時間(例如2周)、起始時間遞增增量(例如5分鐘)以及使起始時間t。變化的范圍(限制)。PACE135可以基于由系統(tǒng)管理員、數(shù)據(jù)科學(xué)家或其他用戶提供的配置數(shù)據(jù)來確定這些值。雖然下文過程參考VPE的特定元素c;被描述，但是應(yīng)當(dāng)理解，PACE135針對PACE向量的n個元素中的每一個元素(即針對每個計數(shù)器)執(zhí)行相同的過程。[0101]一旦PACE135在操作810中確定了初始參數(shù)，PACE135就進(jìn)行到步驟815,在該步驟中系統(tǒng)針對時間窗序列中的每個時間窗測量、累積且存儲針對網(wǎng)絡(luò)事件計數(shù)器的總數(shù)。由PACE135生成和存儲的這種多元時間序列數(shù)據(jù)的示例在圖9中被圖示。在一些示例中，測量和觀察到的PACE計數(shù)器被存儲在表中，諸如圖10中所圖示的表。[0102]在通過步驟820的第一迭代(其由圖10中的行1050圖示)中，僅表10的初始值存在，并且如此，PACE135將由列1015圖示的測量參數(shù)c;(在步驟825中將為由列1020圖示的c;Max)設(shè)置為對應(yīng)時間窗內(nèi)的每個c;的對應(yīng)測量VPE值的值。類似地，在通過步驟830的第一迭代中，僅c的初始參數(shù)存在，并且如此，PACE135在操作835中將列1025中所圖示的CiMin設(shè)置為對應(yīng)時間窗t?內(nèi)的由行1050所圖示的對應(yīng)測量VPE參數(shù)c的值。這些初始參數(shù)分配在圖10中被示出。[0103]根據(jù)示例實現(xiàn)，當(dāng)時間窗的原點處于t0時所獲得的VPE計數(shù)器值被用作C*,并且從這些計數(shù)器值所構(gòu)建的VPE向量被稱為VPE*。[0104]PACE135進(jìn)行到步驟840,在該步驟中新的起始時間點通過將起始時間點遞增或遞減增量秒被設(shè)置。在操作845中，PACE135確定窗口的新起始時間是否仍在用于使時間窗的起始時間變化的限制內(nèi)?；驌Q句話說，時間原點是否仍在時間增量]內(nèi)。如果是這樣，那么PACE135循環(huán)回到操作815且在具有與前一時間窗不同的起始點的每個新時間窗中測量VPE值。這些測量的示例在圖10行1055中被圖示，VPE的每個元素的測量值或計數(shù)為。假定c?'>c?,PACE135將c?設(shè)置為c?max,假定c?>c?',方法將c2設(shè)置為c?min,且假定c'>c?,方法將c?！O(shè)置為c。max。類似地，針對由行1060圖135不改變表中的條目，且假定,PACE135將c”設(shè)置為c?min。覆蓋預(yù)定時間段。該持續(xù)時間基于用于使在初始操作810中被設(shè)置的時間窗的起始時間變化的閾值。時間段涵蓋高達(dá)t?+增的時間，其中m是預(yù)定數(shù)。類似的時間段可以被用于將起始時間向后移位到t?-m(圖中未示出)。在步驟850中，PACE135確定針對每個網(wǎng)絡(luò)事件類型(即SLE參數(shù))的計數(shù)的可變性，具體地，基于在先前步驟中所設(shè)置的值確定針對每個時間窗中的每個VPE計數(shù)器的對應(yīng)ciMax和ciMin絡(luò)事件的確定的基于時間的可變性來增強(qiáng)未標(biāo)記的網(wǎng)絡(luò)事件數(shù)據(jù)139,以產(chǎn)生用于訓(xùn)練ML模型137的增強(qiáng)訓(xùn)練數(shù)據(jù)，該ML模型用于預(yù)測網(wǎng)絡(luò)事件的估計計數(shù)以及定義針對每個網(wǎng)絡(luò)類型的預(yù)期計數(shù)的對應(yīng)范圍的估計最小和最大閾值。以被配置為每W秒重復(fù)方法800,并且連續(xù)產(chǎn)生對應(yīng)向量VPE*、VPEMin和VPEMax的時間序列以用于鑒于實時網(wǎng)絡(luò)事件數(shù)據(jù)自適應(yīng)地重建ML模型137。[0109]圖9圖示了根據(jù)上文所討論的過程800的由PACE135獲得的VPE計數(shù)器的值的時間序列。在該示例中，x軸910提供時間并且在一個示例實現(xiàn)中針對對應(yīng)VPE計數(shù)器值提供時間910的每個原點時間，圖圖示了VPE*930和動態(tài)地確定的VPEMax940和VPEMin950的值。[0110]訓(xùn)練系統(tǒng)行為模型[0111]圖11是操作以訓(xùn)練行為ML模型137的PACE135的部件1100的框圖。如上文所描述，由PACE135生成的VPE計數(shù)器1110的歷史值的時間序列被用作對動態(tài)邊界確定模塊1115的輸入。如上文更詳細(xì)地解釋，由PACE135生成的PACE計數(shù)器的每個向量對應(yīng)于由w秒分開的滑動時間窗集合。此時，動態(tài)邊界確定模塊輸出值C,*、C;Max和C,Min。(C,*的值實際上與C;相同)。如下文參考圖12A和圖12B所解釋，這些值被用作對模塊1150的輸入以導(dǎo)出VPE預(yù)測誤差的函數(shù)。[0112]在操作中，PACE135將系統(tǒng)行為模型1120(即ML模型137)應(yīng)用于接收到的事件數(shù)據(jù)139(被稱為歷史VPE計數(shù)器1110),該事件數(shù)據(jù)作為輸出1130產(chǎn)生針對VPE的當(dāng)前值的估[0113][VPEt-k,VPEt-k+1,…VPEL-1]->行為模型->預(yù)測VPE[0115][VPEt-k,VPEt-k+1,…VPE]是歷史VPE計數(shù)器的值的時間序列，行為模型是圖11的模塊1120,以及[0117]在一些示例實現(xiàn)中，估計(輸出)VPE向量1130的維度可以與輸入VPE向量1110的值相同。根據(jù)另一示例實現(xiàn)，估計(輸出)VPE向量的維度小于輸入向量的維度。例如，假定輸入向量由以下兩個值組成：客戶端數(shù)量和未能與AP相關(guān)聯(lián)的客戶端數(shù)量。因此，輸入VPE具有維度2。根據(jù)示例實現(xiàn)之一，估計VPE可能僅包含未能關(guān)聯(lián)的客戶端數(shù)量，因此預(yù)測VPE具有維度1。度不同時，僅兩個向量共有的元素被減法模塊1140利用。[0119]減法模塊1140的輸出是表示如下的VPE預(yù)測誤差的誤差向量：[0123]VPE-時間t處的網(wǎng)絡(luò)元素向量[0124]預(yù)測VPE-時間t處的網(wǎng)絡(luò)元素的預(yù)測向量分量)與網(wǎng)絡(luò)元素的觀察向量VPE之間的差異。VPE預(yù)測誤差用作對模塊1150的輸入，該模塊產(chǎn)生作為VPE預(yù)測誤差的函數(shù)的向量，PACE135使用該向量來基于實際觀察到的網(wǎng)絡(luò)事件數(shù)據(jù)139驅(qū)動網(wǎng)絡(luò)事件行為模型1120(圖1的ML模型139)的適應(yīng)。[0126]圖12A和圖12B是圖示VPE誤差的不同函數(shù)的圖為簡單起見，僅VPE誤差向量的一維值等于針對對應(yīng)時間的VPE*的點。動態(tài)閾值VPEMin1230和VPEMax1240被標(biāo)[0127]如從圖12A可以被看出，當(dāng)處于VPEMin與VPEMax之間的VPE誤差服從第一函數(shù)[0128]圖12B圖示了特定的整流線性單元(ReLU)函數(shù)。圖針對VPE*1225、VPEmin1230和VPEMax1240使用相同的x和y軸1210和1220以及相同的數(shù)字符號。當(dāng)預(yù)測誤差如下時，VPE誤差函數(shù)被設(shè)置成零：誤差的線性函數(shù)。下文的等式5圖示了這種函數(shù)的一個示例。[0132]在任一種情況下，VPE誤差的函數(shù)驅(qū)動由PACE135對ML模型137的參數(shù)進(jìn)行的適應(yīng)。在一個特定示例實現(xiàn)中，由ML模型137表示的系統(tǒng)行為模型是AI驅(qū)動的模型，諸如長短期存儲器(LSTM)。其他實現(xiàn)可以利用其他AI和機(jī)器學(xué)習(xí)(ML)算法來適應(yīng)系統(tǒng)行為模型1120(圖1的ML模型137)的參數(shù)，以便在網(wǎng)絡(luò)事件數(shù)據(jù)139根據(jù)本文中所描述的技術(shù)被接收且處理時將預(yù)測VPE誤差最小化。[0133]根據(jù)一個示例實現(xiàn)，系統(tǒng)行為模型的參數(shù)基于被流向NMS136的計數(shù)器的新值被不斷地適應(yīng)。根據(jù)另一示例實現(xiàn)，創(chuàng)建系統(tǒng)行為模型的過程(基于針對網(wǎng)絡(luò)事件數(shù)據(jù)的歷史時間序列所計算的計數(shù)器來適應(yīng)模型的參數(shù))基于記錄的網(wǎng)絡(luò)事件數(shù)據(jù)定期地(例如每兩周一次)被執(zhí)行?？紤]到在一些部署中，系統(tǒng)行為模型(ML137)內(nèi)的參數(shù)可能相當(dāng)緩慢地移位，如果有的話，通過PACE135定期更新行為模型可以節(jié)省計算資源且仍然提供網(wǎng)絡(luò)系統(tǒng)100的恰當(dāng)表示。[0134]在一些示例中，為了減少所需的計算資源，PACE135可以僅使用VPE的子集而不是整個集合。[0135]以此方式，PACE135構(gòu)建且適應(yīng)ML模型137(系統(tǒng)行為模型)以捕獲各種網(wǎng)絡(luò)事件之間的正常操作比率。例如，DNS失敗次數(shù)相對于客戶端總數(shù)和失敗總數(shù)以及成功總數(shù)。具體地，在系統(tǒng)行為模型的一個方面，PACE135更新模型，以使得模型學(xué)習(xí)針對給事件數(shù)據(jù)139存儲關(guān)于每個個別的網(wǎng)絡(luò)事件的信息，諸如客戶端的失敗嘗試，諸如漫游的嘗模型137,以訓(xùn)練模型以準(zhǔn)確預(yù)測網(wǎng)絡(luò)事件數(shù)據(jù)(例如失敗的移動性、失敗的認(rèn)證等)是否表示在“正?！狈秶鷥?nèi)的網(wǎng)絡(luò)事件，并且如此，預(yù)期行為(即由于當(dāng)前失敗)或這些失敗中的一個或多個是否異常且需要由VNA133進(jìn)一步分析和/或緩解。[0136]使用誤差直方圖進(jìn)行的系統(tǒng)行為模型更新和驗證[0137]根據(jù)一種具體實現(xiàn)，NMS136的PACE135基于從多個站點102所收集到的事件數(shù)據(jù)139構(gòu)建系統(tǒng)行為模型(ML模型137)。這種系統(tǒng)行為模型在本文中被稱為全局系統(tǒng)行為模型。根據(jù)一個實現(xiàn)，一旦該全局模型被構(gòu)建，其參數(shù)就被固定，并且內(nèi)用于構(gòu)建該全局模型的VPE數(shù)據(jù)(或只是數(shù)據(jù)的子集)通過模型運(yùn)行僅當(dāng)預(yù)測誤差的值在VPE之外、在動態(tài)地確定的范圍[VPEMin,VPEMax]之外時，PAC才記錄預(yù)測誤差的值。[0138]圖14是圖示了示例過程的流程圖1400,通過該過程主動分析和關(guān)聯(lián)引擎(例如圖1的PACE135)自適應(yīng)地更新基于網(wǎng)絡(luò)事件ML的行為模型(例如ML模型137)。出于示例的目[0139]在該示例中，PACE135開始于操作1405且進(jìn)行到操作1410,其中PACE135接收或以其他方式收集針對最近時間段(例如針對最近兩周)的網(wǎng)絡(luò)事件數(shù)據(jù)的新時間序列。在操作1415處，PACE135基于時間戳將來自時間序列的信息分成兩個子集，本文中也被稱為時間序列子組，每個子組具有不同的日期/時間范圍。PACE135在操作1420中使用第一子集(例如收集到的網(wǎng)絡(luò)事件數(shù)據(jù)的前三分之二)來構(gòu)建PACE行為模型(ML模型137)且在操作1425中使用第二子集(例如數(shù)據(jù)的剩余的三分之一)來測試構(gòu)建的行為模型且在操作1430中構(gòu)建預(yù)測誤差直方圖/概率函數(shù)。[0140]在一些示例中，PACE135針對至少兩個不同的技術(shù)優(yōu)點生成且利用預(yù)測誤差概率函數(shù)：a)確保被用于構(gòu)建PACE行為模型的網(wǎng)絡(luò)事件與正常行為相關(guān)聯(lián)，以及b)確保針對PACE行為模型所調(diào)諧的參數(shù)為各種網(wǎng)絡(luò)事件的底層行為(包括比率)提供恰當(dāng)表示。如下文更詳細(xì)地解釋，由PACE135執(zhí)行的驗證過程利用預(yù)測誤差(諸如減法模塊1140的輸出處的預(yù)測誤差)的直方圖。根據(jù)又另一實現(xiàn)，PACE135基于VPE誤差模塊1150的函數(shù)的輸出來構(gòu)件數(shù)據(jù)的第二子集(例如被用于測試PACE行為模型的有效性的子集)提供在跨所有站點的前行為模型訓(xùn)練的一部分所獲得的誤差直方圖/概率進(jìn)行比較。如果在決策操作1440中，PACE135確定新的誤差概率分布/直方圖與先前的誤差分布不類似(例如經(jīng)由使用如下文所描述的Kullback-Leibler散度測量),那么PACE135進(jìn)行到操作1445且排除來自訓(xùn)練數(shù)數(shù)據(jù)科學(xué)家關(guān)于事件的情況以指導(dǎo)用戶排除異常/離群數(shù)據(jù)點。PACE135循環(huán)回到操作[0142]一旦PACE135確定新的預(yù)測誤差類似于先前的預(yù)測誤差分布函數(shù)(決策操作[0145]圖15是圖示由虛擬網(wǎng)絡(luò)助理133執(zhí)行的示例過程的流程圖1500,該虛擬網(wǎng)絡(luò)助理息(從網(wǎng)絡(luò)事件數(shù)據(jù)139所生成的矢量化輸入)饋送到ML模型137中并且在步驟1520中確定端可能報告失敗，例如ARP失敗、DHCP失敗或DNS失敗。例如，在具有大型(例如1000個客戶端)的系統(tǒng)中，經(jīng)歷幾個(例如1或2個)故障(諸如上述的故障)是正常的。[0148]然而，如果VPE預(yù)測誤差超出由[VPEMin,VPEMax]建立的預(yù)測誤差動態(tài)范圍，那么PACE135確定網(wǎng)絡(luò)行為中的異常已被檢測到，即對應(yīng)故障或其他網(wǎng)絡(luò)事件正在以超出預(yù)期范圍的頻率發(fā)生。PACE135進(jìn)行到操作1530且確定表現(xiàn)出異常行為的網(wǎng)絡(luò)事件的類型。例如，PACE135可以使用圖6的表600的類型信息640,以標(biāo)識表現(xiàn)出行為的特定類型的(多個)網(wǎng)絡(luò)事件。[0149]在操作1535中，響應(yīng)于由PACE135對一個或多個異常網(wǎng)絡(luò)事件的標(biāo)識，NMS136調(diào)用虛擬網(wǎng)絡(luò)助理133以執(zhí)行對事件數(shù)據(jù)139的更深入分析以確定檢測到的異常的根本原因。在決策操作1540中，VNA133基于根本原因分析確定補(bǔ)救動作是否可以被調(diào)用，諸如重新啟動或重新配置一個或多個AP142、網(wǎng)絡(luò)節(jié)點或其他部件或通過輸出針對管理員跟隨的腳本特定設(shè)備、設(shè)備的部件、設(shè)備的模塊等。在任一情況下，如果補(bǔ)救動作可用或不可用，VNA133進(jìn)行到操作1550且輸出報告/警報以通知技術(shù)人員所標(biāo)識的問題和/或由VNA133采取1515且繼續(xù)處理從網(wǎng)絡(luò)系統(tǒng)100所接收到的實時事件數(shù)據(jù)139。[0150]本文中所描述的技術(shù)可以使用軟件、硬件和/或軟件和硬件的組合來實現(xiàn)。各種示方法，例如控制和/或操作通信設(shè)備(例如無線終端(UE)、基站、控制等，其包括用于控制機(jī)器以實現(xiàn)方法的一個或多個步驟的機(jī)器可讀指令。[0151]應(yīng)該理解，在所公開的過程中的步驟的任何具體順序或?qū)蛹壥鞘纠椒ǖ氖纠??；谠O(shè)計偏好，應(yīng)該理解，在過程中的步驟的具體順序或?qū)蛹壙梢员恢匦虏贾?，同時保持在本公開的范圍內(nèi)。所附方法權(quán)利要求書以樣本順序呈現(xiàn)各種步驟的元件，并且不意味著受限于所呈現(xiàn)的特定順序或?qū)蛹?。[0152]在各種示例中，本文中所描述的設(shè)備和節(jié)點使用一個或多個模塊被實現(xiàn)，以執(zhí)行對應(yīng)于一個或多個方法的步驟，例如信號生成、傳輸、處理和/或接收例中，各種特征使用模塊被實現(xiàn)。這種模塊可以使用軟件、硬件或軟件和硬件的組合被實現(xiàn)。在一些示例中，每個模塊被實現(xiàn)為個別的電路，其中設(shè)備或系統(tǒng)包括用于實現(xiàn)對應(yīng)于每個描述的模塊的功能的單獨電路。許多上文所描述的方法或方法步驟可以使用機(jī)器可執(zhí)行控制機(jī)器，例如具有或不具有附加硬件的通用計算機(jī)，以在例如一個或多個節(jié)點中實現(xiàn)上文所描述的方法的全部或部分。因此，除其他外，各種示例涉及一種機(jī)器可讀介質(zhì)，例如非瞬態(tài)計算機(jī)可讀介質(zhì)，包括用于使機(jī)器(例如處理器和相關(guān)聯(lián)的硬件)執(zhí)行(多個)上文所描述的方法的一個或多個步驟的機(jī)器可執(zhí)行指令。一些示例涉及一種包括處理器的設(shè)備，該處理器被配置為實現(xiàn)一個示例方面的一個或多個方法的一個、多個或所有步驟。[0153]在一些示例中，一個或多個設(shè)備(例如通信設(shè)備(諸如無線終端(UE))和/或接入節(jié)點)的一個或多個處理器(例如CPU)被配置為執(zhí)行被描述為由設(shè)備執(zhí)行的方法的步驟。處理器的配置可以通過使用一個或多個模塊(例如軟件模塊)來控制處理器配置和/或通過在處理器中包括硬件(例如硬件模塊)以執(zhí)行所列舉的步驟和/或控制處理器配置被實現(xiàn)。因此，一些但并非所有示例涉及一種具有處理器的通信設(shè)備，例如用戶裝備，該處理器包括對應(yīng)于由處理器被包括的設(shè)備執(zhí)行的各種所描述方法的每個步驟的模塊。在一些但并非所有示例中，通信設(shè)備包括對應(yīng)于由處理器被包括的設(shè)備執(zhí)行的各種所描述方法的每個步驟的模塊。模塊可以純粹以硬件被實現(xiàn)，例如作為電路，或可以使用軟件和/或硬件或軟件和硬件的組合被實現(xiàn)。[0154]一些示例涉及一種包括計算機(jī)可讀介質(zhì)的計算機(jī)程序產(chǎn)品，該計算機(jī)可讀介質(zhì)包括用于使計算機(jī)或多臺計算機(jī)實現(xiàn)各種功能、步驟、動作和/或操作(例如上文所描述的一個或多個步驟)的代碼。在一些示例中，計算機(jī)程序產(chǎn)品可以并且有時確實包括針對要執(zhí)行的每個步驟的不同代碼。因此，計算機(jī)程序產(chǎn)品可以并且有時確實包括針對方法(例如操作通信設(shè)備(例如無線終端或節(jié)點)的方法)的每個個別步驟的代碼。代碼可以呈計算機(jī)可讀介質(zhì)(諸如RAM(隨機(jī)存取存儲器)、ROM(只讀存儲器)或其他類型的器(例如計算機(jī))可執(zhí)行指令形式。除了涉及一種計算機(jī)程序產(chǎn)品之外，一些示例涉及一種被配置為實現(xiàn)上文所描述的一種或多種方法的各種功能、步驟、動作和/或操作中的一個或多個的處理器。因此，一些示例涉及一種被配置為實現(xiàn)本文中所描述的方法的一些或所有例如本申請中所描述的通信設(shè)備或其他設(shè)備。[0155]鑒于上文描述，對上文所描述的各種示例的方法和裝置的許多附加變體對于本領(lǐng)域的技術(shù)人員來說將是明顯的。這種變體將被視為在本公開的范圍內(nèi)。方法和裝置可以并動節(jié)點之間提供無線通信鏈路的各種其他類型的通信技術(shù)一起被使用。在一些示例中，接入節(jié)點被實現(xiàn)為使用OFDM和/或CDMA與用戶裝備設(shè)備(例如移動節(jié)點)建立通信鏈路的基站。在各種示例中，移動節(jié)點被實現(xiàn)為筆記本計算機(jī)、個人數(shù)據(jù)助理(PDA)或其他便攜式設(shè)備，包括接收器/傳輸器電路和邏輯和/或例程，以用于實現(xiàn)方法。[0156]在詳細(xì)描述中，許多具體細(xì)節(jié)被闡述以便提供對一些示例的透徹理解。然而，本領(lǐng)域的普通技術(shù)人員將理解，一些示例可以在沒有這些具體細(xì)節(jié)的情況下被實踐。在其他情[0157]一些示例可以與各種設(shè)備和系統(tǒng)結(jié)合被使用，例如用戶裝備(UE)、移動設(shè)備(MD)、攜式設(shè)備、消費類設(shè)備、非移動或非便攜式設(shè)備、無線通信站、無線通信設(shè)備、無線接入點[0158]一些示例可以與以下各項結(jié)合被使用：設(shè)備和/或網(wǎng)絡(luò)，根據(jù)現(xiàn)有無線千兆聯(lián)盟1.1,2011年4月，最終規(guī)范)和/或未來版本和/或其衍生物操作；設(shè)備和/或網(wǎng)絡(luò)，根據(jù)現(xiàn)有