中國農(nóng)業(yè)銀行研發(fā)中心中國信息通信研究院云計(jì)算與大數(shù)據(jù)研究所版權(quán)聲明本文版權(quán)屬于中國農(nóng)業(yè)銀行、中國信息通信研究院共同所有，并受法律保護(hù)。轉(zhuǎn)載、摘編或利用其它方式使用本文文字或者觀點(diǎn)的，應(yīng)注明來源。違反上述聲明者，編者將追究其相關(guān)法律責(zé)任。編委會(huì)成員名單中國農(nóng)業(yè)銀行：孫志斌、楚杰、韓濤、徐露、蒙永明、貢佳煒、王欣、李佩剛、王偉、李鵬斐、張子龍、李杰、何競擇、梁生吉、張紀(jì)峰、李伏、郭子卿、李玉省、周婷、吉開軒、裴芝延、祖立佳、劉暢、李煦麗、鄭德署、蘇雅、劉陽、吳思烜、謝楠楠、臧鴻飛中國信息通信研究院：徐恩慶、董恩然、王蘊(yùn)婷、李昂北京青云科技股份有限公司：伍雪松、陳正、張軍豪、爽序言數(shù)字化轉(zhuǎn)型和線上線下一體化深度融合。為銀行同業(yè)以及相關(guān)領(lǐng)域從業(yè)者提供參考。前言 1前言在金融科技持續(xù)進(jìn)步和創(chuàng)新應(yīng)用不斷升級(jí)的背景下，銀行語音將云端算力資源下沉到邊緣場景，解決了云計(jì)算下的應(yīng)用支持在網(wǎng)是一種大趨勢(shì)。邊規(guī)模業(yè)務(wù)推廣的需求。邊緣計(jì)算平臺(tái)以云邊協(xié)同為基礎(chǔ)，對(duì)邊緣節(jié)點(diǎn)在資源、容器應(yīng)的應(yīng)用。本報(bào)告以銀行業(yè)大規(guī)模異構(gòu)邊緣節(jié)點(diǎn)納管運(yùn)行的高性能及穩(wěn)定2挑戰(zhàn)并展望其發(fā)展前景。3一、邊緣計(jì)算技術(shù)概述(一)邊緣計(jì)算技術(shù)概念及發(fā)展趨勢(shì)萬元慧網(wǎng)點(diǎn)等諸多場景。(二)邊緣計(jì)算、云計(jì)算和物聯(lián)網(wǎng)的關(guān)系邊緣計(jì)算技術(shù)能夠延伸云端計(jì)算觸角到邊緣側(cè)，利用邊緣側(cè)的存、AI算法和算力就近處理數(shù)據(jù)，釋放云端壓力。邊緣計(jì)算可以彌4全與隱私保護(hù)等方面的關(guān)鍵需求。和邊緣計(jì)算的關(guān)系邊緣計(jì)算與云計(jì)算并非替代關(guān)系，而是協(xié)作配合，形成云計(jì)算中心、邊側(cè)的邊緣設(shè)備節(jié)點(diǎn)、端側(cè)的傳感器和視頻終端為核心組件構(gòu)成計(jì)算架構(gòu)，提供更高效精確的業(yè)務(wù)數(shù)據(jù)處理能力。以AI模型的訓(xùn)練和推理為例，邊緣節(jié)點(diǎn)可以負(fù)責(zé)自己范圍內(nèi)的數(shù)據(jù)計(jì)算和存儲(chǔ)工作，解決邊緣設(shè)備大量的數(shù)據(jù)上傳對(duì)云端造成巨大壓中心云，通過云計(jì)算實(shí)現(xiàn)大數(shù)據(jù)分析挖掘、數(shù)據(jù)共享，進(jìn)行算法模型的訓(xùn)練和升級(jí)，此后將升級(jí)后的算法推送到邊緣側(cè)，完成設(shè)備的更新和升級(jí)，實(shí)現(xiàn)自主學(xué)習(xí)閉環(huán)。與傳統(tǒng)的云計(jì)算和邊緣計(jì)協(xié)同具有以下優(yōu)勢(shì)：數(shù)據(jù)分析的靈活性。優(yōu)化用戶體驗(yàn)。系5受聯(lián)網(wǎng)的關(guān)系網(wǎng)終端數(shù)量和應(yīng)用部署的快速增加，產(chǎn)生了海量的物聯(lián)全性等方面面臨日益嚴(yán)峻的挑戰(zhàn)，通過邊緣計(jì)算和物聯(lián)網(wǎng)融合應(yīng)問題。從架構(gòu)上看，邊緣計(jì)算和物聯(lián)網(wǎng)融合應(yīng)用是由感知層、網(wǎng)絡(luò)層、平臺(tái)層和應(yīng)用層四個(gè)關(guān)鍵模塊構(gòu)成的。感知層負(fù)責(zé)采集物理轉(zhuǎn)換的功能，以便在各個(gè)層級(jí)間進(jìn)行信息傳輸，通過邊緣計(jì)算實(shí)現(xiàn)服務(wù)本地化處理。平臺(tái)層為終端設(shè)備提供統(tǒng)一的云端管理，實(shí)現(xiàn)與其他行業(yè)應(yīng)用的靈活對(duì)接，統(tǒng)一處理邊緣節(jié)點(diǎn)提供的數(shù)據(jù)，并將處理結(jié)果提供給應(yīng)用層。應(yīng)用層為物聯(lián)網(wǎng)的不同應(yīng)用場景提供最終服務(wù)，建立廣泛的行業(yè)適應(yīng)性，開發(fā)出更多與行業(yè)場景相聯(lián)網(wǎng)應(yīng)用。邊緣計(jì)算和物聯(lián)網(wǎng)融合應(yīng)用能夠?yàn)樾袠I(yè)數(shù)字化轉(zhuǎn)型提供強(qiáng)有求：在傳統(tǒng)的云計(jì)算、物聯(lián)網(wǎng)應(yīng)用中，用戶在獲取各種服務(wù)前，必須先將數(shù)據(jù)傳送至云計(jì)算中心，這大大增加了6數(shù)據(jù)安全的風(fēng)險(xiǎn)。邊緣計(jì)算和物聯(lián)網(wǎng)融合應(yīng)用能夠避免用戶將敏門的安全要求。景需要處理海量數(shù)據(jù)，如果將這些數(shù)據(jù)全部傳輸?shù)皆贫?，需要耗費(fèi)較高的時(shí)間成本，不能很好地滿足用戶的時(shí)效性要求。利用邊緣計(jì)算技術(shù)，在網(wǎng)絡(luò)邊緣側(cè)對(duì)減少帶寬成本：將海量的物聯(lián)網(wǎng)傳感數(shù)據(jù)完全匯集到云端數(shù)據(jù)中心，需要占用極高的帶寬資源。通過邊緣計(jì)算在邊緣端處理大量數(shù)據(jù)，只需將少量必要數(shù)據(jù)傳送至云端，不僅可以減少帶寬地服務(wù)。提升自治能力：邊緣計(jì)算實(shí)現(xiàn)了邊緣設(shè)備的自主決策，即使云端或傳輸網(wǎng)絡(luò)發(fā)生故障，邊緣設(shè)備依然可以自主運(yùn)行。這樣既能保證用戶的基本需求，又能在發(fā)生故障時(shí)迅速采取相應(yīng)措施，(三)邊緣計(jì)算在銀行業(yè)需要解決的核心問題治和業(yè)務(wù)快速響應(yīng)等服務(wù)能力要求的云邊協(xié)同解決方案是云端服務(wù)AI算法是應(yīng)用核心。在智慧網(wǎng)點(diǎn)的邊緣計(jì)算解決方案中，針對(duì)運(yùn)營、安防、營銷、風(fēng)控領(lǐng)域的諸多需求，AI模型的產(chǎn)出和應(yīng)用是7及服務(wù)的云邊同質(zhì)性。因此邊緣設(shè)備需要具備容器化的應(yīng)用管理模爆炸近端處理提供了基礎(chǔ)保障。二、銀行業(yè)邊緣節(jié)點(diǎn)納管運(yùn)行實(shí)踐型現(xiàn)邊緣節(jié)點(diǎn)納管是銀行智慧應(yīng)用邊側(cè)部署和算力整合的基礎(chǔ)，銀8理、策提供多管道的數(shù)據(jù)融合。銀行大規(guī)模異構(gòu)邊緣節(jié)點(diǎn)管理的邊緣計(jì)算體系設(shè)計(jì)中需考慮下算體系架構(gòu)包括：邊緣計(jì)算平臺(tái)、AI平臺(tái)、鏡像倉庫、邊緣節(jié)點(diǎn)和構(gòu)9、管理平臺(tái)對(duì)接入的邊緣節(jié)點(diǎn)的終端設(shè)備進(jìn)行管理1。業(yè)務(wù)中樞包括場的應(yīng)用。為實(shí)現(xiàn)大規(guī)模異構(gòu)節(jié)點(diǎn)納管，建議使用基于Kubernetes的云邊1中華人民共和國工業(yè)和信息化部.YD/T3987-2021基于云邊協(xié)同的邊緣節(jié)點(diǎn)管理解決方案能力要求.，保障了算法運(yùn)行場景的個(gè)性化。業(yè)務(wù)流程如下：程①分析業(yè)務(wù)需求并研制算法?？偡中袠I(yè)務(wù)人員分析業(yè)務(wù)痛點(diǎn)，②開發(fā)應(yīng)用并發(fā)布鏡像。應(yīng)用開發(fā)完成后制作成容器鏡像，上取應(yīng)用鏡像。③配置業(yè)務(wù)參數(shù)。分行、網(wǎng)點(diǎn)業(yè)務(wù)人員在平臺(tái)上完成對(duì)應(yīng)場景區(qū)域劃分等。④部署應(yīng)用。算法鏡像和業(yè)務(wù)參數(shù)配置由邊緣計(jì)算平臺(tái)進(jìn)行調(diào)備上的應(yīng)用負(fù)載。⑥納管邊緣節(jié)點(diǎn)，接入終端設(shè)備。邊緣計(jì)算平臺(tái)將邊緣節(jié)點(diǎn)納備綁定到邊緣節(jié)點(diǎn)。⑦算法應(yīng)用。算法與參數(shù)下發(fā)后，邊緣設(shè)備上的應(yīng)用使用本地理和轉(zhuǎn)發(fā)。⑧計(jì)算結(jié)果處置和反饋。加工后的計(jì)算結(jié)果被業(yè)務(wù)中樞發(fā)送至饋。絡(luò)與中心、邊緣與邊緣的互動(dòng)能夠更實(shí)時(shí)。關(guān)鍵挑戰(zhàn)、管理和運(yùn)用。縮和治理?，F(xiàn)精細(xì)化管控。整體架構(gòu)統(tǒng)一納管：邊緣節(jié)點(diǎn)的納管需要充分利用云原生技術(shù)，通過硬皆可被云端納管。用可以靈活的按照自定義的策略實(shí)現(xiàn)應(yīng)用實(shí)例的多節(jié)點(diǎn)部署和動(dòng)態(tài)虛擬控制面確保邊緣節(jié)點(diǎn)按照地域分離為不同集群，實(shí)現(xiàn)控制面自。關(guān)鍵技術(shù)一是統(tǒng)一納管。邊緣節(jié)點(diǎn)的統(tǒng)一納管需要借助容器技術(shù)和Kubernetes編排管理能力，容器技術(shù)相較于傳統(tǒng)部署模式的物理機(jī)特點(diǎn)。一般有兩種：式第一種是邊緣獨(dú)立集群部署模式：邊緣獨(dú)立集群將Kubernetes保持完整的Kubernetes的管控和調(diào)度能力。該模式適用于對(duì)本地業(yè)靠性要求較高的業(yè)務(wù)場景。第二種是邊緣托管集群部署模式：邊緣托管集群部署模式是Kubernetes控制面部署在云端，對(duì)邊緣多個(gè)節(jié)點(diǎn)進(jìn)行統(tǒng)一資源納管性比較小的場景。邊緣基礎(chǔ)設(shè)施需要在云端提供面向多云多集群場景的應(yīng)用管理佳解決方案。二是中心管控。邊緣節(jié)點(diǎn)的中心管控需要邊緣基礎(chǔ)設(shè)施在云端s進(jìn)行控制，使用角色給租戶授予節(jié)點(diǎn)的操作權(quán)限以及應(yīng)用的部署權(quán)在物理資源的操作方面，可以將節(jié)點(diǎn)抽象為Kubernetes的Node資源對(duì)象，使用云原生方式來創(chuàng)建、納管、刪除和升級(jí)邊緣節(jié)復(fù)或隔離。在業(yè)務(wù)負(fù)載的操作方面，可以使用Kubernetes的控制器來進(jìn)行批量管理和升級(jí)邊緣節(jié)點(diǎn)軟件。Kubernetes控制器是一種管理應(yīng)建、刪除和更新應(yīng)用。通過定義Deployment或StatefulSet等操作。三是邊緣自治。邊緣基礎(chǔ)設(shè)施作為分布式業(yè)務(wù)敏捷化能力的基。場確保狀態(tài)一致性。管理應(yīng)用和算法的統(tǒng)一管理是指用戶可以通過邊緣基礎(chǔ)設(shè)施管理面應(yīng)用和算法的統(tǒng)一管理可以讓用戶很方便地從云上對(duì)邊緣應(yīng)用進(jìn)行關(guān)鍵挑戰(zhàn)缺乏邊云協(xié)同管理方案和統(tǒng)一的應(yīng)用管理接口會(huì)導(dǎo)致邊緣應(yīng)用部署邊整體架構(gòu)應(yīng)用和算法統(tǒng)一管理應(yīng)該遵循“統(tǒng)一管理、高效部署、云邊協(xié)統(tǒng)一管理：通過制定統(tǒng)一的標(biāo)準(zhǔn)和流程來規(guī)范應(yīng)用和算法的開全性。關(guān)鍵技術(shù)一是應(yīng)用部署。編排模版是實(shí)現(xiàn)應(yīng)用程序自動(dòng)化部署的重要工界面編排這些模板可以幫助用戶在邊緣計(jì)算環(huán)境中自動(dòng)化部署和管可維護(hù)性。競爭資源，降低節(jié)點(diǎn)間負(fù)載均衡的復(fù)雜度。統(tǒng)一應(yīng)用市場是指通過中心化的應(yīng)用市場來管理和分發(fā)應(yīng)用程管理邊緣計(jì)算應(yīng)用程序，同時(shí)也能夠提高應(yīng)用程序的可靠性和安全應(yīng)用數(shù)據(jù)的隱私和保密性。緣節(jié)點(diǎn)上緩存最近使用的應(yīng)用程序鏡像，以便快速訪問和部署；而程序的運(yùn)行效率和性能。移的安全傳輸。20統(tǒng)一管理和監(jiān)控?？梢圆捎没谠圃蚄ubernetes的容器編排技源利用率?；A(chǔ)，可以通過內(nèi)部網(wǎng)絡(luò)、專線、5G等網(wǎng)絡(luò)通信技術(shù)，實(shí)現(xiàn)云、邊求負(fù)載情況和目標(biāo)服務(wù)的位置、時(shí)延和網(wǎng)絡(luò)質(zhì)量等因素進(jìn)行流量調(diào)除了以上技術(shù)手段，還需要進(jìn)行監(jiān)控和分析來實(shí)現(xiàn)服務(wù)流量治與查詢。21升系統(tǒng)性能和用戶體驗(yàn)。地發(fā)現(xiàn)和解決問題。關(guān)鍵挑戰(zhàn)避免部署多個(gè)agent占用過多資源，不能和云端一樣部署日志收集agent，監(jiān)控收集agent，監(jiān)控?cái)?shù)據(jù)導(dǎo)出exporter等多個(gè)組件來收22端統(tǒng)一管理海量邊緣節(jié)點(diǎn)可觀測數(shù)據(jù)采集agent配置并自動(dòng)下發(fā)，避免手動(dòng)配置邊緣節(jié)點(diǎn)數(shù)據(jù)采集的繁瑣操作，最好支持以O(shè)perator整體架構(gòu)關(guān)鍵技術(shù)Prometheus已經(jīng)成為云原生指標(biāo)監(jiān)控領(lǐng)域的事實(shí)標(biāo)準(zhǔn)，也逐漸cs23PrometheusOpenMetrics除了數(shù)據(jù)格式，Prometheus的查詢語言PromQL也逐漸成為指持用PromQL語言進(jìn)行查詢，最好能兼容PrometheusAPI；此外通置包括郵件、短信、運(yùn)維系統(tǒng)等多種通知渠道，最好以CRD的形式PrometheusRemoteWrite接口傳輸至云端的Prometheuse緣節(jié)點(diǎn)與應(yīng)用的監(jiān)控?cái)?shù)據(jù)。24關(guān)鍵挑戰(zhàn)一個(gè)重要問題。邊緣計(jì)算的一個(gè)重要問題。整體架構(gòu)計(jì)算構(gòu)建安全可信環(huán)境。考慮硬件、軟件、25關(guān)鍵技術(shù)侵檢測和預(yù)防系統(tǒng)以及網(wǎng)絡(luò)隔離和安全網(wǎng)關(guān)來實(shí)現(xiàn)對(duì)于網(wǎng)絡(luò)接入以檢測。26需要注意以下幾個(gè)方面：一和服務(wù)端/客戶端雙向認(rèn)證的方式保障信息交互的機(jī)密性，安全整性。云邊通信需要采用數(shù)字簽名證書加密和服務(wù)端/客戶端雙來源的CA證書以及選擇安全長度的私鑰進(jìn)行加密，以防止證書和偽造，是保證云邊協(xié)同安全的重要措施。27邊緣計(jì)算平臺(tái)安全技術(shù)：邊緣計(jì)算平臺(tái)安全需要注意以下幾個(gè)采用虛擬化和容器化技術(shù)，實(shí)現(xiàn)多租戶環(huán)境下的資源隔離和資源管流程，及時(shí)處理和跟蹤漏洞修復(fù)工作。設(shè)備的接入，管理上萬個(gè)Pod，因此需要對(duì)邊緣計(jì)算平臺(tái)的大規(guī)模異構(gòu)務(wù)質(zhì)量進(jìn)行評(píng)價(jià)。s28ETCD采用固態(tài)硬盤存儲(chǔ)數(shù)據(jù)，其他核心服務(wù)組件包括收發(fā)消息的集群類型配置參數(shù)數(shù)量用途邊緣計(jì)算平臺(tái)Master32C64G1運(yùn)行核心服務(wù)組件Worker16C32G2Prometheus4CloudCoreClusterLoader2externalclusterMaster32C64G3運(yùn)行服務(wù)組件Worker9hollow-edge-node測試納管邊緣節(jié)點(diǎn)規(guī)模在邊緣計(jì)算平臺(tái)創(chuàng)建管理節(jié)點(diǎn)和工作節(jié)點(diǎn)，作為邊緣設(shè)備的載29定量測評(píng)：監(jiān)測納管前后云端各節(jié)點(diǎn)及關(guān)鍵服務(wù)組件的資源消測試結(jié)果：納管成功率為100%，集群及各核心組件的資源消耗云邊應(yīng)用調(diào)度測試，驗(yàn)證應(yīng)用管理能力。在獲知調(diào)度接口能力基礎(chǔ)上，使用定量測評(píng)：采集Pod部署成功率及調(diào)度邊緣應(yīng)用的生命周期數(shù)創(chuàng)建成功率達(dá)到100%，集群及各核心組件的資源消耗情況正常。依MaximumtypeMaximumvalueNumberofNodesNumberofPods30000NumberofPodsperNode3030NumberofNamespaces300NumberofPodsperNamespaceCreatedeploymentpersecondmetricP50(ms)P90(ms)P99(ms)pod_startup19993.78655149381.6442171075.5119__createto__533.941911932.8782581027.646362__scheduleto__245.44750275016.7389583991.75465__runto__19540.349874260.9901588769.018__scheduleto__19502.23434148913.0365Timeofcreatepod587s縮減cloudcore副本數(shù)測試邊緣計(jì)算平臺(tái)單個(gè)CloudCore具備臨時(shí)支撐大規(guī)模節(jié)點(diǎn)的重啟集群后對(duì)邊緣節(jié)點(diǎn)重新納管點(diǎn)和管控面工作正常的前提下，重啟被測集群所有節(jié)點(diǎn)(除邊緣節(jié)連接。重新構(gòu)建資源邊緣計(jì)算平臺(tái)中邊緣節(jié)點(diǎn)應(yīng)用的重新創(chuàng)建通過云邊應(yīng)用重新創(chuàng)31測試結(jié)果：重新創(chuàng)建成功率為100%，集群及各核心組件的資源納管后集群運(yùn)行長穩(wěn)測試正測試結(jié)果：集群可保持持續(xù)運(yùn)行，1000個(gè)邊緣節(jié)點(diǎn)連接穩(wěn)定，源指標(biāo)保持平穩(wěn)。邊緣應(yīng)用長穩(wěn)測試?yán)m(xù)運(yùn)行48小時(shí)。況正常。32三、邊緣計(jì)算在銀行智慧網(wǎng)點(diǎn)的應(yīng)用農(nóng)行初步實(shí)現(xiàn)基于邊緣計(jì)算的智慧網(wǎng)點(diǎn)場景，通過利用現(xiàn)有安體系建設(shè)乃至智慧網(wǎng)點(diǎn)能力輸出打下堅(jiān)