云邊端協(xié)同的智能視頻方案研究報(bào)告 2023_第1頁(yè)
云邊端協(xié)同的智能視頻方案研究報(bào)告 2023_第2頁(yè)
云邊端協(xié)同的智能視頻方案研究報(bào)告 2023_第3頁(yè)
云邊端協(xié)同的智能視頻方案研究報(bào)告 2023_第4頁(yè)
云邊端協(xié)同的智能視頻方案研究報(bào)告 2023_第5頁(yè)
已閱讀5頁(yè),還剩216頁(yè)未讀 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說(shuō)明:本文檔由用戶(hù)提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

11編寫(xiě)組很榮幸能夠?yàn)槟噬线@份方案文檔,探討了解我們?cè)谛枨蠓治觥⒓夹g(shù)框架、關(guān)鍵技術(shù)細(xì)節(jié)以及實(shí)際案例等多個(gè)方面所積累的知識(shí)和經(jīng)驗(yàn)。本文檔旨在為您呈現(xiàn)一個(gè)全面而深入的視角,帶您深入了解隨著信息技術(shù)的飛速發(fā)展,我們面臨著新的挑戰(zhàn)和機(jī)遇。在這個(gè)數(shù)字化時(shí)代,邊緣計(jì)算作為一項(xiàng)前沿技術(shù),已經(jīng)引領(lǐng)著各行各業(yè)的變革。從智能設(shè)備到數(shù)據(jù)處理,從實(shí)時(shí)決策到安全性保障,邊緣計(jì)算為我們開(kāi)啟了嶄新的可能性。而本方案正是在這一背景下應(yīng)運(yùn)在這份方案文檔中,您將深入了解我們所構(gòu)建的技術(shù)框架,以及涵蓋數(shù)據(jù)傳輸、設(shè)備管理、云邊協(xié)同調(diào)度、安全性保障等多個(gè)關(guān)鍵技術(shù)的詳細(xì)解釋。我們不僅關(guān)注技術(shù)的內(nèi)在,更注重技術(shù)在實(shí)際場(chǎng)景中的應(yīng)用。因此,您還將在文檔中找到豐富的案例分享,這些案例涵蓋了從音視頻領(lǐng)域到智慧校園、零售等多個(gè)領(lǐng)域的實(shí)際應(yīng)用,本方案的完成離不開(kāi)團(tuán)隊(duì)的共同努力和合作,同時(shí)也得益于眾多合作伙伴和專(zhuān)家的支持與建議。在此,我要對(duì)他們的付出表示深希望這份方案文檔能夠?yàn)槟峁┯幸娴男畔⒑鸵暯?,幫助您更好地理解邊緣?jì)算領(lǐng)域的發(fā)展動(dòng)向以及我們的創(chuàng)新成果。如果您在祝愿本文檔能夠?yàn)槟鷰?lái)價(jià)值,啟發(fā)您在未來(lái)的技術(shù)探索中取由于時(shí)間倉(cāng)促,水平所限,錯(cuò)誤和不足之處在所難免,歡迎各I I II III 1 3 5(一)數(shù)據(jù)傳輸和存儲(chǔ)技術(shù) 5 5 6 9 12 14 14 23 27 32 37 37 48 55 55 56V 58 59 59 61 62 63 63 75 89 95 95 97 100 102V云邊端協(xié)同的智能視頻方案研究報(bào)告隨著人們對(duì)視頻需求的不斷增加,視頻應(yīng)用場(chǎng)景也不斷擴(kuò)大,包括監(jiān)控、視頻會(huì)議、在線(xiàn)教育、智慧城市、智能家居等領(lǐng)域,使得對(duì)視頻處理能力的要求越來(lái)越高。云計(jì)算技術(shù)的快速發(fā)展為實(shí)現(xiàn)云邊端協(xié)同的智能視頻方案提供了技術(shù)支持,可以大大提高視頻處理效率和準(zhǔn)確性,并實(shí)現(xiàn)分布式計(jì)算和存儲(chǔ)。物聯(lián)網(wǎng)技術(shù)的廣泛應(yīng)用使得設(shè)備之間的連接更加緊密,也為云邊端協(xié)同的智能視頻方案提供了技術(shù)支持,可以實(shí)現(xiàn)設(shè)備之間的信息傳遞和互操作。人工智能技術(shù)的不斷進(jìn)步和發(fā)展,尤其是深度學(xué)習(xí)等技術(shù)的應(yīng)用,使得智能視頻處理更加智能化和高效化,提高了視頻處理的準(zhǔn)確性和自動(dòng)隨著安全和隱私需求的提高,對(duì)視頻處理的要求也越來(lái)越高,特別是在監(jiān)控和安全領(lǐng)域。云邊端協(xié)同的智能視頻方案可以更好地綜上所述,云邊端協(xié)同的智能視頻需求背景主要源于視頻應(yīng)用場(chǎng)景的擴(kuò)大、云計(jì)算技術(shù)的快速發(fā)展、物聯(lián)網(wǎng)技術(shù)的廣泛應(yīng)用、人工智能技術(shù)的進(jìn)步以及安全和隱私需求的提高等因素。主要可以概1.數(shù)據(jù)傳輸和存儲(chǔ)需求:智能視頻應(yīng)用需要大量的數(shù)據(jù)傳輸和存儲(chǔ),而邊緣設(shè)備的處理能力有限,無(wú)法滿(mǎn)足這些需求。因此,需1要將數(shù)據(jù)傳輸?shù)皆贫诉M(jìn)行存儲(chǔ)和處理,并將處理結(jié)果傳回邊緣設(shè)備,2.實(shí)時(shí)性需求:智能視頻應(yīng)用通常需要實(shí)時(shí)處理視頻數(shù)據(jù),對(duì)于一些需要及時(shí)反饋的應(yīng)用場(chǎng)景,如智能監(jiān)控、智能交通等,要求對(duì)視頻數(shù)據(jù)進(jìn)行實(shí)時(shí)處理和分析。因此,需要邊緣設(shè)備和云端之間3.算法優(yōu)化需求:智能視頻處理通常需要復(fù)雜的算法支持,而邊緣設(shè)備的計(jì)算能力有限,無(wú)法支持較為復(fù)雜的算法,因此需要將算法部分放在云端進(jìn)行處理。同時(shí),為了降低傳輸延遲和減少網(wǎng)絡(luò)帶寬的消耗,需要對(duì)算法進(jìn)行優(yōu)化,使其能夠在邊緣設(shè)備上運(yùn)行,4.安全性需求:智能視頻處理涉及到大量的敏感信息,需要采取一系列的安全措施來(lái)保障數(shù)據(jù)的安全性,如數(shù)據(jù)加密、身份認(rèn)證等。同時(shí),需要建立完善的安全管理機(jī)制,包括安全審計(jì)、漏洞修5.可擴(kuò)展性需求:隨著智能視頻應(yīng)用的不斷發(fā)展和普及,需要6.用戶(hù)體驗(yàn)需求:智能視頻處理的最終目的是為用戶(hù)提供高質(zhì)量的服務(wù)體驗(yàn),因此需要關(guān)注用戶(hù)體驗(yàn)的各個(gè)方面,包括響應(yīng)速度、圖像清晰度、交互方式等,以滿(mǎn)足用戶(hù)的需求和期望。同時(shí),需要進(jìn)行用戶(hù)調(diào)研和反饋,不斷改進(jìn)和優(yōu)化系統(tǒng)的功能和性能,提高用27.成本效益需求:在智能視頻處理中,云端和邊緣設(shè)備的資源使用需要考慮成本效益,如網(wǎng)絡(luò)帶寬、存儲(chǔ)、計(jì)算資源等,需要根端邊云協(xié)同的智能視頻系統(tǒng)需具備高效的視頻采集和傳輸、端邊智能分析、靈活的存儲(chǔ)與檢索、安全與隱私保護(hù)、可擴(kuò)展性與兼容性、用戶(hù)界面與交互、系統(tǒng)穩(wěn)定性與可靠性等關(guān)鍵功能和性能。通過(guò)滿(mǎn)足這些需求,智能視頻系統(tǒng)能夠提供高質(zhì)量、可靠的監(jiān)控和1.數(shù)據(jù)傳輸和存儲(chǔ)技術(shù):包括數(shù)據(jù)壓縮、加密傳輸、云端存儲(chǔ)、邊緣存儲(chǔ)等技術(shù),以確保數(shù)據(jù)的安全傳輸和存儲(chǔ),并提高數(shù)據(jù)傳輸2.實(shí)時(shí)性處理技術(shù):包括流媒體傳輸技術(shù)、低延遲編碼技術(shù)、并行處理技術(shù)等,以保證視頻數(shù)據(jù)的實(shí)時(shí)處理和及時(shí)反饋處理結(jié)果。3.智能視頻處理算法技術(shù):包括目標(biāo)檢測(cè)、行為識(shí)別、人臉識(shí)4.云邊端協(xié)同調(diào)度技術(shù):包括任務(wù)分配、資源調(diào)度、動(dòng)態(tài)負(fù)載35.安全性保障技術(shù):包括身份認(rèn)證、數(shù)據(jù)加密、安全審計(jì)、漏6.用戶(hù)交互界面技術(shù):包括用戶(hù)界面設(shè)計(jì)、交互方式設(shè)計(jì)等技基于以上技術(shù),云邊端協(xié)同的智能視頻方案技術(shù)框架可以分為1.應(yīng)用層:用戶(hù)通過(guò)界面操作,完成對(duì)智能視頻處理的需求定2.云邊端協(xié)同處理層:通過(guò)任務(wù)調(diào)度和資源分配等機(jī)制,將任3.基礎(chǔ)設(shè)施層:提供數(shù)據(jù)傳輸和存儲(chǔ)、實(shí)時(shí)處理、安全性保障4在該技術(shù)框架下,云端和邊緣端協(xié)同處理任務(wù),利用分布式計(jì)算資源和算法實(shí)現(xiàn)視頻數(shù)據(jù)的智能處理和分析,提高了視頻處理效云邊端協(xié)同的智能視頻方案中,涉及到多種關(guān)鍵技術(shù),以下對(duì)(一)數(shù)據(jù)傳輸和存儲(chǔ)技術(shù)數(shù)據(jù)傳輸和存儲(chǔ)技術(shù)是保證云邊端協(xié)同的智能視頻方案穩(wěn)定和高效運(yùn)行的關(guān)鍵技術(shù)。其中,數(shù)據(jù)壓縮技術(shù)可以降低數(shù)據(jù)傳輸時(shí)的帶寬占用和傳輸延遲,加密傳輸技術(shù)可以保證數(shù)據(jù)的安全性,云端存儲(chǔ)技術(shù)可以提高數(shù)據(jù)存儲(chǔ)利用率和容錯(cuò)性,邊緣存儲(chǔ)技術(shù)則可以設(shè)備和應(yīng)用管理技術(shù)是保證端邊云協(xié)同的智能視頻解決方案能夠正常運(yùn)行的基礎(chǔ)技術(shù)。該技術(shù)包括邊緣和端設(shè)備的統(tǒng)一管控、應(yīng)用管理和可觀(guān)測(cè)性等關(guān)鍵技術(shù),可以實(shí)現(xiàn)對(duì)邊緣和端設(shè)備的有效管下圖是設(shè)備和應(yīng)用管理的架構(gòu)圖。通過(guò)在傳統(tǒng)的云端兩層架構(gòu)5之間添加邊緣站點(diǎn)這一物理層,使得每個(gè)邊緣節(jié)點(diǎn)由最近的站點(diǎn)進(jìn)行管理,從而降低云端中心的負(fù)載、服務(wù)時(shí)延,并提高邊緣節(jié)點(diǎn)的在端邊云協(xié)同的智能視頻解決方案中,設(shè)備統(tǒng)一管控技術(shù)起著至關(guān)重要的作用,該技術(shù)涉及對(duì)邊緣計(jì)算節(jié)點(diǎn)和端側(cè)攝像頭的管理和監(jiān)控,包括但不限于設(shè)備的激活注冊(cè)、配置、狀態(tài)檢測(cè)、軟硬件邊緣計(jì)算節(jié)點(diǎn)主要負(fù)責(zé)承擔(dān)邊緣計(jì)算任務(wù)。設(shè)備統(tǒng)一管控技術(shù)61.部署在邊緣節(jié)點(diǎn)中的agent組件,會(huì)定期匯報(bào)心跳到云端控2.從云端控制中心對(duì)該節(jié)點(diǎn)注冊(cè)激活,后端會(huì)根據(jù)心跳信息依至此,該邊緣節(jié)點(diǎn)便成功納管至該系統(tǒng)里。在中心控制中心將可以管理和操作該邊緣節(jié)點(diǎn),包括但不限于在線(xiàn)狀態(tài)查看、資源監(jiān)群,以提供應(yīng)用多副本、容災(zāi)互備的能力。比如,同屬于在況等,以便及時(shí)進(jìn)行故障排查和性能優(yōu)化。狀態(tài)監(jiān)測(cè)主要分為設(shè)備狀態(tài)檢測(cè)和應(yīng)用狀態(tài)檢測(cè)。其中,設(shè)備檢測(cè)主要包括7節(jié)點(diǎn)的在線(xiàn)狀態(tài)(設(shè)備與網(wǎng)絡(luò)的連接是否正常)、運(yùn)行狀態(tài)),則是對(duì)各個(gè)應(yīng)用程序的實(shí)時(shí)監(jiān)測(cè),包括但不限于應(yīng)用的運(yùn)行新以修復(fù)漏洞、添加新功能或改進(jìn)性能,每個(gè)軟件組件都有唯一的版本號(hào),管理員可以在中心控制臺(tái)上查看到邊端側(cè)攝像頭是智能視頻解決方案中負(fù)責(zé)采集圖像或視頻數(shù)據(jù)的設(shè)備,采集到數(shù)據(jù)可結(jié)合模型算法應(yīng)用實(shí)現(xiàn)視頻內(nèi)容分析和智能識(shí)的接入,屏蔽底層異構(gòu),對(duì)端側(cè)攝像頭進(jìn)行統(tǒng)一管理,并提供以下8應(yīng)用管理是端邊云協(xié)同的智能視頻解決方案中的另一重要組成部分,它涉及到對(duì)各種應(yīng)用程序的管理和部署。每個(gè)應(yīng)用采用合一算法這幾類(lèi)。此外,還可以將這些應(yīng)用組成一體機(jī)應(yīng)用進(jìn)行統(tǒng)官方應(yīng)用是一系列與智能視頻解決方案相關(guān)的應(yīng)用,也是本方等元信息組成。在智能視頻領(lǐng)域里,這些應(yīng)用可以是關(guān)于視頻編解碼的應(yīng)用、也可以是對(duì)應(yīng)場(chǎng)景的目標(biāo)檢測(cè)和跟蹤算法應(yīng)用。根據(jù)不同的場(chǎng)景和需求,通過(guò)云邊通道,用戶(hù)可以將應(yīng)用下發(fā)到具體的邊當(dāng)應(yīng)用成功部署到邊緣節(jié)點(diǎn)后,應(yīng)用的實(shí)例狀態(tài)會(huì)上報(bào)回中心,9此外,官方應(yīng)用可以在邊緣節(jié)點(diǎn)出廠(chǎng)時(shí)便內(nèi)置進(jìn)去,以減少應(yīng)用部署時(shí)鏡像拉取的時(shí)間,從而實(shí)現(xiàn)應(yīng)用秒級(jí)別的啟動(dòng)。這些預(yù)置的信息同樣會(huì)記錄在中心控制中心里,用戶(hù)可以通過(guò)中心查看預(yù)置自定義應(yīng)用則是由用戶(hù)自定義創(chuàng)建的容器應(yīng)用,由用戶(hù)自行管不同場(chǎng)景需求并不相同,比如智慧交通和智慧園區(qū)場(chǎng)景里所需要的算法并不相同。為了賦予用戶(hù)更高的自由度,以滿(mǎn)足個(gè)性化、場(chǎng)景化需求,本方案設(shè)計(jì)了多合一算法的功能。該功能可根據(jù)不同在使用多合一算法前,需要事先在中心定義好單個(gè)算子的名稱(chēng)、運(yùn)行架構(gòu)、所需的運(yùn)行資源以及模型文件地址。當(dāng)部署一個(gè)多合一算法時(shí),將會(huì)將這些信息整合在一起,通過(guò)模板創(chuàng)建實(shí)際的部署取。同時(shí),算子內(nèi)部會(huì)掛載一個(gè)宿主機(jī)的目錄,用于存儲(chǔ)存儲(chǔ)下來(lái)為避免舊版本帶來(lái)的臟數(shù)據(jù),每次啟動(dòng)時(shí),都需要清空,并且從進(jìn)程將會(huì)讀取該路徑下數(shù)據(jù)。完成進(jìn)程初始化工作,監(jiān)聽(tīng)端口,建為了加速標(biāo)品交付速度,本方案提出了一體機(jī)套件的功能,實(shí)現(xiàn)對(duì)于邊緣節(jié)點(diǎn)的"一鍵裝機(jī)",標(biāo)品快速交付,即支持將多款官方應(yīng)用、官方算法等捆綁到一起,作為一個(gè)一體機(jī)套件包。從而用戶(hù)可觀(guān)測(cè)性是端邊云協(xié)同的智能視頻解決方案中的重要技術(shù)之一。它涉及對(duì)系統(tǒng)的運(yùn)行狀態(tài)和性能進(jìn)行實(shí)時(shí)監(jiān)測(cè)和分析,以便及時(shí)發(fā)架構(gòu),從而實(shí)現(xiàn)監(jiān)測(cè)指標(biāo)收集和數(shù)據(jù)存儲(chǔ)和查詢(xún),架構(gòu)如下圖所示:每個(gè)邊緣節(jié)點(diǎn)都會(huì)部署一個(gè)vm-agent,用于實(shí)時(shí)收集系統(tǒng)中各系統(tǒng)資源利用率、應(yīng)用性能指標(biāo)、網(wǎng)絡(luò)狀況等。采集到的數(shù)據(jù)除了機(jī)版組件里,以便在邊緣控制臺(tái)上直接查看到當(dāng)前節(jié)點(diǎn)的運(yùn)行狀態(tài)。特定的監(jiān)測(cè)指標(biāo)進(jìn)行實(shí)時(shí)查詢(xún)、數(shù)據(jù)聚合和分析,并結(jié)合grafana此外,管理員或用戶(hù)還可以設(shè)置報(bào)警規(guī)則,當(dāng)監(jiān)測(cè)指標(biāo)超出設(shè)定的閾值或發(fā)生異常時(shí),系統(tǒng)將自動(dòng)觸發(fā)報(bào)警通知,以便及時(shí)采取邊緣側(cè)的應(yīng)用程序,容器運(yùn)行底座,擁有控制面能上。邊緣計(jì)算由云中心的延伸逐步演變?yōu)樵?邊-端一體化的基礎(chǔ)設(shè)施,這個(gè)過(guò)程也會(huì)越發(fā)觸及更靠近用戶(hù)側(cè)的邊緣環(huán)境,這就使得越來(lái)越多邊緣側(cè)的小型機(jī)器或機(jī)房、盒子設(shè)備、甚至是單片機(jī)設(shè)備需要作為邊緣側(cè)算力節(jié)點(diǎn)納入到邊緣計(jì)算管理范疇。管理這些邊緣設(shè)備難點(diǎn)在于克服異構(gòu)性、設(shè)備資源極端限制、邊緣網(wǎng)絡(luò)質(zhì)量差等主要因素。目前云原K8S生已經(jīng)被廣泛用于云計(jì)算領(lǐng)域,完成應(yīng)用到基礎(chǔ)設(shè)施的敏捷CI/CD,但其設(shè)計(jì)針對(duì)的領(lǐng)域更多是對(duì)數(shù)據(jù)中心的成群節(jié)點(diǎn)的管理,對(duì)于邊緣零散設(shè)備管理的技術(shù)配套仍然沒(méi)跟上,所由于邊緣計(jì)算業(yè)務(wù)場(chǎng)景充斥著大量的異構(gòu)、小規(guī)格的邊緣算力,像各種智能終端、設(shè)備,它們對(duì)資源的約束是極致的,無(wú)法接受額對(duì)已有框架的輕量化改造、容器引擎的輕量化實(shí)現(xiàn),有效提升邊緣業(yè)務(wù)并發(fā)啟動(dòng)速度,大幅降低穩(wěn)態(tài)下的內(nèi)存占用,滿(mǎn)足用戶(hù)的基本(1)獨(dú)立性:?jiǎn)螜C(jī)與中心無(wú)任何依賴(lài)關(guān)系;單機(jī)之間的資源(4)功能的有限性:?jiǎn)螜C(jī)僅滿(mǎn)足基本的容器管理需求,包括用來(lái)管理所有依賴(lài)子模塊的集成問(wèn)題,同時(shí)取消數(shù)據(jù)庫(kù)存儲(chǔ),直接口,設(shè)計(jì)了server模塊,為了能夠被標(biāo)準(zhǔn)k8s管理,將云相應(yīng)裁剪完成kubelet、kube-proxy、containerd裁剪統(tǒng)一集成到同一個(gè)可執(zhí)行文件可以作為不同的進(jìn)程使用,例如,當(dāng)文件名樣一來(lái),只需要一份代碼和一個(gè)進(jìn)程,就能包含多個(gè)服務(wù)。令管理的命令行工具,“/docker/docker/pkg/reexec”包作為進(jìn)程管理工具。當(dāng)二進(jìn)制以指定名稱(chēng)命名時(shí),則對(duì)應(yīng)啟動(dòng)相應(yīng)名稱(chēng)的進(jìn)程。例如,edgelite的代碼編譯出來(lái)的二進(jìn)制包含了containerd、kubectl、crictl、ctr進(jìn)程。如果編譯的二進(jìn)制命名規(guī)范一致,使得與k8s相關(guān)的kubectl、client-go可以正常調(diào)用(2)Server對(duì)接收到請(qǐng)求,對(duì)請(qǐng)求進(jìn)行解析,解析出請(qǐng)求的(3)根據(jù)請(qǐng)求的資源類(lèi)型和操作類(lèi)型(CREATE、UPDATE、(5)對(duì)于更新事件的操作類(lèi)型(CREATE、UPDATE、PATCH、),完成資源對(duì)象的存儲(chǔ)。為了確保寫(xiě)一致性,該模塊維護(hù)本地文件存儲(chǔ)模塊相較于單純的讀寫(xiě)本地文件,主要增加了以現(xiàn)靈活調(diào)整。目前,該模塊對(duì)接server資源接口,按照目錄地址+文件名的方式來(lái)存放和索引資源。如果其他模塊(如promlite)需要向本地存儲(chǔ)遷移,可在初始化時(shí)自定(2)增加了讀取緩存,可以減少訪(fǎng)問(wèn)相同資源的內(nèi)存寫(xiě)操作都先在臨時(shí)目錄下進(jìn)行,沒(méi)有錯(cuò)誤后,再拷貝到正常的進(jìn)程中,因此組件之間的資源同步可以通過(guò)進(jìn)程內(nèi)的消息通信來(lái)完在EdgeLite中,需要進(jìn)行資源同步的場(chǎng)景主要是:當(dāng)存儲(chǔ)的于消息訂閱/發(fā)布的模式。目前,模塊與模塊之間沒(méi)有相互傳輸消息的需求,即只有一對(duì)多的消息單向傳遞,而沒(méi)有多對(duì)多或雙向的消dispatcher模塊采用消息訂閱發(fā)布的模式,每個(gè)客戶(hù)端作為消存儲(chǔ)對(duì)象發(fā)生變更時(shí),將消息通知給每個(gè)監(jiān)聽(tīng)此對(duì)1.4Edgelite-PodController設(shè)計(jì)再支持Deployment、DaemonSet高階應(yīng)用部署。因此,單機(jī)版不再具備保證指定實(shí)例個(gè)數(shù)的Pod運(yùn)行的能力。如果單機(jī)因?yàn)橘Y源達(dá)到配置的使用上限,造成Pod被驅(qū)逐刪除,即使機(jī)器資源恢復(fù)到可用此,單機(jī)版需要在保證輕量化的同時(shí),也需要提供自動(dòng)恢復(fù)被驅(qū)逐會(huì)更新為Failed狀態(tài),此外,當(dāng)機(jī)器可用資源小于臨界值時(shí),基于以上的特點(diǎn),我們可以設(shè)置一個(gè)簡(jiǎn)單的controller,僅對(duì)被驅(qū)在邊緣計(jì)算場(chǎng)景下,許多邊緣節(jié)點(diǎn)都位于私有網(wǎng)絡(luò)中。由于節(jié)等服務(wù)。這導(dǎo)致常用的運(yùn)維操作如日志查詢(xún)、遠(yuǎn)程命令執(zhí)行、指標(biāo)數(shù)據(jù)查詢(xún)等無(wú)法實(shí)現(xiàn)。因此,我們需要開(kāi)辟一條云端與邊緣側(cè)的通提供一個(gè)能夠跨越局域網(wǎng)屏障,實(shí)現(xiàn)穩(wěn)定可靠的數(shù)據(jù)傳輸,支持多種協(xié)議代理的云邊協(xié)同通道。通過(guò)這種方式,我們可以構(gòu)建出云-邊-端一體化的請(qǐng)求通道解決方案,從而將中心云、邊緣云、私有現(xiàn)場(chǎng)IDC和邊緣盒子設(shè)備等整合成一個(gè)資源混合云,實(shí)現(xiàn)容器化在云邊傳遞云端請(qǐng)求2)如何攔截云端請(qǐng)求3)邊緣如何處理云端請(qǐng)求4)高可用性的問(wèn)題。2.1使用websocket構(gòu)建云邊通道,傳遞云端請(qǐng)求遞消息。Cloud-Tunnel使用Edge-Serv的云邊通道連接,Edge-Tunnel則使用Tunnel-Client模塊與Cloud-責(zé)將http客戶(hù)端的請(qǐng)求代理轉(zhuǎn)發(fā)到邊緣進(jìn)行處理。它包括proxy(1)ProxyServer(2)TunnelServer端可以使用這個(gè)DNS解析,將請(qǐng)求發(fā)送給與目標(biāo)邊緣設(shè)備建立有云邊通道的cloud-tunnel。同時(shí),如果HTTP客戶(hù)端無(wú)法直接使用edge-tunnel是云邊通道的邊端組件,負(fù)責(zé)將云端下發(fā)的請(qǐng)求消(1)tunnelclienttunnelclient是云邊通道websocket連接的客戶(hù)端。edge-(2)httpclientcloud-tunnel路由請(qǐng)求實(shí)現(xiàn)高可用性每個(gè)邊緣節(jié)點(diǎn)都會(huì)運(yùn)行一個(gè)名為edge-tunnel的模塊,而這里署多份。在云端維護(hù)一個(gè)名為CloudTunnel的configmap,cloud-我們希望不僅能夠在邊緣側(cè)直接訪(fǎng)問(wèn)輕量化單機(jī)平臺(tái),而且能在邊緣離線(xiàn)的場(chǎng)景下,邊緣控制面可以作為一個(gè)獨(dú)立的系統(tǒng),直接調(diào)度本地的資源,實(shí)現(xiàn)本地業(yè)務(wù)的運(yùn)行。與此同時(shí),當(dāng)邊緣設(shè)備需要連接到中心時(shí),可以通過(guò)中心統(tǒng)一管理邊緣設(shè)備,實(shí)現(xiàn)完整全局的資源統(tǒng)一調(diào)度。這種模式可以保證邊緣設(shè)備在離線(xiàn)的情況下仍然能夠獨(dú)立運(yùn)行,并且當(dāng)需要連接到中心時(shí),可以實(shí)現(xiàn)資源的統(tǒng)一調(diào)度和管理。這種模式可以適用于一些需要實(shí)時(shí)響應(yīng)的場(chǎng)景,例如智能制造、智能交通等。在智能制造中,邊緣設(shè)備可以實(shí)時(shí)采集數(shù)據(jù),并進(jìn)行本地的處理和分析,從而實(shí)現(xiàn)對(duì)生產(chǎn)過(guò)程的實(shí)時(shí)監(jiān)控和調(diào)整。在智能交通中,邊緣設(shè)備可以實(shí)時(shí)感知交通流量和路況,并做出相應(yīng)的調(diào)度和指揮,從而實(shí)現(xiàn)交通的暢通和安全。因此,邊緣控制面結(jié)合中心統(tǒng)一管理的方式,可以有效地實(shí)現(xiàn)邊緣設(shè)備資源在Cloudlite架構(gòu)中,為了實(shí)現(xiàn)對(duì)邊緣單機(jī)的統(tǒng)一納管和K8s這些controller主要負(fù)責(zé)以下兩個(gè)任務(wù)1)從邊緣單機(jī)拉取資到邊緣單機(jī)。其中,Cloudlite模塊與邊緣單機(jī)同步資源的通道是云邊通道。該通道能夠?qū)崟r(shí)感知中心資源的變化,并將這些變化的信息主動(dòng)下發(fā)到邊緣單機(jī)中,從而實(shí)現(xiàn)對(duì)邊緣資源的實(shí)時(shí)更新和同步??偟膩?lái)說(shuō),Cloudlite模塊的設(shè)計(jì)實(shí)現(xiàn)了對(duì)邊緣單機(jī)的統(tǒng)一納管提供了對(duì)邊緣節(jié)點(diǎn)進(jìn)行管理和調(diào)度的能力。在cloud需要關(guān)注Pod、Node、Service、Endpoint、ConfigMap、Secret六動(dòng)該節(jié)點(diǎn)的同步任務(wù);當(dāng)節(jié)點(diǎn)被從中心刪除時(shí),停止并刪除同步任syncer是執(zhí)行節(jié)點(diǎn)資源同步任務(wù)的模塊。當(dāng)啟動(dòng)之后,會(huì)周期值(資源namespace+name)添加到工作隊(duì)列WorkQueue中。行工作隊(duì)列中的任務(wù)。syncResourceHandler的主要工作過(guò)程如下:(1)查詢(xún)中心和邊緣是否存在資源。如果兩者都不存在,則(2)如果中心存在資源,而邊緣不存在,則(3)如果中心不存在資源,而邊緣存在,則(4)如果中心和邊緣都存在該資源,則需要以中心版本為主,(5)如果以上步驟在邊緣執(zhí)行失敗,則需要將任務(wù)重新加入(2)Pod非強(qiáng)制刪除時(shí),Pod會(huì)設(shè)置DeleteTimeStamp,Pod(2)中心沒(méi)有、邊緣有,(檢查資源是否有使用),若沒(méi)有心sync-controller提供同步資源接口(約定只同步pod和node(3)中心有,邊緣沒(méi)有,在邊緣創(chuàng)建資源(添加中心創(chuàng)建注kubernetes.io/owner.by.cloud=true)通過(guò)同步創(chuàng)建的資平面,但由于資源異構(gòu)、機(jī)器的運(yùn)營(yíng)商、云供應(yīng)商不同,邏輯上自案通過(guò)給node打標(biāo)簽、劃分邏輯組,并使用nodeSelector或址,則需要手動(dòng)更新每個(gè)所需的deployment,管理困難且維護(hù)成本可達(dá)或者訪(fǎng)問(wèn)效率低下的問(wèn)題。有些服務(wù)我們希望每個(gè)區(qū)域中都運(yùn)以節(jié)點(diǎn)池的視角對(duì)不同邊緣區(qū)域下的主機(jī)進(jìn)行統(tǒng)一管理和運(yùn)維,通過(guò)使用新的單元化部署模型,將用戶(hù)的工作負(fù)載部署在不同的節(jié)點(diǎn)池中,業(yè)務(wù)的實(shí)例數(shù)和版本都可以按照節(jié)點(diǎn)池的維度進(jìn)行統(tǒng)一管隨著Kubernetes(k8s)的不斷發(fā)展,自定義資源(Custom自定義資源,用戶(hù)可以擴(kuò)展k8s的功能場(chǎng)景。而在許多場(chǎng)景中,需要對(duì)節(jié)點(diǎn)進(jìn)行分組管理,這就用到了自據(jù)特定的需求將節(jié)點(diǎn)分組,從而更好地利用和管理節(jié)點(diǎn)資源。在Nodepool中,通過(guò)指定標(biāo)簽來(lái)實(shí)現(xiàn)節(jié)點(diǎn)的分組。義的節(jié)點(diǎn)池指定特定的標(biāo)簽,從而將具有相似屬性的節(jié)點(diǎn)歸為一類(lèi)。它負(fù)責(zé)幫助用戶(hù)維護(hù)節(jié)點(diǎn)標(biāo)簽,并保證對(duì)應(yīng)節(jié)點(diǎn)池的三類(lèi)信息實(shí)時(shí)定義和節(jié)點(diǎn)的標(biāo)簽,將節(jié)點(diǎn)添加或從對(duì)應(yīng)的節(jié)點(diǎn)池中移除。此外,當(dāng)節(jié)點(diǎn)池中的節(jié)點(diǎn)數(shù)量超過(guò)或不足預(yù)設(shè)閾值時(shí),NodepoolHandler4.2節(jié)點(diǎn)分組網(wǎng)絡(luò)互通前由于每個(gè)單機(jī)是作為一個(gè)獨(dú)立的節(jié)點(diǎn),每個(gè)節(jié)點(diǎn)之間的資源完全隔離,因此單機(jī)節(jié)點(diǎn)之間的容器網(wǎng)絡(luò)也無(wú)法互通。為了對(duì)齊普通節(jié)子網(wǎng)分配:在目前的方案中,每個(gè)單機(jī)初始運(yùn)行時(shí)使用參數(shù)“-相同的。因此,一個(gè)想法是每個(gè)單機(jī)節(jié)點(diǎn)可以當(dāng)作獨(dú)立的集群來(lái)看待,不考慮單機(jī)的子網(wǎng)分配問(wèn)題,而是考慮如何實(shí)現(xiàn)集群之間的容器網(wǎng)絡(luò)互通。但是,目前業(yè)界實(shí)現(xiàn)的集群之間容器網(wǎng)絡(luò)互通的方案因此,要實(shí)現(xiàn)不同節(jié)點(diǎn)之間的容器網(wǎng)絡(luò)互通,就需要確保不同節(jié)點(diǎn)分配一個(gè)不沖突的子網(wǎng)網(wǎng)段。分配子網(wǎng)的策略可以自定義,也點(diǎn)對(duì)服務(wù)實(shí)例的訪(fǎng)問(wèn)。我們可以采用在云端Cloudlite組件中對(duì)Pod(即設(shè)置Endpoints的su),NodePool中的后端Pod,最后調(diào)用EdgeLite創(chuàng)建或者更新Endpoints。智能視頻處理涉及視頻編解碼及算法識(shí)別,這部分工作對(duì)算力的有很高的要求。如果將這部分工作完全放在云端進(jìn)行處理,那么云端服務(wù)將除了需要提供極大的算力支持,還需要考慮網(wǎng)絡(luò)傳輸延遲及帶寬費(fèi)用等高昂的成本。為此,我們充分利用了邊緣計(jì)算的能力,將任務(wù)分解并下放到邊緣,最終實(shí)現(xiàn)在邊緣節(jié)點(diǎn)上面的設(shè)計(jì)了(1)視頻處理模塊:提供保存、抽幀、渲染合成等常見(jiàn)的視(2)算法推理模塊:提供目標(biāo)檢測(cè)、跟蹤、人臉識(shí)別等算法(3)事件管理模塊:用于接收來(lái)自算法模塊的事件信息,并(2)視頻處理模塊就會(huì)從視頻地址獲取視頻,經(jīng)過(guò)解碼后,將抽幀出來(lái)的圖片發(fā)給算法模塊進(jìn)行識(shí)別。算法模塊識(shí)別之后,再把了全面的工具集,支持用戶(hù)自定義模型和算法,以適應(yīng)不同的推理(2)可配置性:服務(wù)內(nèi)部支持自定義流水線(xiàn),允許用戶(hù)根據(jù)個(gè)算法的推理結(jié)果,實(shí)現(xiàn)更復(fù)雜的推理能力。這樣可以幫助(3)跨平臺(tái)性:本服務(wù)支持多種不同的硬件平臺(tái),包括:(3)圖片預(yù)處理:將原始圖片并轉(zhuǎn)化成推理模型需要的格式。(5)算法后處理:根據(jù)用戶(hù)需求,補(bǔ)全模型推理無(wú)法完成的上面只是最簡(jiǎn)單的推理流程。在實(shí)際業(yè)務(wù)中,我們會(huì)遇到更加例如:在一張圖片內(nèi)指定一個(gè)入侵區(qū)域,在這區(qū)域內(nèi)如果發(fā)現(xiàn)有車(chē)輛或行人,就會(huì)判定為入侵并觸發(fā)告警。車(chē)輛檢測(cè)和行人檢測(cè)例如:識(shí)別圖片里面所有員工。人臉特征提取模型,要求先用其他模型提取出人臉位置,再取出對(duì)應(yīng)位置的人臉作為輸入提取特(1)將模型推理、前后處理等邏輯拆解成互相獨(dú)立的處理器。(2)使用有向圖將處理器連接在一起,構(gòu)建出一套復(fù)雜的處(3)使用流水線(xiàn)調(diào)度策略:基于消息隊(duì)列,對(duì)數(shù)據(jù)有序管理,作為EdgeInfer最重要的器官,處理器用于處理不同的工作,類(lèi)型一個(gè)函數(shù),對(duì)輸入數(shù)據(jù)進(jìn)行處理,然后輸出結(jié)果。其基本包括括將圖像分辨率縮放、圖像顏色增強(qiáng)等操作。常用于推理前(3)邏輯封裝:根據(jù)模型推理結(jié)果,實(shí)現(xiàn)用戶(hù)需要的業(yè)務(wù)功處理器需要處理復(fù)雜的功能,因此其需要有一個(gè)固定且較為寬每個(gè)任務(wù)都是一個(gè)字典型的結(jié)構(gòu),鍵是處理器的名字,值是處理器的輸出結(jié)果。每個(gè)處理器都可以獲取得到當(dāng)前任務(wù)的全部信息,在保證了統(tǒng)一的輸入輸出格式之后,還可以進(jìn)一步地封裝成動(dòng)1)處理器插件可以隨意替換。根據(jù)不同的硬件環(huán)境,項(xiàng)目需求,每個(gè)處理器都可能會(huì)有多種實(shí)現(xiàn)方式,此時(shí)只要2)動(dòng)態(tài)插件可以擴(kuò)展功能,而不需要修改主干代碼。只要3)在編譯時(shí)不需要考慮其他處理器。例如:編譯圖片解碼大多數(shù)開(kāi)發(fā)者來(lái)說(shuō)都是容易的事。但處理器有時(shí)受到底層實(shí)現(xiàn)的影響,在處理任務(wù)時(shí)可能會(huì)有一些約束,例如:例如中間有一些處理器只能同時(shí)處理一個(gè)任務(wù),那大多數(shù)人都會(huì)直接在函數(shù)F里面加上這種模式處理邏輯簡(jiǎn)單,但因?yàn)榈却怄i會(huì)有任務(wù)執(zhí)行時(shí)間長(zhǎng)的問(wèn)題,容易堆積任務(wù),嚴(yán)重時(shí)甚至?xí)驖M(mǎn)內(nèi)存而崩潰。更好的方因?yàn)樗刑幚砥鞫际腔ハ嘟怦畹?,所以允許不同的處理器進(jìn)行同時(shí),考慮到有些處理器無(wú)法同時(shí)處理多個(gè)任務(wù),所以需要在不論來(lái)了多少個(gè)任務(wù),都會(huì)按順序放入隊(duì)列中,再慢慢被處理當(dāng)如果消費(fèi)速度小于添加速度時(shí),會(huì)導(dǎo)致任務(wù)隊(duì)列被打滿(mǎn)。為避免這種情況,我們還可以對(duì)任務(wù)隊(duì)列加一些處理策略,例如:按在實(shí)際業(yè)務(wù)中,我們會(huì)遇到復(fù)雜的處理邏輯,要求處理好:串行和并行需求,同步和異步限制。要寫(xiě)出高效、簡(jiǎn)潔的代碼,非??简?yàn)開(kāi)發(fā)者。此外,開(kāi)發(fā)者可能為了追求高效率,代碼邏輯過(guò)于特如上圖所示,基于有向圖,我們可以非常直觀(guān)地看出員工著裝接下來(lái),我們就需要使用圖式計(jì)算引擎來(lái)執(zhí)行任務(wù)。這部分需數(shù)據(jù)源:按一定規(guī)律產(chǎn)生任務(wù)。比如:從Http協(xié)議接口接收到請(qǐng)(2)有向圖(Graph)會(huì)根據(jù)當(dāng)前任務(wù)的狀態(tài),選擇對(duì)應(yīng)的處理器(Processor),并且放入對(duì)應(yīng)的任務(wù)隊(duì)列(Qu(4)處理器處理完任務(wù)后,再次交給有向圖(Graph)決定去向。(5)有向圖(Graph)如果判斷當(dāng)前任務(wù)已經(jīng)執(zhí)行完時(shí),會(huì)觸發(fā)除了直接在計(jì)算節(jié)點(diǎn)上部署算法外,端邊云協(xié)同的智能視頻解情況動(dòng)態(tài)調(diào)整應(yīng)用的部署,在算力資源緊張的情況下,通過(guò)減少低優(yōu)應(yīng)用的副本數(shù)來(lái)騰出可用資源給高優(yōu)應(yīng)用來(lái)使用,該能力同樣可如上圖所示,彈性調(diào)度系統(tǒng)主要由云邊數(shù)據(jù)通道、彈性計(jì)算調(diào)同步:根據(jù)接收來(lái)自中心的消息執(zhí)行對(duì)應(yīng)的操作,如創(chuàng)建應(yīng)用部署;邊側(cè)統(tǒng)計(jì)數(shù)據(jù)通過(guò)通道上報(bào)到中心,由中心進(jìn)行信整部署,確保在有限資源下最大化完成利用算力,主要實(shí)現(xiàn)優(yōu)先級(jí)、應(yīng)用工作負(fù)載等信息,同時(shí)引入節(jié)點(diǎn)組能力實(shí)現(xiàn)云成流量調(diào)度和輸入輸出轉(zhuǎn)換。同時(shí)每個(gè)應(yīng)用的請(qǐng)求訪(fǎng)問(wèn)數(shù)據(jù)持彈性計(jì)算調(diào)度層的算法調(diào)度邏輯處理。service-topology組件會(huì)為xds組件提供每個(gè)應(yīng)用在當(dāng)前節(jié)點(diǎn)分組下實(shí)際節(jié)點(diǎn)組粒度調(diào)度與整個(gè)集群調(diào)度的不同之處在于,不同節(jié)點(diǎn)組的運(yùn)行情況是完全隔離的,同時(shí)應(yīng)用的實(shí)際訪(fǎng)問(wèn)情況也會(huì)受到一些外在因素的影響,比如地域,這些將會(huì)導(dǎo)致各個(gè)應(yīng)用在不同節(jié)點(diǎn)池里的實(shí)際訪(fǎng)問(wèn)情況各不相同。有些應(yīng)用在某節(jié)點(diǎn)池甚至可能完全沒(méi)有訪(fǎng)問(wèn)流量,或是被其他更高優(yōu)的應(yīng)用占去所需部署資源而導(dǎo)致完此外,本方案還定義了關(guān)于節(jié)點(diǎn)組的CRD資源(該資源記錄了節(jié)點(diǎn)組及其關(guān)聯(lián)的一系列的邊緣節(jié)點(diǎn)間的關(guān)系。而節(jié)點(diǎn)部署組則是由多個(gè)節(jié)點(diǎn)組組成。AIDeployment控制器會(huì)監(jiān)聽(tīng)不管有多少節(jié)點(diǎn)組,Service也只會(huì)部署一份。service-該service-topology組件后,網(wǎng)關(guān)便只會(huì)獲取到該節(jié)點(diǎn)組對(duì)應(yīng)的由于該系統(tǒng)調(diào)度部署的應(yīng)用,需要統(tǒng)一使用網(wǎng)關(guān)代理訪(fǎng)問(wèn)。在QPS,以便更新調(diào)度。應(yīng)用的實(shí)際QPS指標(biāo)數(shù)據(jù)是通過(guò)通過(guò)網(wǎng)關(guān)的網(wǎng)關(guān)數(shù)據(jù)拉取時(shí)對(duì)數(shù)據(jù)來(lái)源加上節(jié)點(diǎn)池標(biāo)記,以便區(qū)分應(yīng)用在各節(jié)而當(dāng)實(shí)際QPS降低后,副本數(shù)也會(huì)縮回到相應(yīng)的數(shù)值。這里使用的資源監(jiān)控模塊會(huì)定時(shí)監(jiān)控智能應(yīng)用在各個(gè)節(jié)點(diǎn)池部署的Deployment的運(yùn)行情況,并將其告知給流程調(diào)度模塊,最后由流程調(diào)度模塊統(tǒng)一更新智能應(yīng)用的對(duì)應(yīng)的運(yùn)行狀態(tài)status.state,以及增加,這可能會(huì)導(dǎo)致節(jié)點(diǎn)池資源不足,部分實(shí)例無(wú)法正常啟動(dòng)。此件,并將該事件告知流程調(diào)度模塊。流程調(diào)度模塊收到通知后,將會(huì)啟動(dòng)低優(yōu)任務(wù)搶占的工作:高級(jí)優(yōu)先級(jí)任務(wù)發(fā)現(xiàn)算力不足可以搶占低級(jí)優(yōu)先級(jí)和更低的高級(jí)優(yōu)先級(jí)。低級(jí)優(yōu)先級(jí)不能搶占其他任務(wù)。前高優(yōu)應(yīng)用QPS開(kāi)始下降,實(shí)例數(shù)也跟著減少后,節(jié)點(diǎn)組可用資源一旦節(jié)點(diǎn)組的可用資源充足,流程調(diào)度模塊將會(huì)按優(yōu)先級(jí)從大到小的順序開(kāi)始恢復(fù)被搶占的應(yīng)用。流程調(diào)度模塊的具體實(shí)現(xiàn)如下(1)流程調(diào)度模塊監(jiān)聽(tīng)AIDeploymentCRD,轉(zhuǎn)化數(shù)據(jù)結(jié)構(gòu)并源(3)流程調(diào)度模塊根據(jù)優(yōu)先級(jí)、資源情況控制該應(yīng)用在節(jié)點(diǎn)(4)動(dòng)態(tài)啟停模塊則根據(jù)流程調(diào)度的信號(hào)進(jìn)行智能應(yīng)用的啟(6)應(yīng)用副本數(shù)的變化導(dǎo)致資源使用的變化將被資源監(jiān)控模(7)流程調(diào)度模塊接收到資源變化信號(hào),重端側(cè)數(shù)據(jù)采集技術(shù)是指采集算法推理所需的各種數(shù)據(jù),以及將該技術(shù)包括圖片、音視頻以及結(jié)構(gòu)化數(shù)據(jù)、元數(shù)據(jù)等各種形式數(shù)據(jù)文件的搜集整理,分類(lèi)歸集,存儲(chǔ)傳輸,以及可擴(kuò)展的多維度別結(jié)果存證數(shù)據(jù)等,由主流數(shù)據(jù)庫(kù)或文件系統(tǒng)進(jìn)行分類(lèi)、處通過(guò)對(duì)多種形式數(shù)據(jù)的搜集保存,為算法推理、結(jié)果存證、數(shù)據(jù)展示分析等提供基礎(chǔ)能力支撐,同時(shí)通數(shù)據(jù)云邊端歸集可以支持算法迭代和升級(jí),不斷優(yōu)化和改進(jìn)算法,提高算法的準(zhǔn)確性和效率,端側(cè)推理任務(wù)平臺(tái)是指工作在端側(cè)硬件上,主要功能為綁定視頻與算法,設(shè)定任務(wù)規(guī)則,生成算法任務(wù)的核心平臺(tái)能力。該平臺(tái)果通過(guò)把結(jié)構(gòu)化數(shù)據(jù),元數(shù)據(jù)等單獨(dú)或與圖片、視頻流數(shù)據(jù)分析,并將算法結(jié)果存儲(chǔ)分析存證的核心關(guān)鍵技術(shù),其具有易運(yùn)維能力動(dòng)態(tài)負(fù)載均衡擴(kuò)縮容等,通過(guò)端邊側(cè)聯(lián)合的力,可以實(shí)現(xiàn)輕量分析放端側(cè),重量分析放云邊端,對(duì)海量和展示。存證數(shù)據(jù)包含多種消息處理和數(shù)據(jù)庫(kù)技術(shù),如消息可以快速存儲(chǔ)和分析。此外,存證數(shù)據(jù)還具備數(shù)據(jù)聚合分析技術(shù),如數(shù)據(jù)挖掘、數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)湖等,以實(shí)現(xiàn)對(duì)數(shù)據(jù)的在邊緣計(jì)算場(chǎng)景中,容器安全是一個(gè)非常重要的問(wèn)題。由于邊緣計(jì)算的環(huán)境相對(duì)較為復(fù)雜,因此需要采取一些特殊的措施來(lái)確保容器的安全性。以下是基于云原生k8s應(yīng)用的邊緣計(jì)算容器安全方(1)使用可靠的鏡像倉(cāng)庫(kù):在邊緣計(jì)算環(huán)境中,由于網(wǎng)絡(luò)帶耗時(shí),因此建議使用可靠的鏡像倉(cāng)庫(kù),以確保鏡像的安全性(3)使用自簽名證書(shū):在邊緣計(jì)算環(huán)境中證書(shū)來(lái)驗(yàn)證容器的身份和完整性。我們通過(guò)在容器中安裝自(4)部署容器網(wǎng)絡(luò):容器網(wǎng)絡(luò)是一種將容器與外部網(wǎng)絡(luò)隔離開(kāi)的技術(shù)。在邊緣計(jì)算環(huán)境中,建議使用容器網(wǎng)絡(luò)來(lái)限制容(6)強(qiáng)化準(zhǔn)入和退出機(jī)制:在邊緣計(jì)算環(huán)境中,應(yīng)該建立嚴(yán)格的準(zhǔn)入和退出機(jī)制,確保容器在進(jìn)入和退出環(huán)境時(shí)都經(jīng)過(guò)(7)利用容器安全掃描工具:使用容器安全掃描工具可以幫綜上所述,基于云原生k8s應(yīng)用的邊緣計(jì)算容器安全方案應(yīng)該從多個(gè)方面來(lái)確保容器的安全性和可用性,包括使用可靠的鏡像倉(cāng)庫(kù)、限制容器的權(quán)限、使用自簽名證書(shū)、部署容器網(wǎng)絡(luò)、監(jiān)控和日志記錄、強(qiáng)化準(zhǔn)入和退出機(jī)制、利用容器安全掃描工具、實(shí)施容器在當(dāng)今的數(shù)字化時(shí)代,鑒權(quán)加密方案是保護(hù)邊端固件和應(yīng)用的重要手段之一。本文會(huì)部署一套邊緣鑒權(quán)服務(wù)器實(shí)現(xiàn)邊緣節(jié)點(diǎn)的鑒權(quán)和密鑰托管能力,可用于確保設(shè)備運(yùn)行的軟件組件是合法的和未在該鑒權(quán)加密方案中,中心會(huì)為可信的邊緣盒子進(jìn)行預(yù)授權(quán)操作。當(dāng)邊緣設(shè)備需要部署應(yīng)用時(shí),中心后臺(tái)服務(wù)重新更新預(yù)授權(quán)信息,并下發(fā)命令使邊緣鑒權(quán)服務(wù)器重新獲取鑒權(quán)信息,包含包括授務(wù)器發(fā)送授權(quán)應(yīng)用名申請(qǐng)驗(yàn)證,并由該服務(wù)器驗(yàn)證器授權(quán)的合法性和有效性。僅當(dāng)驗(yàn)證通過(guò)后,應(yīng)用組件才能正常運(yùn)行。組件與該服務(wù)器之間的通信采用了強(qiáng)大的加密算法和非對(duì)稱(chēng)密鑰技術(shù),確保了授權(quán)信息的安全性和完整性,防止信息被篡改或盜用。同時(shí)鑒權(quán)服(1)提供的接口包括獲取授權(quán)信息、驗(yàn)證授權(quán)信息、設(shè)置環(huán)(2)提供日志記錄和審計(jì)功能,可以記錄邊緣設(shè)備的操作和上述鑒權(quán)加密方案為邊緣設(shè)備的軟件組件提供了安全、可靠、邊緣的每個(gè)證書(shū)都會(huì)使用密鑰進(jìn)行加密,加密后的文件會(huì)存放在邊緣主機(jī)的指定的一個(gè)加密數(shù)據(jù)目錄里。同時(shí),這些密鑰也會(huì)托管在3.6.2所描述的鑒權(quán)服務(wù)器里,并關(guān)聯(lián)指定的一些業(yè)務(wù)應(yīng)用,當(dāng)邊緣主機(jī)安裝的解密文件系統(tǒng)啟動(dòng)后,會(huì)將上述加密數(shù)據(jù)目都會(huì)轉(zhuǎn)發(fā)到解密文件系統(tǒng)里,由該系統(tǒng)進(jìn)行解析。在解密文件系統(tǒng)打開(kāi)文件請(qǐng)求前,會(huì)先向鑒權(quán)服務(wù)器驗(yàn)證業(yè)務(wù)程序是否可信,以及對(duì)于可信進(jìn)程來(lái)說(shuō),對(duì)解密文件系統(tǒng)的文件的讀操作,讀取的是明文,而對(duì)于非可信的進(jìn)程,讀取的則是密文?;谠摻饷芪募?yàn)證進(jìn)程和索要密鑰等方式來(lái)保護(hù)文件的安全性,從而為云邊通訊硬件平臺(tái)支持技術(shù)是保證云邊端協(xié)同的智能視頻方案能夠高效化技術(shù),可以提高計(jì)算資源的利用效率和處理能力。同時(shí),還包括硬件設(shè)備的穩(wěn)定性、可靠性等技術(shù),以確保整個(gè)系統(tǒng)的穩(wěn)定性和可隨著“云-邊-端”架構(gòu)的快速發(fā)展,算力需要下沉到邊緣側(cè)來(lái)滿(mǎn)足邊緣對(duì)日益增長(zhǎng)的算力需求,特別是對(duì)實(shí)時(shí)數(shù)據(jù)的處理。同時(shí),邊緣側(cè)算力系統(tǒng)需要和云算力系統(tǒng)保持協(xié)同工作,從而可以實(shí)現(xiàn)各盡管云和邊緣側(cè)對(duì)算力的需求相同,但是由于各自所處環(huán)境也不相同。云一般采用大型數(shù)據(jù)中心來(lái)實(shí)現(xiàn),處理的是巨型同構(gòu)數(shù)據(jù),因此云服務(wù)器的架構(gòu)大體相同,數(shù)量眾多,但是種類(lèi)較少,可以快速批量生產(chǎn)。邊緣側(cè)的應(yīng)用場(chǎng)景五花八門(mén),少量多樣,且所處環(huán)境針對(duì)云與邊各自不同的特點(diǎn),硬件模塊化設(shè)計(jì)是一種很好地解決方案。工業(yè)富聯(lián)基于《ODCC-2021-04003-邊緣計(jì)算小型化邊緣服務(wù)器系統(tǒng)參考架構(gòu)及技術(shù)規(guī)范》規(guī)范要求進(jìn)行設(shè)計(jì),采用深度模塊以計(jì)算模塊為核心,根據(jù)不同的應(yīng)用場(chǎng)景,可以快速滿(mǎn)足從數(shù)針對(duì)室內(nèi)邊緣視頻技術(shù),工業(yè)富聯(lián)基于模塊化服務(wù)器架構(gòu)概念,視頻流數(shù)據(jù)往往需要實(shí)時(shí)存儲(chǔ)。工業(yè)富聯(lián)通過(guò)模塊復(fù)用,基于采用4NVMe模塊實(shí)現(xiàn),可根據(jù)具體的應(yīng)用場(chǎng)景按需安裝相應(yīng)的存儲(chǔ)邊緣視頻技術(shù)除了在室內(nèi)場(chǎng)景被應(yīng)用之外,在室外場(chǎng)景也被廣泛使用,比如智能交通、智慧燈桿、智能駕駛等。相比于室內(nèi)場(chǎng)景,室外場(chǎng)景更加惡劣,包括寬溫高濕、粉塵、鹽霧等各種情形都有可工業(yè)富聯(lián)針對(duì)室外邊緣場(chǎng)景的特點(diǎn),采用模塊復(fù)用的概念,基于Intel第四代至強(qiáng)可擴(kuò)展處理器設(shè)計(jì)相應(yīng)的高性能室外云邊服務(wù)輸,支持8口RJ端口+2x2光口,可以接收多路視頻信號(hào)。支持當(dāng)邊緣算力需求進(jìn)一步提升時(shí),或者在特別惡劣的環(huán)境,采用風(fēng)冷邊緣服務(wù)器將不再受歡迎。一是因?yàn)轱L(fēng)扇屬于易損元件,二是噪聲問(wèn)題,三是可維護(hù)性等問(wèn)題。因此,采用浸沒(méi)式單相液冷邊緣浸沒(méi)式液冷邊緣服務(wù)器系統(tǒng)采用自然對(duì)流為主,水冷散熱為輔的方式進(jìn)行散熱,不需要額外配置龐大的冷卻塔或干冷機(jī)進(jìn)行散熱,能力、更低的維護(hù)需求、提升能效。采用環(huán)保的介電液體減少對(duì)環(huán)境的污染,滿(mǎn)足多元化系統(tǒng)部署的場(chǎng)景。針對(duì)高功耗元件,如CPU(左))箱內(nèi)采用模塊復(fù)用的概念,基于Intel第四代至強(qiáng)可擴(kuò)展處理器,內(nèi)機(jī)箱所承載的邊緣服務(wù)器系統(tǒng)放置在密閉的外機(jī)箱腔體內(nèi),通過(guò)對(duì)流的方式將組件的熱量傳遞至液體,液體再將其導(dǎo)到腔體表為了更有效地增加系統(tǒng)內(nèi)對(duì)流,提升系統(tǒng)與環(huán)境間的熱傳能力,在系統(tǒng)內(nèi)部將高功率或低溫度規(guī)范的組件放置在底部,低功率或高成冷卻液體對(duì)空氣散熱的CDU架構(gòu),滿(mǎn)足最小空間要求和獨(dú)立運(yùn)轉(zhuǎn)2U邊緣液冷系統(tǒng)具有相同的均勻流場(chǎng)設(shè)計(jì)和模塊化可擴(kuò)展功能,不銹鋼制成,提供防銹和防腐蝕保護(hù)。機(jī)柜的翻蓋頂蓋可以密封以被加熱的冷卻液在熱浮力作用的帶動(dòng)下向上運(yùn)動(dòng)并通過(guò)CDU泵從水箱頂部抽吸進(jìn)入板式換熱器與冷水機(jī)、干冷器等冷卻系統(tǒng)進(jìn)行熱交可以遠(yuǎn)程輕松實(shí)現(xiàn)對(duì)節(jié)點(diǎn)的管理。通過(guò)模塊化的靈活布局,實(shí)現(xiàn)最佳的基于熱設(shè)計(jì)的擺位。監(jiān)控系統(tǒng)提供兩種操作模式,通過(guò)傳感器綜上所述,云邊端協(xié)同的智能視頻方案中,涉及到多種關(guān)鍵技術(shù),這些技術(shù)相互協(xié)作,共同保障系統(tǒng)的高效穩(wěn)定運(yùn)行和智能視頻在計(jì)算中,數(shù)據(jù)以三種狀態(tài)存在:傳輸中、靜止和使用中。通過(guò)網(wǎng)絡(luò)的數(shù)據(jù)是“傳輸中”的,存儲(chǔ)中的數(shù)據(jù)是“靜止的”,正在處理的數(shù)據(jù)是“正在使用的”。在我們不斷存儲(chǔ)、消費(fèi)和共享敏感數(shù)據(jù)(從信用卡數(shù)據(jù)到醫(yī)療記錄,從防火墻配置到我們的地理位置數(shù)據(jù))的世界中,保護(hù)所有狀態(tài)下的敏感數(shù)據(jù)比以往任何時(shí)候都更加重要。加密現(xiàn)在通常用于提供數(shù)據(jù)機(jī)密性(阻止未經(jīng)授權(quán)的查看)和數(shù)據(jù)完整性(防止或檢測(cè)未經(jīng)授權(quán)的更改)。雖然現(xiàn)在普遍部署保護(hù)傳輸中和靜態(tài)數(shù)據(jù)的技術(shù),但第三種狀態(tài)-保護(hù)正在使用的數(shù)據(jù)-是新的前沿。此外,隨著越來(lái)越多的數(shù)據(jù)被轉(zhuǎn)移到云端,網(wǎng)絡(luò)和物理邊界安全在抵御攻擊方面的能力越來(lái)越有限。雖然以前的保護(hù)措施(保護(hù)傳輸中和靜態(tài)數(shù)據(jù))仍然是重要組成部分,但它們已機(jī)密計(jì)算通過(guò)在基于硬件、經(jīng)過(guò)驗(yàn)證的可信執(zhí)行環(huán)境中執(zhí)行計(jì)算來(lái)保護(hù)使用中的數(shù)據(jù)。這些安全且隔離的環(huán)境可防止在使用應(yīng)用程序和數(shù)據(jù)時(shí)對(duì)其進(jìn)行未經(jīng)授權(quán)的訪(fǎng)問(wèn)或修改,從而提高管理敏感數(shù)據(jù)機(jī)密性和代碼完整性保證的環(huán)境?;谟布腡EE使用硬件支在機(jī)密計(jì)算的上下文中,未經(jīng)授權(quán)的實(shí)體可能包括主機(jī)上的其他應(yīng)用程序、主機(jī)操作系統(tǒng)和虛擬機(jī)管理程序、系統(tǒng)管理員、服務(wù)提供商和基礎(chǔ)設(shè)施所有者——或任何其他可以物理訪(fǎng)問(wèn)硬件的人。實(shí)體替換或修改。總之,這些屬性不僅保證了數(shù)據(jù)的機(jī)密性,而且還保證了所執(zhí)行的計(jì)算實(shí)際上是正確的計(jì)算,從而使人們也可以信2.1英特爾信任域擴(kuò)展(英特爾?TDX)種體系結(jié)構(gòu)技術(shù),用于部署硬件隔離的虛擬機(jī)(VM稱(chēng)為信任域供商(CSP)提供托管云服務(wù)的能力,而不會(huì)將租戶(hù)數(shù)據(jù)暴露給對(duì)MK)技術(shù)和CPU認(rèn)證軟件模塊構(gòu)建的。英特爾信任域擴(kuò)展能夠提供工作負(fù)載數(shù)據(jù)免受大多數(shù)基于軟件的攻擊和許多基于硬件的攻擊。安全性、調(diào)試和其他技術(shù)的更安全訪(fǎng)問(wèn)。工作負(fù)載現(xiàn)在可以具有此遠(yuǎn)程證明使依賴(lài)方(工作負(fù)載的所有者或工作負(fù)載提供的服務(wù)消費(fèi)者以數(shù)字方式確定他們所依賴(lài)的TCB版本,以幫助保護(hù)他們的密的安全服務(wù)模塊。Intel-TDX模塊托管在由SEAM范圍寄存器(SEAMRR)標(biāo)識(shí)的保留內(nèi)存空間中。在這種設(shè)計(jì)下,CPU只允許在模式下運(yùn)行以實(shí)現(xiàn)內(nèi)存完整性保護(hù)(以啟用各種內(nèi)存配置)。內(nèi)存完整性可以通過(guò)(默認(rèn)的)密碼完整性保護(hù)方案或邏輯完整性保護(hù)自軟件和一些硬件的狀態(tài)篡改的攻擊。邏輯完整性保護(hù)方案旨在僅在創(chuàng)建TD時(shí),該模塊旨在為每個(gè)TD分配一個(gè)唯一的私有TD虛擬機(jī)中傳遞中斷和異常的傳遞是基于VMX-APIC虛擬化和VMX-APIC虛擬化和虛擬中斷架構(gòu)的使用將有效地將中斷傳遞到請(qǐng)從Intel?TrustDomainExtensions下載英特爾?TDX相關(guān)(1)啟動(dòng)英特爾?TDX來(lái)賓虛擬機(jī)以運(yùn)(3)在IaaS主機(jī)上使用基于英特爾?SoftwareGuard成功構(gòu)建包后,將生成兩個(gè)存儲(chǔ)庫(kù)。一個(gè)是主機(jī)存儲(chǔ)庫(kù),其中FV(固件卷)中。相反,開(kāi)發(fā)了一個(gè)來(lái)自tdx-tools的新工具另一方可以驗(yàn)證證據(jù),并且可以通過(guò)編程或手動(dòng)方式來(lái)決定是否信通常很重要,這樣檢查證據(jù)的一方就可以強(qiáng)有力地保證它不是由惡意軟件或其他未授權(quán)方生成的。遠(yuǎn)程方在成功驗(yàn)證證據(jù)后允許將秘及OVMF、引導(dǎo)加載程序(shim/grub)和內(nèi)核等來(lái)賓組件。QEMU(平臺(tái)配置寄存器)。來(lái)自多個(gè)安全寄存器的值構(gòu)建為一個(gè)報(bào)告,GuardExtensionsData不同的上層業(yè)務(wù)對(duì)底層硬件平臺(tái)提出不同的技術(shù)需求,具體包應(yīng)盡量采用統(tǒng)一的設(shè)計(jì)和部件選型。否則型號(hào)眾多的服務(wù)器3.1適應(yīng)邊緣機(jī)房環(huán)境挑戰(zhàn)邊緣機(jī)房與核心機(jī)房相比條件較為惡劣,很多方面無(wú)法滿(mǎn)足通邊緣機(jī)房條件難以與大型數(shù)據(jù)中心等同,且數(shù)量龐大,所以單純的改造機(jī)房并不現(xiàn)實(shí),其中既有改造難度大造價(jià)高的原因,也有機(jī)房作為“戰(zhàn)略資源”,很難自由擴(kuò)展空間的因素,因此對(duì)服務(wù)器邊緣服務(wù)器承載大量電信級(jí)業(yè)務(wù),并部署在較為惡劣的邊緣機(jī)提高運(yùn)維效率。因此,服務(wù)器需要支持前維護(hù),建議采用統(tǒng)3.3邊緣計(jì)算服務(wù)器硬件方案邊緣服務(wù)器不但需要適應(yīng)邊緣機(jī)房的環(huán)境,還需要滿(mǎn)足各類(lèi)邊一般計(jì)算型服務(wù)器2U高度即可,存儲(chǔ)型服務(wù)器可寬;但考慮邊緣業(yè)務(wù)未來(lái)交付方便,可能會(huì)考慮“機(jī)框+多速卡配置,方案要求最高密度、最低成本、超低延遲、最低能耗、可計(jì)算存儲(chǔ)架構(gòu),可直接用于現(xiàn)有服務(wù)器硬件接口,易使用,易維護(hù)等特性。由于采用視頻加速卡方案,從功耗、空間和性能需求等多方面考慮,傾向于單路低功耗方案。同時(shí)考慮到邊緣異構(gòu)計(jì)算等在部件規(guī)格方面,一是對(duì)網(wǎng)卡的性能、兼容性等有較高要求,強(qiáng)對(duì)部件的選型要求或者形成比較嚴(yán)格的認(rèn)證部件列表;二是對(duì)于網(wǎng)卡加速功能要求比較迫切,需將部分功能卸載至網(wǎng)卡,以提高網(wǎng)OTII項(xiàng)目將與服務(wù)器、BMC及FW廠(chǎng)商合作,開(kāi)發(fā)統(tǒng)一的針對(duì)元設(shè)計(jì)為獨(dú)立模塊,縮小了服務(wù)器的機(jī)箱長(zhǎng)度,可根據(jù)不同需求靈的機(jī)房環(huán)境,可以支持在邊緣網(wǎng)絡(luò)機(jī)柜上架安裝,該方案具備如下該方案采用密閉的浸沒(méi)式液冷箱設(shè)計(jì)方案,具有被動(dòng)散熱、外VPU(VideoProcessingUnit)加速卡服務(wù)器方案國(guó)內(nèi)某泛娛樂(lè)直播龍頭企業(yè),在直播業(yè)務(wù)尤其是音視頻通信方面有很強(qiáng)的技術(shù)積累,近年來(lái)自身的直播業(yè)務(wù)覆蓋音樂(lè)、脫口秀、舞蹈、戶(hù)外、體育、游戲等多個(gè)細(xì)分品類(lèi),其強(qiáng)大的音視頻能力也對(duì)其他ToB企業(yè)開(kāi)放,同時(shí)積極嘗試采用新的技術(shù)手段優(yōu)化其自身在音視頻的業(yè)務(wù)中,對(duì)實(shí)時(shí)性有極高的要求,如游戲語(yǔ)音、直播等。這類(lèi)業(yè)務(wù)需要對(duì)音頻、視頻內(nèi)容的分發(fā)保證超低延,從而保證終端用戶(hù)的極致體驗(yàn)。但是,如何能夠在不增加業(yè)務(wù)成本的同時(shí),保證用戶(hù)的低延時(shí)體驗(yàn),成為音視頻廠(chǎng)商必須解決的難題。通過(guò)與在進(jìn)行架構(gòu)升級(jí)之前,客戶(hù)將音視頻直播架構(gòu)部署在中心云,將視頻數(shù)據(jù)在中心云處理完成之后,再通過(guò)CDN節(jié)點(diǎn)分發(fā)到終端用戶(hù)?;谥行脑频闹辈ゼ軜?gòu)有幾點(diǎn)劣勢(shì):帶寬成本方面相對(duì)較高、分散在全國(guó)的終端用戶(hù)直播體驗(yàn)欠佳。基于以上幾點(diǎn)劣勢(shì),在充分了解邊緣云各項(xiàng)優(yōu)勢(shì)的前提下,客戶(hù)考慮將基于百度智能云BEC升流、轉(zhuǎn)碼、渲染,面向本地用戶(hù)實(shí)現(xiàn)就近分發(fā),實(shí)現(xiàn)本地化視頻鏈在這一案例中,百度智能云BEC為客戶(hù)提供了遍布全國(guó)的邊緣算力資源和帶寬資源,幫助客戶(hù)完成了音視頻架構(gòu)升級(jí)??蛻?hù)實(shí)現(xiàn)了帶寬成本降低,并且同時(shí)大幅提升了終端用戶(hù)的使用體驗(yàn),實(shí)現(xiàn)2.邊云協(xié)同的視頻分析技術(shù)在智慧校園之明廚亮灶中應(yīng)用大中小學(xué)幼兒園的食品安全監(jiān)管面臨量大、面廣、操作環(huán)節(jié)多的問(wèn)題,靠現(xiàn)有的以上門(mén)抽檢和人工視頻巡查的監(jiān)管方式難以實(shí)現(xiàn)有效的監(jiān)管,迫切地需要通過(guò)視頻監(jiān)控、人臉識(shí)別、視頻智能分析、物聯(lián)感知等先進(jìn)技術(shù)對(duì)餐飲后廚人員持證情況、穿戴情況、四害防治情況、衛(wèi)生消毒環(huán)境等各方面進(jìn)行遠(yuǎn)程智能監(jiān)管,從而進(jìn)一步落采用“云-邊-端”架構(gòu)帶動(dòng)區(qū)域智慧校園系統(tǒng)的技術(shù)升級(jí),根據(jù)業(yè)務(wù)需要分級(jí)處理,云邊協(xié)同,為各校區(qū)、各轄區(qū)的分級(jí)管理提以物聯(lián)網(wǎng)平臺(tái)為基礎(chǔ),建設(shè)轄區(qū)智慧校園監(jiān)管平臺(tái),針對(duì)校園明廚亮灶分系統(tǒng)提供測(cè)感知平臺(tái)和視頻感知平臺(tái),采用微服務(wù)架構(gòu)解耦業(yè)務(wù)和數(shù)據(jù),解決異構(gòu)系統(tǒng)架構(gòu)和數(shù)據(jù)統(tǒng)一管理。作為城市及地區(qū)及的智慧校園行業(yè)平臺(tái),承擔(dān)各級(jí)建設(shè)的所有視頻站的統(tǒng)一數(shù)據(jù)的接收、解析、存儲(chǔ)與服務(wù),實(shí)現(xiàn)與各級(jí)所有感知相關(guān)數(shù)據(jù)的統(tǒng)物聯(lián)網(wǎng)平臺(tái)北向通過(guò)開(kāi)放的API接口和主站應(yīng)用進(jìn)行對(duì)接。通過(guò)物聯(lián)網(wǎng)平臺(tái)實(shí)現(xiàn)了感知層的物聯(lián)網(wǎng)設(shè)備和上層應(yīng)用之間的解耦,加快了上層應(yīng)用的迭代速度。業(yè)務(wù)功能軟件微服務(wù)化后,多業(yè)務(wù)部門(mén)的微服務(wù)都可運(yùn)行在物聯(lián)網(wǎng)平臺(tái)上,可實(shí)現(xiàn)充分的信息共享,打?qū)I(yè)務(wù)應(yīng)用部署至距離數(shù)據(jù)源頭最近的邊緣節(jié)點(diǎn),幫助智慧校園行(2)邊緣硬件:開(kāi)發(fā)適用于智慧校園分級(jí)建設(shè)、統(tǒng)一監(jiān)督體系的邊緣網(wǎng)關(guān)設(shè)備,將高帶寬、低時(shí)延、本地化的業(yè)務(wù)下沉到網(wǎng)絡(luò)邊緣,解決時(shí)延過(guò)長(zhǎng)、匯聚流量過(guò)大等問(wèn)題,從

溫馨提示

  • 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶(hù)所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶(hù)上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶(hù)上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶(hù)因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

評(píng)論

0/150

提交評(píng)論