1、智慧城市人工智能開放平臺建設(shè)方案架構(gòu)設(shè)計總體架構(gòu)設(shè)計人工智能平臺系統(tǒng)底層基于人工智能和大數(shù)據(jù)平臺構(gòu)建，在x86服務(wù)器之上提供數(shù)據(jù)的采集、存儲、計算、算法模型和前端展現(xiàn)等功能。 人工智能平臺和IoT提供人體識別、行為識別、傾倒行為分析等算法的建模和訓(xùn)練能力；人工智能平臺 邊緣平臺則處理街道、小區(qū)大門等前端攝像頭設(shè)備數(shù)據(jù)的實時接入和監(jiān)管，并提供模型部署、規(guī)則設(shè)計等功能。基于平臺，提供傾倒行為識別系統(tǒng)，并開放數(shù)據(jù)傳輸接口，用于傾倒行為信息等樣本信息的導(dǎo)入和導(dǎo)出。系統(tǒng)架構(gòu)涉及到的組件由底向上詳細信息如下：容器操作系統(tǒng) 云平臺系統(tǒng)是為大數(shù)據(jù)應(yīng)用量身訂做的云操作系統(tǒng)，基于Docker和Kubernetes

2、開發(fā)。支持一鍵部署，基于優(yōu)先級的搶占式資源調(diào)度和細粒度資源分配，讓大數(shù)據(jù)應(yīng)用輕松擁抱云服務(wù)。未來企業(yè)對于構(gòu)建統(tǒng)一的企業(yè)大數(shù)據(jù)平臺來驅(qū)動各種業(yè)務(wù)具有強烈需求，統(tǒng)一的企業(yè)大數(shù)據(jù)平臺需要提供以下功能：資源彈性共享提高資源利用率靈活部署：支持靈活部署大數(shù)據(jù)應(yīng)用和其他常規(guī)應(yīng)用資源調(diào)度：具備自動擴容和自動修復(fù)功能服務(wù)發(fā)現(xiàn)：具備集中式的倉庫隔離性保障服務(wù)質(zhì)量和安全性數(shù)據(jù)隔離：包括數(shù)據(jù)源、訪問模式等計算隔離：隔離CPU、內(nèi)存、網(wǎng)絡(luò)、磁盤IO等容器操作系統(tǒng)滿足了以上企業(yè)大數(shù)據(jù)平臺的需要，支持對TDH的一鍵式部署、擴容、縮容，同時也允許其他服務(wù)和大數(shù)據(jù)服務(wù)共享集群，從而提高資源的使用率。容器操作系統(tǒng)創(chuàng)新的搶占式資

3、源調(diào)度模型能在保障實時業(yè)務(wù)的同時，提高集群空閑時的資源占用，讓批量作業(yè)和實時業(yè)務(wù)在互不干擾的情況下分時共享計算資源。另外，在容器操作系統(tǒng)上運行的平臺還引入微服務(wù)的架構(gòu)，顯著地降低了用戶部署環(huán)境對穩(wěn)定性的影響，提高了部署的可用性，并且能讓用戶在不停機的前提下，享受到將來更新版本的升級以及修復(fù)。資源管理調(diào)度系統(tǒng)YARNYARN（Yet Another Resource Negotiator）是一種新的Hadoop資源管理器，它是一個通用資源管理系統(tǒng)，可為上層應(yīng)用提供統(tǒng)一的資源管理和調(diào)度，它的引入為集群在利用率、資源統(tǒng)一管理和數(shù)據(jù)共享等方面帶來了巨大好處。YARN的基本思想是將JobTracker的

4、兩個主要功能（資源管理和作業(yè)調(diào)度/監(jiān)控）分離，主要方法是創(chuàng)建一個全局的ResourceManager（RM）和若干個針對應(yīng)用程序的ApplicationMaster（AM）。這里的應(yīng)用程序是指傳統(tǒng)的MapReduce作業(yè)或作業(yè)的DAG（有向無環(huán)圖）。YARN分層結(jié)構(gòu)的本質(zhì)是ResourceManager。這個實體控制整個集群并管理應(yīng)用程序向基礎(chǔ)計算資源的分配。ResourceManager將各個資源部分（計算、內(nèi)存、帶寬等）精心安排給基礎(chǔ)NodeManager（YARN的每節(jié)點代理）。ResourceManager還與ApplicationMaster一起分配資源，與NodeManager一起

5、啟動和監(jiān)視它們的基礎(chǔ)應(yīng)用程序。在此上下文中，ApplicationMaster承擔(dān)了以前的TaskTracker的一些角色，ResourceManager承擔(dān)了JobTracker的角色。ApplicationMaster管理一個在YARN內(nèi)運行的應(yīng)用程序的每個實例。ApplicationMaster負責(zé)協(xié)調(diào)來自ResourceManager的資源，并通過NodeManager監(jiān)視容器的執(zhí)行和資源使用（CPU、內(nèi)存等的資源分配）。從YARN角度講，ApplicationMaster是用戶代碼，因此存在潛在的安全問題。YARN假設(shè)ApplicationMaster存在錯誤或者甚至是惡意的，因此將

6、它們當(dāng)作無特權(quán)的代碼對待。NodeManager管理一個YARN集群中的每個節(jié)點。NodeManager提供針對集群中每個節(jié)點的服務(wù)，從監(jiān)督對一個容器的終生管理到監(jiān)視資源和跟蹤節(jié)點健康。MRv1通過插槽管理Map和Reduce任務(wù)的執(zhí)行，而NodeManager管理抽象容器，這些容器代表著可供一個特定應(yīng)用程序使用的針對每個節(jié)點的資源。YARN繼續(xù)使用HDFS層。它的主要NameNode用于元數(shù)據(jù)服務(wù)，而DataNode用于分散在一個集群中的復(fù)制存儲服務(wù)。集群的計算資源管理 YARN支持同時對CPU和內(nèi)存資源的管理能力，YARN和分布式存儲系統(tǒng)部署在同一個物理集群中，達到分布式計算中數(shù)據(jù)優(yōu)先本地

7、化計算的目的，避免計算過程中數(shù)據(jù)需要全部從網(wǎng)絡(luò)獲取。通過YARN管理集群計算資源，當(dāng)任意應(yīng)用啟動時，提交應(yīng)用的Client向YARN的ResourceManager申請資源，ResourceManager為該應(yīng)用尋找合適的服務(wù)器，從NodeManager獲取一定的內(nèi)存和CPU封裝為一個Container，并在這個容器中啟動ApplicationMaster，部署該應(yīng)用的核心代碼等。然后ResourceManager再為該應(yīng)用從所有的NodeManager中獲取所需的資源，分裝成多個Container供該應(yīng)用計算使用。當(dāng)應(yīng)用需要停止時，YARN銷毀該應(yīng)用占用的資源，并且回收，供后續(xù)的應(yīng)用使用。通

8、過以上方式，YARN為每個應(yīng)用分配一定的CPU和內(nèi)存，在集群資源允許的情況下使得每個應(yīng)用都能得到足夠的資源運行。但是YARN只能做到CPU和內(nèi)存的計算資源管理和隔離，沒有做到網(wǎng)絡(luò)和磁盤IO的隔離。資源占用模式TDH平臺在一個Inceptor/Spark計算集群內(nèi)部同樣能實現(xiàn)計算資源在不同資源池（Pool）的共享與隔離，通過公平調(diào)度算法保證高優(yōu)先級的Pool優(yōu)先拿到閑置資源，同時每個Pool具有指定的資源保有量，避免高負載批處理業(yè)務(wù)占用全部計算資源。同時，這種機制也能支持服務(wù)類的業(yè)務(wù)長期占用一定量的資源。資源的分配和回收在 Yarn上，可以非常方便的動態(tài)創(chuàng)建和銷毀Spark或者Map/Reduc

9、e集群。對于用戶提交的MapReduce以及Spark作業(yè)以及Inceptor集群，需要提交到其有權(quán)限的隊列中，向Yarn申請資源，當(dāng)用戶當(dāng)集群中節(jié)點上有足夠的資源滿足作業(yè)中task的要求并且沒有達到該用戶資源使用上線時，Yarn中將這部分CPU和內(nèi)存資源封裝成container，提供給task運行；如果剩余的資源量不足以滿足計算所申請的資源，則任務(wù)需要排隊。作業(yè)任務(wù)運行完成后動態(tài)銷毀，釋放占用的CPU與內(nèi)存資源。因此，對于平臺分析應(yīng)用，可以充分使用 Yarn的特性，實現(xiàn)分析集群的按需創(chuàng)建與銷毀，從而幫助實現(xiàn)資源、計算能力的統(tǒng)一調(diào)度和規(guī)劃。資源配額在Yarn中通過Fair Scheduler管

10、理調(diào)度策略，支持定義用戶最低獲取資源，以及最高獲取資源，用戶提交任務(wù)時所占用的最低資源不低于分配給用戶的最低資源，在空余資源的情況下，最高資源能夠達到分配給用戶的最高資源。在其他任務(wù)需要資源時，根據(jù)優(yōu)先級決定資源分配情況，如果優(yōu)先級不夠，支持搶占式調(diào)度，能夠?qū)⒌蛢?yōu)先級作業(yè)占用的多余資源釋放出來。分布式文件系統(tǒng)HDFSHDFS（Hadoop分布式文件系統(tǒng)）是運行在通用硬件上的分布式文件系統(tǒng)，本平臺采用基于HDFS2.7.3的大數(shù)據(jù)存儲和在線服務(wù)系，兼容現(xiàn)有Hadoop2.0穩(wěn)定版本，支持文件數(shù)據(jù)、流數(shù)據(jù)、互聯(lián)網(wǎng)數(shù)據(jù)的分布式存儲于計算，同時支持Erasure Code以及HDFS文件加密。HDFS

11、 提供了一個高度容錯性和高吞吐量的海量數(shù)據(jù)存儲解決方案。HDFS 已經(jīng)在各種大型在線服務(wù)和大型存儲系統(tǒng)中得到廣泛應(yīng)用，已經(jīng)成為海量數(shù)據(jù)存儲的事實標(biāo)準。HDFS通過一個高效的分布式算法，將數(shù)據(jù)的訪問和存儲分布在大量服務(wù)器之中，在可靠地多備份存儲的同時還能將訪問分布在集群中的各個服務(wù)器之上，是傳統(tǒng)存儲構(gòu)架的一個顛覆性的發(fā)展。NameNode管理元數(shù)據(jù)，包括文件目錄樹，文件-塊映射，塊-數(shù)據(jù)服務(wù)器映射表等；DataNode負責(zé)存儲數(shù)據(jù)、以及響應(yīng)數(shù)據(jù)讀寫請求；客戶端與NameNode交互進行文件創(chuàng)建/刪除/尋址等操作，之后直接與DataNodes交互進行文件I/O。采用Namenode HA方案保證H

12、DFS的高可靠性，始終有一個Namenode做熱備，防止單點故障問題。采用QJM的方式實現(xiàn)HA，文件系統(tǒng)元數(shù)據(jù)存儲在高可靠的由JournalNode組成的集群上。同時當(dāng)數(shù)據(jù)量太大導(dǎo)致單個Namenode達到處理瓶頸時，提供HDFS Federation功能，不同的NameService（由Namenode組成）處理掛載在HDFS上不同目錄下的文件。HDFS通過副本機制保證數(shù)據(jù)的存儲安全與高可靠，默認如上圖所示配置為3副本，的每個數(shù)據(jù)塊分布在不同機架的一組服務(wù)器之上，在用戶訪問時，HDFS將會計算使用網(wǎng)絡(luò)最近的和訪問量最小的服務(wù)器給用戶提供訪問。由于數(shù)據(jù)塊的每個復(fù)制拷貝都能提供給用戶訪問，而不是

13、僅從數(shù)據(jù)源讀取，HDFS對于單數(shù)據(jù)塊的訪問性能將是傳統(tǒng)存儲方案的數(shù)倍。HDFS支持文件的創(chuàng)建、刪除、讀取與追加，對于一個較大的文件，HDFS將文件的不同部分存放于不同服務(wù)器之上。在訪問大型文件時，系統(tǒng)可以并行從服務(wù)器陣列中的多個服務(wù)器并行讀入，增加了大文件讀入的訪問帶寬。通過以上實現(xiàn)，HDFS通過分布式計算的算法，將數(shù)據(jù)訪問均攤到服務(wù)器陣列中的每個服務(wù)器的多個數(shù)據(jù)拷貝之上，單個硬盤或服務(wù)器的吞吐量限制都可以數(shù)倍甚至數(shù)百倍的突破，提供了極高的數(shù)據(jù)吞吐量。HDFS將文件的數(shù)據(jù)塊分配信息存放在Name Node服務(wù)器之上，文件數(shù)據(jù)塊的信息分布地存放在DataNode服務(wù)器上。當(dāng)整個系統(tǒng)容量需要擴充時

14、，只需要增加DataNode的數(shù)量，系統(tǒng)會自動地實時將新的服務(wù)器匹配進整體陣列之中。之后，文件的分布算法會將數(shù)據(jù)塊搬遷到新的DataNode之中，不需任何系統(tǒng)當(dāng)機維護或人工干預(yù)。通過以上實現(xiàn)，HDFS可以做到在不停止服務(wù)的情況下實時地加入新的服務(wù)器作為分布式文件系統(tǒng)的容量升級，不需要人工干預(yù)文件的重新分布。HDFS文件系統(tǒng)假設(shè)系統(tǒng)故障（服務(wù)器、網(wǎng)絡(luò)、存儲故障等）是常態(tài)，而不是異常。因此通過多方面保證數(shù)據(jù)的可靠性。數(shù)據(jù)在寫入時被復(fù)制多份，并且可以通過用戶自定義的復(fù)制策略分布到物理位置不同的服務(wù)器上；數(shù)據(jù)在讀寫時將自動進行數(shù)據(jù)的校驗，一旦發(fā)現(xiàn)數(shù)據(jù)校驗錯誤將重新進行復(fù)制。分布式服務(wù)框架ZooKeep

15、erTDH平臺通過Zookeeper進行協(xié)調(diào)服務(wù)。Zookeeper是一個為分布式應(yīng)用提供一致性服務(wù)的軟件，提供的功能包括：配置維護、名字服務(wù)、分布式同步、組服務(wù)等。ZooKeeper的目標(biāo)就是封裝好復(fù)雜易出錯的關(guān)鍵服務(wù)，將簡單易用的接口和性能高效、功能穩(wěn)定的系統(tǒng)提供給用戶。Zookeeper 作為一個分布式的服務(wù)框架，主要用來解決分布式集群中應(yīng)用系統(tǒng)的一致性問題，它能提供基于類似于文件系統(tǒng)的目錄節(jié)點樹方式的數(shù)據(jù)存儲，但是 Zookeeper 并不是用來專門存儲數(shù)據(jù)的，它的作用主要是用來維護和監(jiān)控你存儲的數(shù)據(jù)的狀態(tài)變化。通過監(jiān)控這些數(shù)據(jù)狀態(tài)的變化，從而可以達到基于數(shù)據(jù)的集群管理。Zoopkee

16、per 提供了一套很好的分布式集群管理的機制，就是它這種基于層次型的目錄樹的 HYPERLINK /base/datastructure t _blank o 算法與數(shù)據(jù)結(jié)構(gòu)知識庫 數(shù)據(jù)結(jié)構(gòu)，并對樹中的節(jié)點進行有效管理，從而可以設(shè)計出多種多樣的分布式的數(shù)據(jù)管理模型。ZooKeeper允許各分布式進程通過一個共享的命名空間相互聯(lián)系，該命名空間類似于一個標(biāo)準的層次型的文件系統(tǒng)：由若干注冊了的數(shù)據(jù)節(jié)點構(gòu)成（用Zookeeper的術(shù)語叫znode），這些節(jié)點類似于文件和目錄。典型的文件系統(tǒng)是基于存儲設(shè)備的，文傳統(tǒng)的文件系統(tǒng)主要用于存儲功能，然而ZooKepper的數(shù)據(jù)是保存在內(nèi)存中的。也就是說，可以獲

17、得高吞吐和低延遲。ZooKeeper的實現(xiàn)非常重視高性能、高可靠，以及嚴格的有序訪問。高性能保證了ZooKeeper可以用于大型的分布式系統(tǒng)，高可靠保證了ZooKeeper不會發(fā)生單點故障，嚴格的順序訪問保證了客戶端可以獲得復(fù)雜的同步操作原語。人工智能平臺提供一站式的圖形化機器學(xué)習(xí)平臺。使用人工智能平臺可以完成包括數(shù)據(jù)預(yù)覽、數(shù)據(jù)預(yù)處理、特征工程、建模、模型評估以及模型部署等整個數(shù)據(jù)分析流程。對于大多數(shù)企業(yè)用戶，要通過自己的力量從無到有打造人工智能平臺的代價是巨大的，需要有技術(shù)實力強大的大數(shù)據(jù)團隊和AI 團隊作為基礎(chǔ)。而人工智能平臺打通了大數(shù)據(jù)平臺和人工智能平臺，業(yè)務(wù)分析師和數(shù)據(jù)分析師可以通過自

18、動建模以及內(nèi)置的行業(yè)模板輕松構(gòu)建對應(yīng)AI 模型，從而提升業(yè)務(wù)價值。完整的數(shù)據(jù)挖掘流程：對于一款實用的數(shù)據(jù)挖掘工具來說是必要的。然而，市面上的工具大多數(shù)都不具備這個能力。機器學(xué)習(xí)產(chǎn)品不僅能夠勝任完整的數(shù)據(jù)挖掘流程，在流程的每個步驟都能提供足夠豐富和方便的算子，供用戶靈活實用。豐富的機器學(xué)習(xí)算法：包含200+分布式算法支持、流式機器學(xué)習(xí)支持、自定義算子支持與標(biāo)準模型導(dǎo)入導(dǎo)出。強大的企業(yè)級特性：包括完整的多租戶能力支持，對于計算資源、數(shù)據(jù)資源等到細粒度隔離與共享；支持模型協(xié)作與功能功能；集成了LDAP、Kerberos等常見的權(quán)限認證手段；支持工作流與定時調(diào)度；結(jié)合容器技術(shù)對于大型集群進行高效的管理

19、和調(diào)度。完善的深度學(xué)習(xí)支持：包括網(wǎng)絡(luò)結(jié)構(gòu)圖形化拖拽、深度學(xué)習(xí)框架整合、分布式GPU優(yōu)化、深廣結(jié)合與經(jīng)典網(wǎng)絡(luò)結(jié)構(gòu)支持。人工智能平臺 邊緣服務(wù)邊緣計算模塊主要用于物聯(lián)網(wǎng)邊緣端和云端之間的交互以及邊緣計算等。支持各類智慧物聯(lián)網(wǎng)場景的部署，分為云端和邊緣端兩部分。邊緣端可以接入和管理海量時序與多媒體設(shè)備，制定智能規(guī)則，智能函數(shù)，實現(xiàn)邊緣計算和告警，并支持設(shè)備和告警數(shù)據(jù)上傳云端。云端可進行邊緣端管理，AI 模型管理，智能規(guī)則管理以及函數(shù)管理。人工智能平臺 邊緣服務(wù)分為云，邊，端三部分。設(shè)備端的傳感器，執(zhí)行器和多媒體設(shè)備通過網(wǎng)關(guān)接入邊緣端，使用邊緣端的設(shè)備管理，規(guī)則管理，邊緣計算和存儲等功能。邊緣端的設(shè)備

20、數(shù)據(jù)和結(jié)果數(shù)據(jù)又可以發(fā)送到云端，使用云端的邊緣端管理，模型管理和規(guī)則函數(shù)管理等功能，如下圖所示。監(jiān)控運維服務(wù)ManagerManager是負責(zé)配置、管理和運維TDH集群的圖形工具。用戶只需通過幾個手動步驟，就可以在x86服務(wù)器上或基于Docker的云端平臺上部署一個TDH集群。Manager的運維模塊提供告警、健康檢測、監(jiān)控和度量這四項服務(wù)。用戶可以輕松的瀏覽各服務(wù)的狀態(tài)，并且在告警出現(xiàn)時采取恰當(dāng)?shù)拇胧┮蕴幚響?yīng)對。此外，Manager還提供了一些便捷的運維功能,例如,磁盤管理、軟件升級和服務(wù)遷移等。Manager提供應(yīng)用市場，作為升級與下載應(yīng)用的入口，提升產(chǎn)品安裝與運維的便捷性。Manager

21、以容器操作系統(tǒng)為部署工具，容器操作系統(tǒng)（ Container Operating System）云平臺系統(tǒng)是為大數(shù)據(jù)應(yīng)用量身訂做的云操作系統(tǒng)，基于Docker和Kubernetes開發(fā)，通過容器操作系統(tǒng)部署，簡化了安裝、運維的過程，簡化了升級的過程，支持滾動升級。Manager滿足服務(wù)標(biāo)準化，減少了Manager與各組件的耦合，簡化組件與Manager整合的流程。安全與資源管理服務(wù)Guardian大數(shù)據(jù)平臺通過安全通信協(xié)議和角色權(quán)限管理功能，在軟件層面提供通信安全和數(shù)據(jù)安全的雙重保障，有效的對來自外部和非信任角色的數(shù)據(jù)訪問進行控制和安全管理，實現(xiàn)數(shù)據(jù)平臺4A級統(tǒng)一安全管理解決方案。4A包括認證

22、Authentication、賬號Account、授權(quán)Authorization、審計Audit，即將身份認證、授權(quán)、審計和賬號。通過LDAP管理用戶賬號，Kerberos作為用戶身份認證Identity Store，同時大數(shù)據(jù)平臺配合LDAP實現(xiàn)角色訪問權(quán)限控制（Role Based Access Control），最后所有的安全訪問審計都會記錄在數(shù)據(jù)平臺的日志中。大數(shù)據(jù)平臺中各個組件都支持安全管理，包括Zookeeper，HDFS，YARN，Kafka，Hyperbase， Inceptor以及Slipstream。TDH集群中存在三套認證機制：（1）集群中各個服務(wù)器本地的操作系統(tǒng)自帶的認

23、證，用于管理用戶和集群服務(wù)對服務(wù)器的訪問；（2）提供集群服務(wù)與用戶認證的KRB5LDAP系統(tǒng)，用于管理集群服務(wù)之間的訪問以及用戶對服務(wù)的訪問；（3） Manager的認證，用于管理用戶對 Manager的訪問。這三套機制本身互相獨立，而且各服務(wù)器操作系統(tǒng)的認證也互相獨立，對集群的管理和使用帶來了很大不便：管理員需要分別維護各個服務(wù)器中的信息、KRB5LDAP中的信息以及Manager中的信息，三套信息的任何不一致都可能導(dǎo)致用戶無法訪問集群，甚至服務(wù)無法正常運行；為了能夠訪問一個安全模式下的集群，用戶需要多套賬戶/密碼信息，用于通過各套認證機制的認證。TDH中的Guardian服務(wù)將提供這三套機

24、制的統(tǒng)一管理，幫助管理員輕松地保證三套信息的一致性，并且讓用戶可以通過同一套用戶名/密碼登錄集群中服務(wù)器、登錄 Manager以及訪問集群服務(wù)（Inceptor、Slipstream、Discover、Hyperbase等），做到大數(shù)據(jù)平臺的單點登錄。TDH提供用戶管理組件Guardian對平臺賬戶進行統(tǒng)一管理，能夠?qū)崿F(xiàn)賬號的創(chuàng)建、刪除及同步等賬戶管理生命周期所包含的功能。Guardian可以添加刪除用戶，能夠區(qū)分用戶的權(quán)限為管理權(quán)限（MANAGER）或普通平臺用戶（KRB5LDAPKerberos+LDAP），同時還能將用戶分配給不同的用戶組（部門）。只有添加到Guardian的用戶才能登陸

25、訪問平臺，并且根據(jù)賬戶權(quán)限訪問相應(yīng)的功能。匯集庫數(shù)據(jù)同步到TDH之后，不同的數(shù)據(jù)需要進行權(quán)限控制，可以授權(quán)給不同用戶訪問各自的數(shù)據(jù)表。角色管理功能可實現(xiàn)對創(chuàng)建、讀取和編輯數(shù)據(jù)等權(quán)限的管理，為了滿足公司內(nèi)部多級組織架構(gòu)之間對數(shù)據(jù)的共享和私密性要求，每個用戶可同時擁有一個或者多個角色，這取決于系統(tǒng)的配置。Guardian支持使用LDAP協(xié)議做用戶訪問控制，支持Kerberos協(xié)議用作底層訪問控制，從而保證數(shù)據(jù)的安全性和隔離性。Guardian支持一整套基于SQL的數(shù)據(jù)庫/表的權(quán)限控制，管理員可以設(shè)置用戶對表的查詢，修改，刪除等權(quán)限，并包含一整套的角色設(shè)定，可以通過角色組的設(shè)置來便捷的實現(xiàn)用戶權(quán)限控

26、制。此外，Guardian支持 Row Level Security，對表的數(shù)據(jù)進行精確的行級權(quán)限控制。在多租戶的場景下，可以保證不同租戶只能看到表中自身有權(quán)限的數(shù)據(jù)，而不會看到屬于其他租戶的數(shù)據(jù)，從而有精確的數(shù)據(jù)隔離。大數(shù)據(jù)平臺能提供數(shù)據(jù)表列級數(shù)據(jù)權(quán)限控制與行級過濾，對其中表進行列級別權(quán)限控制，包括讀權(quán)限、寫權(quán)限、執(zhí)行權(quán)限、創(chuàng)建表權(quán)限以及管理員權(quán)限。同時可以再Inceptor中創(chuàng)建Hyperbase的映射表，Inceptor可通過SQL配置安全策略對數(shù)據(jù)庫、視圖以及表級別進行權(quán)限控制，包括新建、查詢、插入、刪除、更新等各種權(quán)限設(shè)置。Inceptor通過結(jié)合LDAP對用戶進行安全認證，用戶通過

27、JDBC接口連接到Inceptor時，通過安全驗證確定用戶身份后才能訪問集群。連接到集群后，只能操作自己權(quán)限數(shù)據(jù)庫內(nèi)的權(quán)限表。大數(shù)據(jù)平臺通過Hyperbase表實現(xiàn)列權(quán)限控制并通過Inceptor中視圖權(quán)限控制實現(xiàn)行級過濾。審計是對用戶的登錄、賦權(quán)、訪問等操作進行記錄和審查，發(fā)現(xiàn)異常操作可以告警和溯源。將用戶所有的操作日志和系統(tǒng)日志集中記錄管理和分析，不僅可以對用戶行為進行監(jiān)控，并且可以通過集中的審計數(shù)據(jù)進行數(shù)據(jù)挖掘，以便于事后的安全事故責(zé)任的認定。TDH大數(shù)據(jù)平臺中，各個服務(wù)組件的操作日志都會集中收集，并可以通過 Manager統(tǒng)一運維管理平臺導(dǎo)出。審計包括操作審計、賦權(quán)審計、審計告警和權(quán)限

28、管理。日志中主要統(tǒng)計以下信息：權(quán)限的賦予及收回、資源的使用情況、用戶登錄及操作行為、系統(tǒng)配置修改和告警信息。多租戶的特點主要包括以下幾點：統(tǒng)一集群不同的業(yè)務(wù)部門，會根據(jù)各自部門的業(yè)務(wù)需求，要求創(chuàng)建多個計算集群。例如，分析集群、報表集群、批處理集群、流處理集群等等。TDH提供在統(tǒng)一的HDFS和YARN集群上，創(chuàng)建多個可共存的計算引擎。從而，避免創(chuàng)建隔離的多個集群，減少數(shù)據(jù)拷貝或者遠程訪問，提高效率，也可降低維護成本。動態(tài)部署根據(jù)業(yè)務(wù)需要，動態(tài)地創(chuàng)建和銷毀集群，實現(xiàn)靈活集群部署。此種動態(tài)部署集群的方式，能夠最大程度提高整個集群的資源利用率，適合對非7x24不間斷業(yè)務(wù)動態(tài)部署。資源隔離通過YARN的

29、資源隔離和配額管理，可以避免在多個應(yīng)用使用同一個Map/Reduce集群時出現(xiàn)的計算資源爭搶現(xiàn)象，保證每項業(yè)務(wù)都能順利完成。 YARN支持對計算資源和內(nèi)存資源的管理能力，避免占用內(nèi)存資源多的Spark或Map/Reduce集群之間爭搶內(nèi)存資源。資源共享在申請資源配額后，如果當(dāng)前用戶的資源緊張或受限，可以動態(tài)調(diào)配其他用戶的閑置資源加入，當(dāng)其他用戶使用時再歸還。人工智能平臺 邊端架構(gòu)設(shè)計人工智能平臺 邊緣服務(wù)利用人工智能平臺的存儲、計算、模型加工和模型上線能力，實現(xiàn)傳統(tǒng)設(shè)備的智能化改造。通過定義產(chǎn)品功能模型接入不同協(xié)議、不同數(shù)據(jù)格式的設(shè)備，提供安全可靠、低延時、低成本、易擴展、高可靠的邊緣計算服務(wù)

30、。同時云端可以連通所有邊緣節(jié)點，管理邊緣節(jié)點的服務(wù)。人工智能平臺 邊緣服務(wù)可提供穩(wěn)定高效的邊緣計算服務(wù)，能滿足不同邊緣場景的需求。 人工智能平臺 邊緣服務(wù)由邊緣服務(wù) Node(邊緣端)以及邊緣服務(wù) Hub(云端)兩部分組成,解決了物與物、物與人、物與AI、物與云的連接,其核心功能點如下：設(shè)備接入支持Modbus、OPC-UA、MQTT等設(shè)備通信協(xié)議，并提供接口支持對接第三方私有協(xié)議。對于流媒體設(shè)備可通過ONVIF標(biāo)準協(xié)議接入平臺，無需攝像頭產(chǎn)商提供SDK。云端定義產(chǎn)品類型和功能模型，邊緣端接入設(shè)備并管理。規(guī)則引擎拖拽可視化組件，設(shè)計統(tǒng)一的數(shù)據(jù)流轉(zhuǎn)規(guī)則，靈活定義數(shù)據(jù)處理、數(shù)據(jù)存儲和數(shù)據(jù)轉(zhuǎn)發(fā)。對于

31、時序數(shù)據(jù)，平臺提供了時間窗口函數(shù)、聚合函數(shù)等常用算子，幫助用戶快速搭建時序數(shù)據(jù)處理流程；對于流媒體數(shù)據(jù)，平臺提供了流媒體數(shù)據(jù)特有的編解碼器、分流器、復(fù)合器，幫助用戶快速從各種流媒體源解析數(shù)據(jù)。函數(shù)計算在規(guī)則引擎中, 除了可以調(diào)用豐富的預(yù)定義組件外,還可以通過調(diào)用無服務(wù)函數(shù)對數(shù)據(jù)進行復(fù)雜的加工。智能推理在規(guī)則引擎中, 我們還提供人工智能服務(wù)組件用來與人工智能算法對接, 完成更智能化的數(shù)據(jù)處理邏輯。規(guī)則應(yīng)用基于可視化的規(guī)則定義, 建立規(guī)則實例, 將實體設(shè)備、AI模型與規(guī)則相互映射即可實現(xiàn)對多設(shè)備的數(shù)據(jù)流轉(zhuǎn)定義,讓業(yè)務(wù)人員只面向設(shè)備而不用編程。 斷網(wǎng)續(xù)傳 斷網(wǎng)情況下, 能夠獨立運行, 不影響實時數(shù)據(jù)

32、處理。網(wǎng)絡(luò)恢復(fù)后邊緣數(shù)據(jù)與云端數(shù)據(jù)可續(xù)傳和同步。數(shù)據(jù)可視化用戶可以自定義儀表盤，即可以接入設(shè)備的原始實時數(shù)據(jù)，也可以接入規(guī)則計算后輸出的數(shù)據(jù)。實現(xiàn)對設(shè)備數(shù)據(jù)的長期監(jiān)控。云邊一體用戶可通過云端對于邊緣端的應(yīng)用、函數(shù)、規(guī)則和模型進行版本管理，灰度升級等操作，降低邊緣端的運維成本。在云端提供邊緣端的統(tǒng)一視角，可以查看所有注冊的邊緣節(jié)點及狀態(tài)，并且將云端上架的應(yīng)用、模型、函數(shù)、規(guī)則分發(fā)至邊緣端，實現(xiàn)一次開發(fā)多次部署的功能。人工智能平臺 邊緣服務(wù)的基本使用流程如下圖：（1）產(chǎn)品的創(chuàng)建和管理是在云端，而設(shè)備的創(chuàng)建和管理在邊緣端，邊緣端設(shè)備將自動繼承在云端定義好的產(chǎn)品數(shù)據(jù)模型。（2）通過拖拽可視化算子的交互

33、方式進行數(shù)據(jù)流轉(zhuǎn)規(guī)則的定義，云端定義好的通用規(guī)則可分發(fā)至不同的邊緣端，以降低在不同邊緣端的重復(fù)運維成本。于此同時，不同的邊緣端用戶也可處于自身特定的場景需求 在邊緣端自定義規(guī)則。（3）創(chuàng)建規(guī)則實例，將具體的設(shè)備或者模型映射到某一數(shù)據(jù)規(guī)則，然后再啟動該實例即可。（4）規(guī)則實例啟動成功之后，若對應(yīng)的規(guī)則輸出中定義了消息通知的算子，那么對應(yīng)的消息內(nèi)容即會實時地 推送至消息通知模塊，以便用戶不錯過任何重要的消息。用戶可以自行定義儀表盤，將可讀寫的設(shè)備加 入儀表盤，通過圖表動態(tài)展示設(shè)備的輸出數(shù)據(jù)，如空調(diào)溫度等。（5）無服務(wù)函數(shù)和AI模型作為高級的邏輯加工規(guī)則，可以幫助用戶解決復(fù)雜的數(shù)據(jù)處理需求。設(shè)備接入

34、管理人工智能平臺 邊緣服務(wù)的設(shè)備接入首先要進行產(chǎn)品創(chuàng)建，產(chǎn)品相當(dāng)于某一類設(shè)備的集合，該類設(shè)備具有相同的功能，用戶可以根據(jù)產(chǎn)品批量管理對應(yīng)設(shè)備。創(chuàng)建產(chǎn)品可以在某個邊緣端也可以在云端統(tǒng)一創(chuàng)建，邊緣端將自動繼承在云端定義好的產(chǎn)品數(shù)據(jù)模型。支持協(xié)議新建產(chǎn)品時需要定義產(chǎn)品Id，產(chǎn)品名稱，以及支持的協(xié)議和描述。這里的協(xié)議是指工業(yè)領(lǐng)域常用的通訊協(xié)議，是工業(yè)電子設(shè)備之間常用的連接方式。人工智能平臺 邊緣服務(wù)支持接入的常見協(xié)議包括Modbus-RTU、Modbus-TCP、MQTT、OPCUA、RTSP等標(biāo)準協(xié)議。產(chǎn)品新建完成，點擊名稱可進入產(chǎn)品詳情頁面，顯示有產(chǎn)品詳細信息、功能定義和Topic列表三個子頁面。

35、產(chǎn)品詳情頁面可以編輯修改產(chǎn)品名稱和描述，進行新建功能等操作。功能定義產(chǎn)品功能定義也可稱為定義產(chǎn)品的數(shù)據(jù)模型，將實際產(chǎn)品抽象成由屬性、事件、服務(wù)所組成的數(shù)據(jù)模型，便于云端管理和數(shù)據(jù)交互。產(chǎn)品創(chuàng)建完成后，您可以為它定義數(shù)據(jù)模型，產(chǎn)品下的設(shè)備將自動繼承數(shù)據(jù)模型內(nèi)容。基于設(shè)備的不同，某些設(shè)備基于用途和觸發(fā)事件的多樣性，可以同時定義多個功能，即可以擁有多種數(shù)據(jù)模型。設(shè)備接入產(chǎn)品即設(shè)備類型定義好之后，即可按照產(chǎn)品的類型接入不同的設(shè)備。設(shè)備接入只能通過邊緣端進行管理。在人工智能平臺 邊緣服務(wù) Node管理界面設(shè)備管理菜單新建設(shè)備即可實現(xiàn)設(shè)備接入。人工智能平臺 邊緣服務(wù)支持時序設(shè)備和多媒體設(shè)備的新增、查看和刪

36、除等管理。新建設(shè)備時可以選擇之前定義好的產(chǎn)品類型即可綁定相應(yīng)的數(shù)據(jù)模型。設(shè)備管理設(shè)備創(chuàng)建成功后，設(shè)備即會自動上線，不同類型的設(shè)備擁有不同的內(nèi)容參數(shù)管理。時序設(shè)備除了查看設(shè)備信息外，還可以通過設(shè)備管理進行設(shè)備屬性、事件管理、服務(wù)調(diào)用的查閱。而多媒體設(shè)備除了可以查看設(shè)備信息，服務(wù)調(diào)用外，還可以直接在設(shè)備視頻流頁面查看視頻的直播和錄播。規(guī)則定義當(dāng)設(shè)備接入之后，人工智能平臺 邊緣服務(wù)需要定義數(shù)據(jù)從輸入到輸出的流轉(zhuǎn)規(guī)則，即規(guī)則定義。規(guī)則定義既可以在云端創(chuàng)建好分發(fā)到不同的邊緣端，也可以直接在邊緣端創(chuàng)建。規(guī)則支持導(dǎo)入導(dǎo)出，支持克隆等操作。規(guī)則按照設(shè)備類型的不同可以進行時序規(guī)則定義和多媒體規(guī)則定義；按照來源不

37、同，由于自身特定的場景需求在邊緣端自定義的規(guī)則稱為本地規(guī)則，而由云端直接定義好并自動推送的通用規(guī)則稱為公共規(guī)則。公共規(guī)則可以通過克隆至本地，配置好規(guī)則實例后在本邊緣端進行邊緣計算。可視化拖拽定義人工智能平臺 邊緣服務(wù)數(shù)據(jù)流轉(zhuǎn)規(guī)則定義與基礎(chǔ)平臺建模操作類似，均支持可視化的算子拖拽方式操作。點擊規(guī)則名稱即可進入算子編排頁面，用戶可以根據(jù)實際的業(yè)務(wù)場景，選擇相應(yīng)的算子并填寫相關(guān)參數(shù)定義數(shù)據(jù)的流轉(zhuǎn)規(guī)則。人工智能平臺 邊緣服務(wù)根據(jù)設(shè)備的不同，內(nèi)置有豐富的規(guī)則算子支持規(guī)則定義。云端規(guī)則管理的功能包括時序規(guī)則和多媒體規(guī)則的創(chuàng)建、刪除、克隆。云端定義好的數(shù)據(jù)規(guī)則會作為公共規(guī)則自動分發(fā)至對應(yīng)的邊緣端，減少邊緣端

38、的重復(fù)的規(guī)則定義工作。時序規(guī)則算子時序規(guī)則用以構(gòu)建一個數(shù)據(jù)管道以處理接入邊緣平臺的各種結(jié)構(gòu)化數(shù)據(jù)，主要包括實時設(shè)備數(shù)據(jù)以及其他規(guī)則應(yīng)用實例所輸出的中間結(jié)果等。每個時序規(guī)則由若干個時序規(guī)則算子與算子之間的數(shù)據(jù)流轉(zhuǎn)關(guān)系構(gòu)成.目前 邊緣平臺可用的時序算子主要分為輸入、過濾、數(shù)值計算、連接、智能函數(shù)、服務(wù)調(diào)用與輸出共7種類型。多媒體規(guī)則算子多媒體規(guī)則主要用于處理多媒體數(shù)據(jù)，主要包括攝像頭rtsp視頻流，本地視頻文件等，在規(guī)則中可以檢測視頻中的目標(biāo)，并渲染出目標(biāo)等。部分算子需要綁定設(shè)備，模型等。按照綁定類型分為device，device-setting，service，沒有綁定需求的算子綁定類型定義為。

39、 每個多媒體規(guī)則由若干個多媒體算子構(gòu)成。目前多媒體算子分為目標(biāo)、編/解碼、智能函數(shù)、復(fù)用/解復(fù)用、連接、數(shù)據(jù)源、AI模型、圖像變化、智能檢測9種類型。規(guī)則的理論連接順序為數(shù)據(jù)源復(fù)用/解復(fù)用編解碼（連接，圖像變化，AI模型，智能檢測，智能函數(shù)）目標(biāo)。注意：這只是理論連接，用于理解多媒體規(guī)則，實際上與其不同，比如某些解碼組件包括了解復(fù)用功能，可以直接將數(shù)據(jù)源與編/解碼相連。規(guī)則實例規(guī)則定義創(chuàng)建的數(shù)據(jù)規(guī)則只是指定了數(shù)據(jù)流轉(zhuǎn)的步驟和計算規(guī)則，實際上還沒有任何真實的數(shù)據(jù)，需要將具體的設(shè)備或者設(shè)備數(shù)據(jù)來源綁定到定義好的數(shù)據(jù)規(guī)則，形成一個規(guī)則實例。除了設(shè)備，具體的模型也需要在規(guī)則實例中綁定。綁定好設(shè)備和模型

40、之后，啟動規(guī)則實例，對應(yīng)的邊緣端即開始按規(guī)則進行數(shù)據(jù)計算。一個設(shè)備或者模型可以綁定多個規(guī)則實例。規(guī)則實例也稱之為規(guī)則映射，即將具體的設(shè)備實體或者AI模型和上述的數(shù)據(jù)流轉(zhuǎn)規(guī)則綁定。同樣，規(guī)則映射也分為時序規(guī)則實例映射與多媒體規(guī)則實例映射。規(guī)則實例的映射操作是在邊緣端實現(xiàn)。人工智能平臺 基礎(chǔ)云端管理設(shè)計人工智能平臺 邊緣服務(wù)智能物聯(lián)云端提供了邊緣端的統(tǒng)一視角，可以查看所有注冊的邊緣節(jié)點及狀態(tài)，并且將云端上架的應(yīng)用、模型、函數(shù)、規(guī)則分發(fā)至邊緣端，實現(xiàn)一次開發(fā)多次部署的功能。邊緣端的管理為了在云端方便得查閱管理邊緣端，支持對所有注冊的邊緣端進行分組，并可查看每個邊緣節(jié)點所擁有的設(shè)備、模型、函數(shù)、應(yīng)用等

41、信息。每個邊緣節(jié)點都可以單獨的查看系統(tǒng)狀態(tài)、詳情和移動群組。函數(shù)管理廣義上人工智能平臺 邊緣服務(wù)函數(shù)管理分為兩個部分：云端的函數(shù)管理和邊緣端的函數(shù)管理。用戶可以在云端創(chuàng)建函數(shù)、進行函數(shù)測試、編輯函數(shù)生成不同的函數(shù)版本，同時可以將在云端定義好的通用函數(shù)發(fā)布至不同的邊緣端，以降低在不同邊緣端的重復(fù)運維成本。于此同時，不同的邊緣端用戶也可處于自身特定的場景需求在邊緣端自定義函數(shù)。用戶可以在邊緣端看見云端發(fā)布至邊緣端的函數(shù)，用戶只需將這部分函數(shù)克隆至邊緣端本地即可在邊緣本地的規(guī)則定義中使用。當(dāng)然，用戶也可以基于特定的邊緣使用場景，在邊緣本地創(chuàng)建自己的函數(shù)。邊緣端的函數(shù)管理可分為本地函數(shù)管理和云端函數(shù)管

42、理。本地函數(shù)管理的功能包括創(chuàng)建函數(shù)、函數(shù)測試、編輯函數(shù)生成不同的版本、刪除函數(shù)等。公共函數(shù)管理是指將邊緣服務(wù) Hub發(fā)布至本邊緣節(jié)點的函數(shù)進行管理,包括克隆函數(shù)至本地、刪除函數(shù)等。點擊新建函數(shù)，選擇語言與協(xié)議模式，即可輸入函數(shù)代碼，執(zhí)行測試、保存或發(fā)布一個新版本。模型管理廣義上人工智能平臺 邊緣服務(wù)模型管理分為兩個部分：云端模型管理和邊緣端的模型管理。云端可以添加模型服務(wù)，一個模型可以有多個不同的版本，不同的模型版本可以分發(fā)至不同的邊緣端，邊緣端模型管理可以查看、測試并應(yīng)用模型。在云端邊緣服務(wù) Hub選擇模型管理菜單，點擊新建模型，填寫容器化的模型服務(wù)鏡像地址完成模型服務(wù)的新增。邊緣服務(wù) Hu

43、b中的模型版本，無需手動管理，平臺會定時從鏡像地址拉取新的鏡像版本，并根據(jù)鏡像版本進行版本升級。模型部署如果想要將模型的某個版本部署至指定邊緣端，選擇想要部署的模型，或者直接進入版本詳細頁面選擇項要部署的模型版本，點擊部署。模型的部署可選擇安裝、升級兩種。首次部署該版本的模型稱為安裝，已有早于當(dāng)前版本的模型存在于邊緣端，進行版本更新的部署過程稱為升級。模型、模型版本均可刪除，模型刪除即代表該模型下所有的版本將一同刪除。部署成功之后對應(yīng)的模型版本就會在邊緣端的模型管理界面可見，邊緣端的模型管理列表界面可查看云端已發(fā)布至本邊緣端的模型。用戶查看模型的基本信息并進行測試。模型測試在邊緣端在模型列表中

44、點擊詳情按鈕，出現(xiàn)一個彈框，可見模型的請求方式等基本信息。切換至模型測試頁簽或直接點擊測試，填寫輸入內(nèi)容，輸出結(jié)果進行模型測試。應(yīng)用管理與模型管理十分相似，廣義上人工智能平臺 邊緣服務(wù)應(yīng)用管理分為兩個部分：云端的應(yīng)用管理和邊緣端的應(yīng)用管理。云端可以添加應(yīng)用服務(wù)，一個應(yīng)用可以有多個不同的版本，不同的應(yīng)用版本可以分發(fā)至不同的邊緣端，邊緣端的應(yīng)用管理可以查看、測試并應(yīng)用。云端的應(yīng)用管理功能主要包括對應(yīng)用服務(wù)進行增刪改查和發(fā)布應(yīng)用至邊緣端。在云端邊緣服務(wù) Hub選擇應(yīng)用管理菜單，點擊新建應(yīng)用，填寫容器市場的應(yīng)用服務(wù)鏡像地址完成應(yīng)用服務(wù)的新增。邊緣服務(wù) Hub中的應(yīng)用服務(wù)版本，無需手動管理，平臺會定時從

45、鏡像地址拉取新的鏡像版本，并根據(jù)鏡像版本進行版本升級。應(yīng)用部署如果想要將應(yīng)用的某個版本部署至指定邊緣端，選擇想要部署的應(yīng)用，進入版本詳細頁面選擇項要部署的版本，點擊部署。應(yīng)用、應(yīng)用版本均可刪除，應(yīng)用刪除即代表該應(yīng)用下所有的版本將一同刪除。部署成功之后對應(yīng)的應(yīng)用版本就會在邊緣端的應(yīng)用管理界面可見，邊緣端的應(yīng)用管理列表界面可查看云端已發(fā)布至本邊緣端的應(yīng)用。用戶查看應(yīng)用的基本信息并進行測試。邊緣端的應(yīng)用管理列表界面可查看云端已發(fā)布至本邊緣端的應(yīng)用。消息通知消息通知模塊用來專門顯示規(guī)則定義中用戶所定義的消息通知內(nèi)容。該模塊的功能旨在方便用戶不錯過任何重要的設(shè)備通知內(nèi)容。消息的來源在規(guī)則定義界面事先定義

46、好了數(shù)據(jù)流轉(zhuǎn)規(guī)則，并已拖入一個消息通知組件，組件的參數(shù)設(shè)置示例如下：跪著實例綁定了具體的設(shè)備或者模型，啟動對應(yīng)規(guī)則實例時，且當(dāng)有數(shù)據(jù)滿足所定義的規(guī)則時,就會觸發(fā)生成一條新的消息，對應(yīng)的消息通知模塊會出現(xiàn)小點提示，點擊后可見具體的消息通知列表內(nèi)容。列表中消息內(nèi)容對應(yīng)于規(guī)則定義-消息通知組件參數(shù)中的消息，查看詳細消息通知為json格式的數(shù)據(jù)。消息的查詢在云端可以查看到所有邊緣端的消息和告警，邊緣端可以查看到自己所管理的邊緣組的消息和告警。用戶可以針對時間、消息的重要程度兩個維度對所有輸出的消息進行篩選。可以根據(jù)消息的時間范圍，消息的重要程度等進行篩選。規(guī)則的分發(fā)云端定義好的規(guī)則，會自動分發(fā)至注冊好

47、的邊緣端，在所有對應(yīng)的邊緣端規(guī)則定義頁面，云端規(guī)則tab下可查看，克隆對應(yīng)的規(guī)則至本地規(guī)則即可在邊緣端使用該規(guī)則，具體詳情參見規(guī)則定義章節(jié)。模型的分發(fā)云端模型管理創(chuàng)建的模型，會自動部署至模型指定的邊緣組，具體詳情參見模型管理章節(jié)。函數(shù)的分發(fā)云端定義好的通用函數(shù)發(fā)布至不同的邊緣端，以降低在不同邊緣端的重復(fù)運維成本消息的來源，具體詳情參見函數(shù)管理章節(jié)。應(yīng)用的分發(fā)云端可以添加應(yīng)用服務(wù)，一個應(yīng)用可以有多個不同的版本，不同的應(yīng)用版本可以分發(fā)至不同的邊緣端，具體詳情參見應(yīng)用管理章節(jié)。消息通知查詢云端可查看和篩選所有邊緣節(jié)點的消息通知，詳情參見消息通知章節(jié)。云端存儲能力云端存儲支持時序設(shè)備的數(shù)據(jù)與操作記錄的

48、全量存儲與查詢，同時支持多媒體設(shè)備的視頻與即時圖像的存儲與查看。云端計算能力云端支持多種時序傳感器數(shù)據(jù)的實時采集、計算與通知，還支持多媒體設(shè)備視頻流的識別、分析與通知。儀表盤儀表盤可用于設(shè)備數(shù)據(jù)的可視化展示，用戶可以根據(jù)特定場景自己定義儀表盤所展示的數(shù)據(jù)來源和展示樣式，用于設(shè)備數(shù)據(jù)的長期監(jiān)控。一個儀表盤可添加多個不同的面板。用戶可以基于自己的場景創(chuàng)建多個不同的面板來展示不同的設(shè)備原始數(shù)據(jù)或者規(guī)則轉(zhuǎn)換后的數(shù)據(jù)輸出。當(dāng)數(shù)據(jù)來源為多媒體設(shè)備、多媒體規(guī)則實例時，展示的數(shù)據(jù)默認為視頻，毋需選擇數(shù)據(jù)展示樣式，當(dāng)數(shù)據(jù)來源為時序設(shè)備、時序規(guī)則實例時，可選數(shù)據(jù)展示的樣式，目前版本可選的樣式有柱狀圖、折線圖和表格

49、。人工智能平臺核心模塊設(shè)計項目與實驗人工智能平臺平臺建模以項目為最大單位進行管理。用戶在正式使用產(chǎn)品的各個功能模塊之前，需要首先創(chuàng)建項目，然后在項目內(nèi)進行更深層次的操作。項目初次注冊登錄時，用戶所看到的項目首頁狀態(tài)如下：用戶需要首先新建項目才可以進入項目列表管理頁面，點擊“新建項目”按鈕，填寫內(nèi)容可以新建立一個項目，每個項目在創(chuàng)建的時候必須為其分配資源池。填寫好項目名稱和分配的資源池之后，即成功創(chuàng)建一個項目，頁面會自動跳轉(zhuǎn)到項目列表頁面。項目詳情頁項目詳情界面是對整個項目數(shù)據(jù)的匯總，項目內(nèi)容包含實驗、數(shù)據(jù)集、特征、代碼、模型、運行歷史、API服務(wù)、工作流的數(shù)據(jù)。用戶可直接點擊項目進入該界面。點

50、擊圖中紅色框內(nèi)各個卡片，您即可進入各個模塊界面首頁。項目導(dǎo)入導(dǎo)出項目列表頁面，項目支持單個導(dǎo)出和批量導(dǎo)出。點擊單個項目卡片上對應(yīng)的導(dǎo)出按鈕，自動下載zip文件；勾選需要導(dǎo)出的多個項目，點擊批量導(dǎo)出下載多個項目。項目導(dǎo)入導(dǎo)出包中包含實驗、數(shù)據(jù)集、特征、代碼、模型以及工作流等模塊內(nèi)容。項目中API服務(wù)部署模塊不支持被導(dǎo)出，用戶可以直接使用API服務(wù)的導(dǎo)出功能。項目列表頁面，同時支持單個項目的本地zip文件導(dǎo)入。選擇導(dǎo)入的zip文件，填寫名稱、描述、資源池等信息。如果是之前批量導(dǎo)出的zip項目文件需要解壓之后分別進行導(dǎo)入。項目協(xié)作人工智能平臺平臺除了支持項目導(dǎo)入導(dǎo)出、刪除功能外，同時支持項目協(xié)作功能

51、，允許多人或多個項目組共同編輯同一項目。項目的擁有者可以在項目列表界面添加、取消要協(xié)作的組。用戶可將個人創(chuàng)建的項目添加協(xié)作組，同時支持他人創(chuàng)建的項目協(xié)作給本人。其中他人協(xié)作給用戶的項目，無刪除、導(dǎo)出等權(quán)限，用戶本人可選擇退出協(xié)作組取消項目協(xié)作。帶有綠色協(xié)作標(biāo)簽的為本人創(chuàng)建的項目進行協(xié)作；帶有藍色協(xié)作標(biāo)簽的為他人創(chuàng)建的項目添加本人協(xié)作。進入?yún)f(xié)作項目的任意實驗，編輯前需點擊右上角按鈕，進入編輯狀態(tài);編輯完成后需再次點擊右上角按鈕，其他協(xié)作人員才能編輯此實驗。項目角色管理人工智能平臺平臺的用戶支持在個人中心自定義添加、解散自己的團隊。在用戶自己組建的團隊中，該用戶作為團隊管理員存在，可以自定義添加、

52、刪除團隊成員，同時還可以解散團隊。被加入團隊的成員無法解散和更改團隊成員權(quán)限，但是可以退出組。所有團隊成員都可以把自己的項目發(fā)起協(xié)作，當(dāng)項目所有人退出團隊時自動取消自己項目的協(xié)作。項目參與人的管理有團隊管理員進行管理。實驗項目創(chuàng)建完成之后，在即將可視化建模之前，用戶需要進行最重要的一步：創(chuàng)建實驗。可以選擇有四種方式新建實驗：新建一個空白實驗、從其他項目導(dǎo)入、從本地文件導(dǎo)入、選擇分享文件導(dǎo)入。實驗建模頁面實驗的界面主要分為6大功能區(qū)，包括：算子區(qū)域、流程區(qū)域、參數(shù)設(shè)置區(qū)域、幫助區(qū)域、實驗導(dǎo)航區(qū)域、項目導(dǎo)航區(qū)域。每個區(qū)域都有各自的功能體現(xiàn)，如下圖所示。1、算子區(qū)域粉紅框1號區(qū)域為算子區(qū)域。平臺將智

53、能化建模所用的算法封裝成單個算子，包含特征提取、數(shù)據(jù)清洗、數(shù)據(jù)預(yù)處理、機器學(xué)習(xí)、深度學(xué)習(xí)、自然語言處理等等種類。數(shù)據(jù)挖掘建模整個流程所需要的數(shù)據(jù)操作模塊都在此集成。2、流程區(qū)域綠色框2號區(qū)域為流程區(qū)域。資源庫和算子區(qū)域中的模塊都可以根據(jù)需要直接鼠標(biāo)拖入流程框，進行連接形成實驗流程進行運算。3、參數(shù)設(shè)置區(qū)域橙黃色3號區(qū)域為參數(shù)設(shè)置區(qū)域。流程框左鍵點擊任一算子，參數(shù)區(qū)域就是顯示該算子所需的所有參數(shù)。數(shù)據(jù)集的參數(shù)顯示，有列名、角色、類型展示；性能算子的參數(shù)設(shè)置，可以選擇recall、precision、f measure、accuracy等性能評估方法。4、幫助區(qū)域藍色4號區(qū)域為幫助區(qū)域。會對流程框

54、中選中的算子或畫布進行解釋。內(nèi)容包括算子解釋、參數(shù)等。5、項目導(dǎo)航區(qū)域黃色5號區(qū)域為項目導(dǎo)航區(qū)域。單個項目包含實驗、數(shù)據(jù)集、代碼、模型等多個模塊，用戶可以點擊該區(qū)域icon切換至其他相應(yīng)功能模塊。6、實驗導(dǎo)航區(qū)域紅色6號區(qū)域為實驗導(dǎo)航區(qū)域。該區(qū)域主要包含進行實驗建模的一系列執(zhí)行操作，包括：前進/后退、運行、保存/另存為/導(dǎo)出、新建/打開文件、部署、分享、查看歷史等。同時包含快速返回實驗列表頁面入口。實驗導(dǎo)入導(dǎo)出實驗創(chuàng)建完成，用戶可以導(dǎo)出所創(chuàng)建的實驗。導(dǎo)出的實驗流程包含數(shù)據(jù)集、模型、代碼模塊內(nèi)容，特征工程不包含在內(nèi)。實驗支持批量導(dǎo)出不支持文件夾導(dǎo)出實驗支持json和zip文件的導(dǎo)入實驗導(dǎo)入后執(zhí)行

55、實驗時，可能會出現(xiàn)找不到xx錯誤。需要自行替換相應(yīng)的算子在對json導(dǎo)入的實驗進行導(dǎo)出時，如果包含外部資源，可能會出現(xiàn)找不到xx錯誤單個導(dǎo)出實驗導(dǎo)入：選擇單個實驗導(dǎo)出的zip文件，并填寫實驗位置、實驗名稱以及實驗描述批量導(dǎo)出實驗導(dǎo)入：對于批量導(dǎo)出的實驗，要先進行解壓，再對解壓后得到的每個zip文件進行導(dǎo)入實驗共享團隊協(xié)作以項目為最小維度，即不支持項目下的單個實驗進行協(xié)作，而是同一項目下的所有實驗同時允許多人操作。但是平臺支持單個實驗?zāi)酥聊Ｐ偷墓蚕怼Ｈ缟蠄D可見，支持實驗和模型的批量分享，不支持文件夾的分享。實驗樣例模板為方便用戶快速上手如何通過人工智能平臺進行人工智能建模，人工智能平臺平臺內(nèi)置有

56、豐富的實驗樣例。用戶可以直接打開實驗樣例進行執(zhí)行，但實驗樣例不支持用戶做其他編輯，若用戶想要編輯，可以將該實驗樣例另存為個人實驗，進行調(diào)試。這些樣例不但包括人工智能平臺基礎(chǔ)平臺所有算子以及算法的使用，還內(nèi)置了多樣化的行業(yè)場景建模模板。尤其是對于初次建模，用戶可以通過選擇某個實驗樣例打開進行操作練習(xí)以盡快上手，或者參考已有的實驗與算法樣例進行業(yè)務(wù)建模。數(shù)據(jù)導(dǎo)入導(dǎo)出數(shù)據(jù)導(dǎo)入人工智能平臺支持多種數(shù)據(jù)源接入，支持傳統(tǒng)關(guān)系型數(shù)據(jù)庫、MPP數(shù)據(jù)庫、HDFS（TXT、ORC、Parquet等數(shù)據(jù)格式）、Hive、HBase、Elastic Search、本地文件（CSV、JSON等數(shù)據(jù)格式）等多種數(shù)據(jù)存儲方

57、式接入。支持CDH、HDP、華為大數(shù)據(jù)平臺等分布式數(shù)據(jù)存儲的數(shù)據(jù)接入。數(shù)據(jù)導(dǎo)出平臺支持通過導(dǎo)入導(dǎo)出算子，把中間結(jié)果或者最終結(jié)果數(shù)據(jù)寫入MySQL、DB2、Oracle、SQLServer、CDH、Hive、Inceptor、HDFS等數(shù)據(jù)庫或文件系統(tǒng)，還支持寫入elasticsearch，同時支持把結(jié)果數(shù)據(jù)寫入數(shù)據(jù)源等。樣例數(shù)據(jù)為方便用戶進行測試使用，人工智能平臺內(nèi)置有大量不同類型的數(shù)據(jù)集樣例，用戶可以在實驗中直接調(diào)用樣例數(shù)據(jù)進行建模。數(shù)據(jù)預(yù)覽與探索人工智能平臺能夠?qū)υ紨?shù)據(jù)進行基本的數(shù)據(jù)特征分析，探索數(shù)據(jù)的結(jié)構(gòu)與規(guī)律，為后面的數(shù)據(jù)預(yù)處理與建模提供支持。用戶也可以使用數(shù)據(jù)預(yù)覽界面，直接預(yù)覽原始

58、數(shù)據(jù)的結(jié)構(gòu)。在預(yù)覽界面中，用戶可以限制加載的行數(shù)以縮短數(shù)據(jù)載入時間。數(shù)據(jù)質(zhì)量分析人工智能平臺數(shù)據(jù)探索模塊提供數(shù)據(jù)質(zhì)量分析工具，檢查數(shù)據(jù)是否存在臟數(shù)據(jù)，提供數(shù)據(jù)缺失值、異常值、一致性和重復(fù)數(shù)據(jù)的檢測方法，以及查看結(jié)構(gòu)化數(shù)據(jù)某特征列的分布情況，支持對離散與連續(xù)類型數(shù)據(jù)的分布分析。數(shù)據(jù)可視化統(tǒng)計分析用戶可以對樣本進行采樣預(yù)覽。系統(tǒng)會自動識別樣本總量，通過自定義選擇采樣方法，可以直接預(yù)覽目標(biāo)數(shù)據(jù)的采樣。自定義采樣方法有隨機、前n條數(shù)據(jù)和不采樣等方式。針對目標(biāo)數(shù)據(jù)集需要重點關(guān)注對比的數(shù)據(jù)列，可以進行多種圖形化的數(shù)據(jù)探索。選擇重點關(guān)注的數(shù)據(jù)列，進行更加精細的數(shù)據(jù)探索與關(guān)聯(lián)關(guān)系分析?，F(xiàn)支持包括20多種圖形可

59、視化分析。用戶還可以對樣本進行統(tǒng)計分析。選擇要關(guān)注的可進行統(tǒng)計分析的數(shù)據(jù)列（可以是多列），進行分析，可以得到每列的圖形化數(shù)據(jù)分布，還可以得到有效值、缺失值、最少（最?。┲?、1/4四分位數(shù)、中位數(shù)、3/4四分位數(shù)、最多（最大）值、平均值、標(biāo)準差、峰態(tài)、偏態(tài)等統(tǒng)計分析指標(biāo)。數(shù)據(jù)特征分析提供數(shù)據(jù)特征統(tǒng)計工具，能夠?qū)?shù)據(jù)集進行分布分析、對比分析、統(tǒng)計量分析和相關(guān)分析，為數(shù)據(jù)建模人員提供基本的特征描述，包括一元變量特征統(tǒng)計（均值、方差、最大值、最小值、分位數(shù)、類型數(shù)等）、二元變量特征統(tǒng)計（皮爾森卡方、自由度等）。定義好的特征提取方式還可以進行分類保存，以便提取其他數(shù)據(jù)集特征時直接調(diào)用，還支持特征集的導(dǎo)入

60、導(dǎo)出。復(fù)雜特征分析同時，為方便用戶更靈活的操作，平臺還提供交互式分析和探索的編程環(huán)境，包括Jupyter等R/Python/Scala編程環(huán)境，用于復(fù)雜特征分析。數(shù)據(jù)預(yù)處理在對數(shù)據(jù)進行分析挖掘之前，有很重要的一步就是數(shù)據(jù)預(yù)處理，也可稱為數(shù)據(jù)預(yù)準備，對于一個復(fù)雜的數(shù)據(jù)挖掘流程，可能用戶80%以上的操作都在進行數(shù)據(jù)預(yù)處理。數(shù)據(jù)預(yù)處理包括數(shù)據(jù)的合并、抽樣、轉(zhuǎn)換等操作，人工智能平臺提供豐富的預(yù)處理功能算子，可以根據(jù)實際場景對數(shù)據(jù)進行預(yù)處理。人工智能平臺提供了多達50余種算子,包括但不限于數(shù)據(jù)清洗、數(shù)據(jù)規(guī)約、數(shù)據(jù)轉(zhuǎn)換等。同時支持交互式預(yù)處理界面，用戶可以用類似excel表形式對數(shù)據(jù)進行處理，簡化數(shù)據(jù)預(yù)處