工業(yè)數(shù)字化人才培養(yǎng)基地大數(shù)據(jù)實時處理工作室項目需求_第1頁
工業(yè)數(shù)字化人才培養(yǎng)基地大數(shù)據(jù)實時處理工作室項目需求_第2頁
工業(yè)數(shù)字化人才培養(yǎng)基地大數(shù)據(jù)實時處理工作室項目需求_第3頁
工業(yè)數(shù)字化人才培養(yǎng)基地大數(shù)據(jù)實時處理工作室項目需求_第4頁
工業(yè)數(shù)字化人才培養(yǎng)基地大數(shù)據(jù)實時處理工作室項目需求_第5頁
已閱讀5頁,還剩21頁未讀 繼續(xù)免費閱讀

付費下載

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認(rèn)領(lǐng)

文檔簡介

工業(yè)數(shù)字化人才培養(yǎng)基地大數(shù)據(jù)實時處理工作室項目需求一、貨物清單明細(xì)序號貨物名稱(標(biāo)的名稱)數(shù)量單位1大數(shù)據(jù)流計算實訓(xùn)平臺1套2大數(shù)據(jù)流計算實訓(xùn)應(yīng)用案例4套3大數(shù)據(jù)流計算實訓(xùn)運行硬件平臺4套4實時數(shù)據(jù)采集傳感器5臺5大數(shù)據(jù)云實訓(xùn)平臺1套6基于Spark的離線數(shù)據(jù)分析實訓(xùn)庫1套7數(shù)據(jù)倉庫實訓(xùn)庫1套8數(shù)據(jù)挖掘與機器學(xué)習(xí)實訓(xùn)庫1套9大數(shù)據(jù)平臺搭建運維實訓(xùn)庫1套10管理節(jié)點設(shè)備1臺11計算節(jié)點設(shè)備4臺二、技術(shù)要求序號貨物名稱技術(shù)要求1大數(shù)據(jù)流計算實訓(xùn)平臺1.1新建工作空間,點擊新建工作空間可以創(chuàng)建新的工作空間,并綁定所選的集群;1.2刪除工作空間:刪除所選的工作空間;1.3重命名:重命名所選的工作空間;1.4查看計算資源:查看當(dāng)前工作空間綁定的集群信息1.5進入工作空間:進入當(dāng)前的工作空間到作業(yè)管理界面;1.6支持FlinkSQL開發(fā),支持通過上傳自定義JAR包開發(fā);1.7涵蓋SQL/Java/Scala語言;1.8內(nèi)置統(tǒng)一元數(shù)據(jù)管理,支持元數(shù)據(jù)參數(shù)的變量管理;1.9智能感知外部數(shù)據(jù)連接系統(tǒng),自動生成數(shù)據(jù)源和數(shù)據(jù)匯的建表語句;1.10支持用戶自定義各類型函數(shù),包括UDF、UDTF和UDAF;1.11提供內(nèi)置connector,與公有云主流數(shù)據(jù)產(chǎn)品(包括但不限于云數(shù)據(jù)倉庫、消息隊列、數(shù)據(jù)庫、搜索引擎、對象存儲)無縫集成;并且可以按需自定義Connector對接各類外部數(shù)據(jù)系統(tǒng),具備對用戶自定義開發(fā)的Connector的管理能力;1.12SQL在線語法檢查,SQL在線調(diào)試,且調(diào)試過程中不影響生產(chǎn)環(huán)境;1.13支持Flink內(nèi)核多版本架構(gòu),通過SQL/JAR作業(yè)可同時支持多個Flink版本;1.14支持WebIDE和云API兩種開發(fā)調(diào)試,云API可提供WebIDE開發(fā)需具備的功能接口,通過云API可實現(xiàn)業(yè)務(wù)平臺與流計算平臺的對接;1.15以Task粒度定義動態(tài)指標(biāo),并以維度聚合(sum、max、min、avg)的方式定義從上下游系統(tǒng)到集群作業(yè)的健康運行相關(guān)的監(jiān)控指標(biāo),對作業(yè)進行全方位監(jiān)控告警;1.16展示作業(yè)JobManager/TaskManager/Task粒度指標(biāo),以及容器POD精確的CPU/內(nèi)存指標(biāo);1.17租戶獨占網(wǎng)絡(luò)空間、計算資源和存儲資源,保證租戶間的物理隔離;1.18支持FlinkonK8s的彈性調(diào)度;1.19支持增加數(shù)據(jù)處理節(jié)點,進行水平擴展;1.20數(shù)據(jù)類型:支持VARCHAR、BYTE、BOOLEAN、INT、BIGINT、FLOAT、DOUBLE、DECIMAL、DATE、TIMESTAMP等常用數(shù)據(jù)類型;1.21支持計算資源新建集群,已有集群列表,詳情查看等;1.22支持程序包管理、外部依賴(如配置文件、依賴庫等)的管理和動態(tài)分發(fā);1.23對JobManager和TaskManager以及算子并行度配置;1.24支持作業(yè)和資源歷史版本管理,方便進行業(yè)務(wù)升級開發(fā);1.25支持狀態(tài)數(shù)據(jù)的管理,具備容錯機制,能夠恢復(fù)狀態(tài)數(shù)據(jù),且不影響作業(yè)性能;支持作業(yè)自動恢復(fù)能力;1.26支持TCP/IP、UDP、HTTP、MQTT等傳輸協(xié)議;接入的流數(shù)據(jù)支持JSON、String格式;1.27支持將各類數(shù)據(jù)源(Redis、HBase、Hive、MPP、MySQL等)作為維表、輸出表;支持從消息隊列接入數(shù)據(jù),如Kafka等;1.28支持設(shè)置時間相關(guān)字段的格式,支持消息處理時間;1.29支持?jǐn)?shù)據(jù)量超出流計算系統(tǒng)處理能力的情況下,能采用措施保證流計算系統(tǒng)正常運行(不會崩潰或丟失數(shù)據(jù)),措施包括并不限于:限流、緩沖、自然反壓;1.30流計算空間需支持4種預(yù)設(shè)角色:1)超級管理員:通過主賬號指定,享有除主賬號外的最高權(quán)限,超級管理員賬號在用地不同地域間共享;

2)空間管理員:通過主賬號指定或者超級管理員賬號指定,可以在空間內(nèi)增加刪除空間成員;

3)開發(fā)者:在成員管理模塊可由空間管理員/超級管理員/主賬號添加到空間,可以在空間內(nèi)基礎(chǔ)作業(yè);

4)預(yù)覽者:在成員管理模塊可由空間管理員/超級管理員/主賬號添加到空間,只享有查看的權(quán)限;1.31支持查看作業(yè)概覽、集群概覽等;通過概覽,可直觀查看當(dāng)前空間的作業(yè)情況(作業(yè)的類型數(shù)量,作業(yè)運行停止數(shù)量以及作業(yè)異常的數(shù)量),查看空間綁定集群的詳情等;1.32作業(yè)開發(fā):提供SQL、JAR、Python、ETL四種開發(fā)方式,支持版本管理、配置作業(yè)參數(shù)、在線調(diào)試、細(xì)粒度資源等功能;SQL作業(yè)提供插入模板、調(diào)試、語法檢查、格式化等功能;1.33元數(shù)據(jù)/庫表管理:元數(shù)據(jù)是用戶在流計算作業(yè)中引用的庫表;用戶可在元數(shù)據(jù)中管理已有的庫表,在SQL作業(yè)開發(fā)中快速引用元數(shù)據(jù);1.34全局變量管理:支持用戶在SQL作業(yè)中的庫表管理使用變量;SQL作業(yè)的臨時表和元數(shù)據(jù)表都可以通過表變量替換對使用了的變量進行替換;1.35運維監(jiān)控:支持對于正在運行(或者曾經(jīng)成功運行過)的流計算作業(yè)進行監(jiān)控,提供通過流計算控制臺和云可觀測平臺查看兩種方式;1.36作業(yè)調(diào)優(yōu):提供自動調(diào)優(yōu)功能,支持調(diào)整作業(yè)并行度和資源配置,全局優(yōu)化作業(yè),解決作業(yè)吞吐量不足、作業(yè)繁忙以及資源浪費等各種性能調(diào)優(yōu)問題;1.37日志查詢:支持用戶在作業(yè)詳情的日志頁面中查看作業(yè)的日志信息,包括啟動日志和運行日志;1.38支持流表join和流流join;1.39支持固定窗口,支持滑動窗口,支持會話窗口;支持按不同時間進行窗口切分,例如事件時間、處理時間;支持窗口函數(shù);1.40支持多種時間定義,如事件時間、處理時間,支持時區(qū)設(shè)置;1.41支持作業(yè)有狀態(tài)升級,例如作業(yè)配置變更,版本升級等;1.42支持多種數(shù)據(jù)分發(fā)策略,例如hash模式、RoundRobin輪詢模式及自定義模式;2大數(shù)據(jù)流計算實訓(xùn)應(yīng)用案例2.1提供至少4套大數(shù)據(jù)實時計算平臺實操案例,案例材料包括:案例介紹、操作任務(wù)分解以及操作步驟等,指導(dǎo)大數(shù)據(jù)處理平臺及大數(shù)據(jù)開發(fā)治理平臺教學(xué)過程;2.2實時天氣預(yù)警系統(tǒng);實時收集和分析氣象傳感器效據(jù),例如溫度、濕度、風(fēng)速、降水量和氣壓變化,以及雷達(dá)和衛(wèi)星圖像數(shù)據(jù)以便提前預(yù)警暴風(fēng)雨、洪水等天氣事件;2.3實時電商推薦系統(tǒng);利用流計算技術(shù)來實現(xiàn)實時推薦系統(tǒng);通過收集用戶行為數(shù)據(jù)(瀏覽、購買歷史等),實時計算用戶偏好和行為模式,并實時推送個性化推薦,提升用戶體驗和銷售轉(zhuǎn)化率;2.4電信用戶分析系統(tǒng)實時分析用戶的通信行為效據(jù),包括通話時長、通話頻率、上網(wǎng)習(xí)慣等;基于這些數(shù)據(jù),運營商可以實時了解用戶的需求和偏好,從而提供個性化的服務(wù)和推薦,例如套餐推薦、優(yōu)惠活動推送等,提升用戶滿意度和留存率;2.5物流實時數(shù)倉系統(tǒng)通過數(shù)據(jù)處理技術(shù),實時收集、處理和分析物流相關(guān)數(shù)據(jù)的倉庫系統(tǒng);這種系統(tǒng)能夠?qū)崟r監(jiān)控和管理物流運輸過程中的各種信息,包括貨物位置、運輸狀態(tài)、交通狀況、貨運成本等,以幫助優(yōu)化物流運作和提升效率;3大數(shù)據(jù)流計算實訓(xùn)運行硬件平臺3.1具有進程管理功能,可查看進程名稱、進程對應(yīng)CPU使用率、進程ID,調(diào)整進程CPU優(yōu)先級,配置不少于2顆CPU,單顆CPU不少于24核,主頻不低于2.1GHz;3.2具有內(nèi)存管理功能,可查看物理內(nèi)存總?cè)萘浚延萌萘看笮?,已用容量占比,交換頁容量使用情況,配置內(nèi)存不少于384G;3.3具有磁盤管理功能,可查看分區(qū)總?cè)萘?,分區(qū)格式類型,已用空間大小,剩余空間大小,已用空間占比,配置不少于2塊480GSSD存儲,4塊3.84TSSD存儲;3.4具有網(wǎng)絡(luò)管理功能,可以查看網(wǎng)絡(luò)已接收與已發(fā)送的數(shù)據(jù)總大小,支持以圖形化的方式配置IPv4地址和DNS地址;3.5提供不少于2個10GE網(wǎng)卡;3.6支持raid1/10/5等raid陣列,不低于2GB緩存;3.7220VAC/240HVDC交直流兼容電源,功率不低于于1300W*2;4實時數(shù)據(jù)采集傳感器4.1采用七要素一體式傳感器,可對風(fēng)速、風(fēng)向、溫度、濕度、大氣壓力、光照、光學(xué)雨量等氣象要素進行實時觀測;可實現(xiàn)戶外氣象參數(shù)24小時連續(xù)在線監(jiān)測,通過數(shù)字量通訊接口將多項參數(shù)輸出給用戶;支持對風(fēng)速、風(fēng)向、空氣溫度、濕度、大氣壓力、光照、光學(xué)雨量等多要素數(shù)據(jù)進行實時采集:1)風(fēng)速:測量原理超聲波,0~70m/s(±0.1m/s);2)風(fēng)向:測量原理超聲波,0~360°(±1°);3)空氣溫度:測量原理二極管結(jié)電壓法,-40℃~85℃(±0.3℃);4)空氣濕度:測量原理電容式,0~100%RH(±2%RH);5)大氣壓力:測量原理壓阻式,300hPa~1100hPa(±0.02hPa);6)光照測量范圍不低于157286LUX(<±3%);7)光學(xué)雨量測量不低于4mm/min(≤±4%);8)支持GPRS、RJ45、以太網(wǎng)、4-20ma、Lora透傳、4G透傳、藍(lán)牙、485轉(zhuǎn)USB等多種傳輸方式;4.2具有頂蓋隱藏式超聲波探頭;4.3支持發(fā)射連續(xù)變頻超聲波信號,通過測量相對相位來檢測風(fēng)速風(fēng)向;4.4數(shù)據(jù)存儲:不少于50萬條;4.5功耗:不超過1.75W4.6鋰電池:可拆卸鋰電池包,容量12000maH,但電池續(xù)航時間≥50h,帶電量顯示功能;4.7總重量:≤5kg;4.8具有鋁合金支架,可伸縮;5大數(shù)據(jù)云實訓(xùn)平臺5.1基于Docker容器編排管理引擎,運用云原生和容器技術(shù)構(gòu)建教學(xué)實訓(xùn)環(huán)境,支持快速創(chuàng)建實訓(xùn)環(huán)境,實現(xiàn)了每個學(xué)生的實訓(xùn)環(huán)境互相隔離、實訓(xùn)過程互不干擾,教師可以一鍵操作即可創(chuàng)建一套全新的實訓(xùn)環(huán)境供學(xué)生實訓(xùn);5.1.1平臺以Docker容器云引擎為基礎(chǔ),對計算資源進行輕量級虛擬化,支持硬件資源無縫擴展,運用容器編排管理工具對Docker容器實訓(xùn)環(huán)境進行有效組織編排,以百分比和內(nèi)存為顆粒維度進行切分,滿足多人的實時并行算力需求;5.1.2平臺通過基于GB/T25000.51-2016:《系統(tǒng)與軟件工程系統(tǒng)與軟件質(zhì)量要求和評價(SQuaRE)第51部分:就緒可用軟件產(chǎn)品(RUSP)的質(zhì)量要求和測試細(xì)則》的測試;5.2系統(tǒng)支持包括管理員、教師、學(xué)生三種角色;管理員負(fù)責(zé)系統(tǒng)配置維護、鏡像環(huán)境維護等工作;教師負(fù)責(zé)課程維護、實訓(xùn)任務(wù)維護、實踐項目維護等教學(xué)工作;學(xué)生參與并完成課程實訓(xùn)、實踐項目;5.3管理員功能:1)用戶管理:可對系統(tǒng)用戶進行相關(guān)操作,支持學(xué)校管理員添加教師、學(xué)生用戶,對教師用戶支持設(shè)置姓名、工號、手機號、郵箱地址、籍貫、民族、榮譽稱號、入職時間、出生日期、所屬院系、職稱、性別、家庭住址等信息;2)班級管理:可對班級進行相關(guān)操作,支持按照學(xué)院、專業(yè)、年級、班級的層級結(jié)構(gòu)創(chuàng)建學(xué)校組織架構(gòu);3)專業(yè)管理:可對專業(yè)進行相關(guān)操作,支持按照學(xué)院、專業(yè)、年級、班級的層級結(jié)構(gòu)創(chuàng)建學(xué)校組織架構(gòu);4)IP池設(shè)置:可后臺查看系統(tǒng)設(shè)置的網(wǎng)段中,具體IP地址是否被使用的狀態(tài);5)鏡像環(huán)境:可維護鏡像環(huán)境,通過從本地鏡像倉庫同步等方式新建鏡像,可對鏡像環(huán)境執(zhí)行編輯和查看操作;6)環(huán)境配置:可維護鏡像啟動所需的CPU、內(nèi)存、磁盤空間等配置信息;7)字典管理:包括技能標(biāo)簽、競賽字典、證書字典、崗位字典;可自主創(chuàng)建技能標(biāo)簽、競賽字典、證書字典、崗位字典等,編輯相關(guān)內(nèi)容,為技能標(biāo)簽功能、能力畫像功能創(chuàng)建基礎(chǔ)數(shù)據(jù);8)討論區(qū)管理:可管理系統(tǒng)內(nèi)討論區(qū)的發(fā)帖進行管理;9)資源監(jiān)控:包括實訓(xùn)資源監(jiān)控、項目資源監(jiān)控、測評資源監(jiān)控、教師資源監(jiān)控;可監(jiān)控正在進行的環(huán)境狀態(tài)、使用人數(shù)、占用資源、容器數(shù)量等信息;具體形式以圖形的形式展示資源使用情況,包含應(yīng)用服務(wù)器與計算節(jié)點的CPU、內(nèi)存、硬盤,支持根據(jù)用戶信息、課程名稱、實驗類型、開啟時間等進行實驗環(huán)境資源運行狀態(tài)的查詢;10)服務(wù)器配置:可配置計算節(jié)點服務(wù)器相關(guān)信息;11)角色管理:可對角色進行相關(guān)操作;12)系統(tǒng)設(shè)置:可自定義系統(tǒng)相關(guān)展示信息;13)日志管理:可查看系統(tǒng)操作及登錄日志;5.4教師功能:采用課程、實訓(xùn)的模式進行教學(xué)管理,維護實訓(xùn)、課程等基礎(chǔ)數(shù)據(jù),生成容器環(huán)境并進行管理,對學(xué)生/小組提交作業(yè)進行個人評分;5.4.1實訓(xùn)管理:1)可復(fù)制或新建一門實訓(xùn),支持維護實訓(xùn)數(shù)據(jù),選擇實訓(xùn)所用鏡像,編輯相應(yīng)的實訓(xùn)內(nèi)容;2)要求提供包括云桌面、低代碼開發(fā)、交互式編程三類實訓(xùn)環(huán)境;3)低代碼可視化分析實訓(xùn)需要支持拖曳式的數(shù)圖映射模式,學(xué)生僅需要拖曳數(shù)據(jù)字段即可生成相關(guān)圖形及可視化場景的建立,提供10余種等數(shù)據(jù)準(zhǔn)備功能、50余種圖形組件;支持上卷、下鉆、聯(lián)動、鏈接、保留、排除等不少于6種圖形交互方式;支持R/Python/JS腳本功能等圖形展示效果擴展功能;提供word報告生成模式,支持用戶通過在word中插入平臺的數(shù)據(jù)指標(biāo)、圖形報表、函數(shù)計算規(guī)則等,并支持word模板的上傳與下載;低代碼數(shù)據(jù)挖掘?qū)嵱?xùn)環(huán)境支持整個建模流程設(shè)計基于拖拽式布局、連線式流程編排和指導(dǎo)式流程配置,學(xué)生可以通過簡單拖拽、配置的方式快速完成挖掘分析流程構(gòu)建;提供不少于20種行、列、高級節(jié)點的數(shù)據(jù)預(yù)處理算子;提供分類、聚類、回歸、關(guān)聯(lián)、時間序列、綜合評價、推薦等7大類不少于50種機器學(xué)習(xí)算法;提供不少于5種自動學(xué)習(xí)算法;提供不少于10種文本分析算法;提供不少于30種工業(yè)信號分析算法,包括信號輸入、信號預(yù)處理、信號特征工程、信號變換、譜分析、信號濾波及信號輸出等信號分析算法類別;4)提供不少于4種擴展編程算法,支持用戶編制SQL\R\Python\Java等腳本語言實現(xiàn)個性化的算法擴展;5)支持學(xué)生及教師全方位觀察建模過程及模型結(jié)果,包括數(shù)據(jù)輸入、設(shè)置角色、Arima(時間序列算法)、時間序列評估等節(jié)點,均可以在平臺的洞察中查看中間結(jié)果;支持洞察報告預(yù)覽功能及將洞察內(nèi)容導(dǎo)出到WORD;5.4.2課程管理:可維護課程數(shù)據(jù),配置課程與實訓(xùn)、課程與班級之間的關(guān)聯(lián)關(guān)系;通過課堂創(chuàng)建維護課程與班級的關(guān)聯(lián)關(guān)系,并支持課堂實訓(xùn)分組,支持采用闖關(guān)的實驗?zāi)J竭M行課程實踐,支持自定義實驗課程關(guān)卡分值,可按照均分比例、關(guān)卡難易度自動分配實踐課程內(nèi)的各關(guān)卡對應(yīng)分值,同時也支持教師手動輸入各關(guān)卡分值;支持一鍵發(fā)布全部添加至課堂內(nèi)的課程;5.4.3監(jiān)控管理:可維護課程啟用后按照實訓(xùn)所用鏡像生成的容器環(huán)境,可監(jiān)控、掛起或結(jié)束整班環(huán)境,也可訪問、啟動、停止、重置或重啟單獨學(xué)生的實訓(xùn)環(huán)境;具體要求:可查看課程進度,包括課程起止實驗,課程內(nèi)包含的實驗、實訓(xùn)、實戰(zhàn)數(shù)量和已經(jīng)發(fā)布學(xué)習(xí)的內(nèi)容數(shù)量;支持學(xué)校管理員對平臺內(nèi)教師申請公開發(fā)布的實驗課程進行審批并填寫審批意見;支持學(xué)校管理員對平臺內(nèi)的實驗課程按照課程所屬方向分類進行管理,支持對平臺內(nèi)已公開的課程進行下架;支持學(xué)校管理員對平臺內(nèi)容實驗課程進行更改配置,包括更改存儲空間、內(nèi)存限制、CPU限制等信息,并支持查看對于課程的版本記錄;5.4.4實訓(xùn)報告:可維護實訓(xùn)報告數(shù)據(jù),可查閱實訓(xùn)報告、附件等,并編輯實訓(xùn)成績;支持自定義實訓(xùn)項目作業(yè)要求,教師可自行設(shè)置是否需要提交項目作業(yè)、實驗報告;支持教師對課堂內(nèi)實訓(xùn)項目作業(yè)進行統(tǒng)一查看,至少提供建模流程、可視化頁面、pdf、JupyterNotebook四種形式作業(yè)的在線預(yù)覽以及pdf下載;支持教師可對學(xué)生項目作業(yè)進行主觀評分,支持教師對已評分的項目作業(yè)進行評分及評語修改,支持教師將完成度高的項目作業(yè)評選為優(yōu)秀作業(yè);5.4.5實踐項目:采用項目化教學(xué)模式進行教學(xué)管理,維護項目、階段等基礎(chǔ)數(shù)據(jù),生成容器環(huán)境并進行管理,對小組提交物進行階段及個人評分;5.4.6項目管理:可維護項目數(shù)據(jù),指定項目信息,編輯項目階段,選擇班級和學(xué)生組成小組;具體要求平臺提供項目實戰(zhàn)庫,按行業(yè)打造不同類型的項目實戰(zhàn),可復(fù)制或新建一門項目應(yīng)用至課堂中;支持維護項目數(shù)據(jù),顯性化展示實戰(zhàn)數(shù)據(jù),展示數(shù)據(jù)基礎(chǔ)信息(大小、量級、類型等),同時展示部分樣例數(shù)據(jù);支持指定項目信息,編輯項目階段,支持項目實戰(zhàn)各階段進行任務(wù)定制、目標(biāo)說明和視頻可見展示預(yù)覽;支持分階段實訓(xùn)任務(wù)和分階段多項目實戰(zhàn)兩種模式;可查看項目進度,查看學(xué)生提交作業(yè)情況;支持學(xué)校管理員對平臺內(nèi)教師申請公開發(fā)布的項目課程進行審批并填寫審批意見;5.4.7項目監(jiān)控:可維護項目對應(yīng)的環(huán)境配置,對具體環(huán)境資源進行啟動、掛起、收回等控制,也可進入該環(huán)境對單一容器執(zhí)行啟動、停止、重置或重啟;5.4.8測評中心:采用理論或?qū)嵅贉y評模式進行教學(xué)管理,維護題庫、測評等基礎(chǔ)數(shù)據(jù),生成理論測評試卷、實操測評試卷、實操測評容器環(huán)境并進行管理,對理論測評自動評分成績進行測看,對實操測評進行評分;5.4.9題庫管理:可維護測評題目,設(shè)置題目所屬的技能標(biāo)簽題型、難度、選項,答案等參數(shù);提供并系統(tǒng)預(yù)置工業(yè)大數(shù)據(jù)配套題庫≥300道習(xí)題;支持按照大數(shù)據(jù)技術(shù)、人工智能、數(shù)據(jù)庫、編程語言、計算機技術(shù)、Web開發(fā)等方向進行篩選查詢;支持按照數(shù)據(jù)采集、數(shù)據(jù)存儲與管理、數(shù)據(jù)分析處理、數(shù)據(jù)可視化、機器學(xué)習(xí)、深度學(xué)習(xí)、自然語言處理、語音識別、集成學(xué)習(xí)、SQLServer、MongoDB、MySQL、Java、Python、操作系統(tǒng)、數(shù)據(jù)結(jié)構(gòu)與算法JavaScript、HTML、CSS、Vue等分類進行篩選查詢;支持按照初級、中級、高級等難易度進行篩選查詢;5.4.10測評模板:可維護測評模板,設(shè)置題量、分值、時長、難度,涉及的技能標(biāo)簽和分類占比等參數(shù);具體支持根據(jù)試卷創(chuàng)建考核、試卷復(fù)制,支持試卷在線預(yù)覽與Word格式試卷導(dǎo)出,導(dǎo)出試卷自動排版,包含試卷名稱、題目數(shù)量、分?jǐn)?shù)、難易度、方向分類等信息,導(dǎo)出試卷支持自定義編輯;5.4.11測評管理:可依據(jù)選擇的測評模板進行生成測評,設(shè)置測評所屬分類、測評時間和測評應(yīng)用的班級等參數(shù);支持選題組卷與模版組卷兩種模式,模版組卷支持進行試題范圍選擇、試題來源選擇,使用內(nèi)置試卷模版進行組卷;5.4.12測評監(jiān)控:可配置測評對應(yīng)的環(huán)境,對具體測評環(huán)境資源進行啟動、掛起、收回等操作,也可進入該環(huán)境對單一容器執(zhí)行啟動、停止、重置或重啟;具體要求:在課堂考試,支持教師通過試卷創(chuàng)建考試并發(fā)送至課堂,以課堂為單位進行在線考試,支持教師在線評閱試卷,對學(xué)生主觀題目進行評分;5.4.13測評成績:可查看測評理論測評成績結(jié)果,包括個人得分和答題記錄,也可對實操的測評試卷進行打分;提供成績統(tǒng)計列表,可以查看平均分、最高分、最低分、及格率、平均答題時長及完成情況等數(shù)據(jù),并以柱狀圖和餅狀圖展示成績分布,支持教師自定義分?jǐn)?shù)段,個性化定制成績分布統(tǒng)計圖;5.4.14技能標(biāo)簽配置:設(shè)置不同教學(xué)模式下技能標(biāo)簽,為平臺功能的生成提供支撐;技能標(biāo)簽列表:可查看各技能標(biāo)簽在課程實訓(xùn)、項目階段、測評題目中的權(quán)重數(shù)據(jù);課程實訓(xùn)標(biāo)簽:可維護課程實訓(xùn)中的技能標(biāo)簽,設(shè)置難度系數(shù)等參數(shù);項目階段標(biāo)簽:可維護項目階段中的技能標(biāo)簽,設(shè)置難度系數(shù)等參數(shù);測評題目標(biāo)簽:可維護測評題目中的技能標(biāo)簽,設(shè)置難度系數(shù)等參數(shù);5.4.15討論區(qū):可對話題或成果展示進行發(fā)帖,對已發(fā)布的帖子進行點贊或留言;支持將完成較好的作業(yè)評選為優(yōu)秀作業(yè)進行共享;5.4.16教學(xué)成果:可查看學(xué)生個人能力模型,可與具體的崗位、競賽、證書相對比,查看能力匹配程度;具體要求:能力模型由每一個學(xué)生本課程學(xué)習(xí)成績單、課程排名、學(xué)習(xí)總時長、完成課程數(shù)量、優(yōu)秀作業(yè)數(shù)量、課程平均得分等綜合組成;5.4.17個人實驗環(huán)境:可選擇鏡像環(huán)境進行個人容器環(huán)境的啟動、掛起、收回等操作;1)大數(shù)據(jù)方向要求至少提供如下鏡像環(huán)境:Hadoop,Hbase,Hive,Spark,F(xiàn)link,Storm,Zookeeper,Kafka;2)Python要求至少提供如下鏡像環(huán)境:Python3,需包含:numpy,scikit-learn,pandas,matplotlib,scipy,sklearn,scrapy,pytorch等;3)數(shù)據(jù)庫方向要求至少提供如下鏡像環(huán)境:Mysql5.7,Mysql8,mongodb,sqlserver等;Web開發(fā)方向要求至少提供如下鏡像環(huán)境:Java,vue等;4)JAVA程序設(shè)計方向要求至少提供如下鏡像環(huán)境:Java+maven+ant等;5)數(shù)據(jù)采集預(yù)處理方向要求至少提供如下鏡像環(huán)境:Python、JAVA爬蟲相關(guān)鏡像等;6)需支持多種環(huán)境之間可以相互組合,教師可根據(jù)自身教學(xué)需求進行選擇,如MySQL+Python、Java+Hive+Hadoop等,組建個性化實驗環(huán)境;5.5學(xué)生功能:5.5.1實訓(xùn):以學(xué)生身份進行課程實訓(xùn),查看包括但不限于任務(wù)說明、教學(xué)實訓(xùn)、任務(wù)參考信息,對實訓(xùn)環(huán)境進行包括但不限于訪問、重置、重啟操作,在線編輯實訓(xùn)報告,上傳實訓(xùn)附件、下載實訓(xùn)附件;支持在線提交代碼進行評測,學(xué)生在線提交評測后,系統(tǒng)會對學(xué)生編寫的代碼的準(zhǔn)確性進行自動化評測,實時獲取評測結(jié)果;5.5.2項目:以小組身份進行項目教學(xué);1)項目信息:可預(yù)覽所參與的項目,查看項目階段、任務(wù)、成果文檔、成員、實驗環(huán)境,可查看本人所負(fù)責(zé)的任務(wù)及小組成員的任務(wù)分布;2)階段任務(wù):可查看當(dāng)前項目下所有階段及任務(wù),根據(jù)權(quán)限區(qū)分進行相應(yīng)操作;3)成果文檔:可查看項目中本人或組員上傳的階段文檔及任務(wù)文檔;4)成員:可查看項目下本小組組員各階段成績及項目總成績;5)實驗環(huán)境:可對實訓(xùn)環(huán)境進行訪問、重置、重啟等操作,實驗內(nèi)容基于瀏覽器的B/S模式,學(xué)生機器無需安裝任何軟件即可開始實驗;5.5.3測評:以個人身份進行理論測評或?qū)嵅贉y評;1)理論測評:規(guī)定時間內(nèi)進行答題,自動評分查看測評成績及結(jié)果;2)實操測評:規(guī)定時間內(nèi)進行答題,可對實訓(xùn)環(huán)境進行訪問、重置、重啟等操作,可在線編輯測評報告,上傳/下載測評附件;5.5.4個人中心:可查看個人教學(xué)相關(guān)記錄及個人能力模型;1)個人資料:可維護個人基礎(chǔ)信息;2)實訓(xùn)記錄:可查看課程實訓(xùn)練習(xí)記錄,并針對記錄進行繼續(xù)練習(xí)或再次練習(xí);3)項目記錄:可查看項目練習(xí)記錄,并針對記錄進行繼續(xù)練習(xí)或再次練習(xí);4)測評記錄:可查看個人測評練習(xí)記錄,并查看測評記錄的詳情信息;5)能力匹配:可查看個人能力模型,并對目標(biāo)的崗位、證書或競賽進行對比,查看相應(yīng)的能力匹配度;能力模型由課程學(xué)習(xí)記錄及相關(guān)課程成績單組成;6基于Spark的離線數(shù)據(jù)分析實訓(xùn)庫6.1基于真實大數(shù)據(jù)項目任務(wù)轉(zhuǎn)化,所有內(nèi)容均直接使用項目研發(fā)過程資料作為素材,能夠引導(dǎo)學(xué)生從零開始完成基于Spark的離線大數(shù)據(jù)分析的研發(fā)工作,匹配真實企業(yè)工作流程,離線大數(shù)據(jù)分析相關(guān)實訓(xùn)任務(wù)以真實業(yè)務(wù)為背景,包含RDD的創(chuàng)建、分區(qū)、讀取數(shù)據(jù)、保存數(shù)據(jù)、計算每個顧客的消費次數(shù)、獲取備注中出現(xiàn)頻率最高的三個詞、計算每個國家的用戶數(shù)量、計算每個配件的銷售總額、計算各品牌的銷售總額、查詢包含指定詞匯的商品信息、計算不同的退回標(biāo)記的訂單中每個運輸途徑的訂單總額、使用累加器計算每個用戶的消費額、使用廣播變量獲取訂單狀態(tài)為F的訂單總數(shù)、控制臺打印表、市油站(銷售額)排序等實訓(xùn)任務(wù);6.2實訓(xùn)任務(wù)包含如下資源:(1)任務(wù)場景知識講義,可指導(dǎo)教師進行任務(wù)場景講授;(2)任務(wù)前置知識儲備講義,可指導(dǎo)教師進行任務(wù)的前置基礎(chǔ)理論知識講授;(3)任務(wù)數(shù)據(jù)源、開發(fā)工具包、任務(wù)說明、任務(wù)指導(dǎo)、任務(wù)源代碼、任務(wù)教學(xué)視頻,提供教學(xué)大綱、實驗指導(dǎo)手冊,可指導(dǎo)學(xué)生完成基于Spark的大數(shù)據(jù)離線分析相關(guān)實訓(xùn)任務(wù),對接產(chǎn)業(yè)真實技術(shù)技能需求;6.3知識技能點涵蓋RDD彈性數(shù)據(jù)集、創(chuàng)建、分區(qū)、SparkCore數(shù)據(jù)讀取和保存、常用的轉(zhuǎn)換算子、行動算子、依賴關(guān)系查看、序列化、持久化、累加器、廣播變量、DataFrame、DataSet、SparkSQL數(shù)據(jù)讀取和保存等,Spark簡介、安裝、運行架構(gòu)、RDD的設(shè)計與運行原理、部署模式、RDD編程、鍵值對RDD、數(shù)據(jù)讀寫、SparkSQL、SparkStreaming、StructuredStreaming和SparkMLlib等不少于31個實訓(xùn)任務(wù);7數(shù)據(jù)倉庫實訓(xùn)庫7.1基于真實大數(shù)據(jù)數(shù)據(jù)倉庫項目轉(zhuǎn)化,所有內(nèi)容均直接使用項目研發(fā)過程資料作為素材,能夠引導(dǎo)學(xué)生從零開始完成一個數(shù)據(jù)倉庫構(gòu)建的研發(fā)工作,匹配真實企業(yè)工作流程,數(shù)據(jù)倉庫項目化實訓(xùn)包以真實數(shù)據(jù)倉庫建設(shè)需求為背景,包含但不限于如MySQL離線數(shù)據(jù)采集、維表更新、事實表更新、每人每天下單數(shù)量和下單總金額、每人每月下單數(shù)量和下單總金額、連續(xù)兩個月下單并且下單金額保持增長的用戶、每個國家的平均消費額和所有國家平均消費額的比較分析、一年中每個國家用戶個人消費總額中位數(shù)、基于BI工具的離線數(shù)據(jù)分析、基于Azkaban的任務(wù)調(diào)度、基于Flume和Kafka的實時數(shù)據(jù)采集、實時數(shù)據(jù)清洗與聚合、下單用戶數(shù)的消費額TOP5、每分鐘下單數(shù)量、每小時消費額、每小時消費額中位數(shù)國家TOP5等不少于16個實訓(xùn)任務(wù);7.2實訓(xùn)任務(wù)包含如下資源:7.2.1包含如下資源:歷史數(shù)據(jù)集或數(shù)據(jù)生成器、任務(wù)說明、任務(wù)分析、任務(wù)實現(xiàn);包含:階段任務(wù)、實訓(xùn)清單、階段目標(biāo)、數(shù)據(jù)集、實訓(xùn)手冊;數(shù)據(jù)集要求不少于5個業(yè)務(wù)相關(guān)數(shù)據(jù)集,其中1個數(shù)據(jù)集不低于20個維度,總體數(shù)據(jù)量不少于20000條;7.2.2實訓(xùn)源代碼,基于數(shù)據(jù)倉庫的數(shù)據(jù)清洗、處理、分析源代碼,可指導(dǎo)學(xué)生完成數(shù)據(jù)倉庫建設(shè)相關(guān)實訓(xùn)任務(wù),對接產(chǎn)業(yè)真實技術(shù)技能需求;7.3提供的項目背景類資源包含項目背景、需求分析、解決方案、數(shù)據(jù)分析、數(shù)據(jù)模型、數(shù)據(jù)流轉(zhuǎn)圖等,可指導(dǎo)學(xué)生全方位了解項目需求及目標(biāo)結(jié)果;7.4數(shù)據(jù)管理能力,支持按照組織機構(gòu)、人員角色或組進行數(shù)據(jù)集權(quán)限的授權(quán)分配;支持?jǐn)?shù)據(jù)行級和列級的權(quán)限控制,行級權(quán)限支持靜態(tài)規(guī)則和動態(tài)規(guī)則配置,列級權(quán)限支持禁止查看列、列數(shù)據(jù)脫敏功能;7.5數(shù)據(jù)倉庫包含的知識技能點如下:(1)數(shù)據(jù)集成與任務(wù)調(diào)度:Flume數(shù)據(jù)采集工具、Kafka分布式消息隊列、Azkaban任務(wù)調(diào)度、Kettle數(shù)據(jù)抽取、Kettle調(diào)度;(2)數(shù)據(jù)清洗:Spark分布式計算框架、Flink實時計算框架、Hive分布式SQL計算引擎、Kettle數(shù)據(jù)加載和轉(zhuǎn)換;(3)構(gòu)建ODS層(數(shù)據(jù)準(zhǔn)備層/近源層):Hive分布式SQL計算引擎;(4)構(gòu)建DWD層(數(shù)據(jù)明細(xì)層):Hive分布式SQL計算引擎;(5)構(gòu)建DWS層(數(shù)據(jù)匯總層):Hive分布式SQL計算引擎;(6)構(gòu)建ADS層(應(yīng)用服務(wù)層):Hive分布式SQL計算引擎;(7)數(shù)據(jù)分析:Spark分布式計算框架、Flink實時計算框架、Hive分布式SQL計算引擎;(8)數(shù)據(jù)可視化:數(shù)據(jù)可視化BI工具使用;8數(shù)據(jù)挖掘與機器學(xué)習(xí)實訓(xùn)庫8.1數(shù)據(jù)挖掘與機器學(xué)習(xí)項目化實訓(xùn)庫功能:訓(xùn)練數(shù)據(jù)挖掘和機器學(xué)習(xí)相關(guān)技術(shù)的基礎(chǔ)知識和應(yīng)用技能,具體包含但不限于如下內(nèi)容:8.1.1主流機器學(xué)習(xí)算法的分類、特點和應(yīng)用場景,如監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)、強化學(xué)習(xí)等,數(shù)據(jù)預(yù)處理、特征工程、模型評估和選擇等方法;8.1.2使用相關(guān)的數(shù)據(jù)挖掘和機器學(xué)習(xí)庫,如scikit-learn、PyTorch、TensorFlow等;8.1.3常見的機器學(xué)習(xí)算法的使用,如邏輯回歸、線性判別分析、多分類學(xué)習(xí)、線性回歸、決策樹、kNN算法、支持向量機、樸素貝葉斯分類器、神經(jīng)網(wǎng)絡(luò)、隨機森林算法、Adaboost、k-means、DBSCAN、AGNES、高斯混合聚類、聚類性能評估指標(biāo)、PCA、多維縮放等不少于38個實訓(xùn)任務(wù),指導(dǎo)學(xué)生如何進行數(shù)據(jù)降維、特征選擇、特征縮放等數(shù)據(jù)預(yù)處理工作,如何使用訓(xùn)練數(shù)據(jù)對模型進行訓(xùn)練,并調(diào)優(yōu)模型以提高性能;8.1.4使用測試數(shù)據(jù)對訓(xùn)練好的模型進行評估,計算準(zhǔn)確率、精確率、召回率、F1值等指標(biāo),分析模型的性能瓶頸和改進方向,如過擬合、欠擬合等問題的處理;8.1.5實訓(xùn)任務(wù)資源包含任務(wù)場景知識講義及教師演示的代碼及說明、任務(wù)前置知識儲備講義及教師演示的代碼及說明、數(shù)據(jù)集、開發(fā)工具包及相應(yīng)工程模板、任務(wù)說明、任務(wù)指導(dǎo)、任務(wù)源代碼、任務(wù)教學(xué)視頻等,可指導(dǎo)教師和學(xué)生有序開展項目化實訓(xùn);提供教學(xué)大綱、實驗指導(dǎo)手冊、至少6個教學(xué)視頻、6個教學(xué)方案、6個思政內(nèi)容、1套試卷等,可指導(dǎo)教師和學(xué)生有序開展項目化實訓(xùn);9大數(shù)據(jù)平臺搭建運維實

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論