高校實(shí)驗(yàn)室大數(shù)據(jù)開發(fā)平臺(tái)建設(shè)方案高校實(shí)驗(yàn)室大數(shù)據(jù)開發(fā)平臺(tái)建設(shè)方案1目 錄背 景平臺(tái)功能職業(yè)教育目 錄2大數(shù)據(jù)和物聯(lián)網(wǎng)教學(xué)解決方案采集監(jiān)控存儲(chǔ)數(shù)據(jù)采集標(biāo)準(zhǔn)化大數(shù)據(jù)分析可視化大數(shù)據(jù)和物聯(lián)網(wǎng)教學(xué)解決方案采集監(jiān)控存儲(chǔ)數(shù)據(jù)采集標(biāo)準(zhǔn)化大數(shù)據(jù)分3傳統(tǒng)物聯(lián)網(wǎng)解決方案面臨的挑戰(zhàn)平臺(tái)層網(wǎng)絡(luò)層設(shè)備層業(yè)管理

智能家居

智能交通環(huán)境監(jiān)測應(yīng)用層 礦業(yè)采掘

工業(yè)制造

職業(yè)教育

城市石油化工

綠色農(nóng)能源管理傳統(tǒng)物聯(lián)網(wǎng)解決方案面臨的挑戰(zhàn)平臺(tái)層網(wǎng)絡(luò)層設(shè)備層業(yè)管理智能家4大數(shù)據(jù)是行業(yè)數(shù)據(jù)應(yīng)用深入的必然趨勢物理世界端到端的數(shù)字化集成價(jià)值鏈網(wǎng)絡(luò)下的橫向集成CPS信息空間工業(yè)4.0核心網(wǎng)絡(luò)化制造體系的縱向集成大數(shù)據(jù)是行業(yè)數(shù)據(jù)應(yīng)用深入的必然趨勢物理世界端到端的數(shù)字化集成5大數(shù)據(jù)是一個(gè)龐大的技術(shù)體系大數(shù)據(jù)平臺(tái)綠色農(nóng)業(yè)健康醫(yī)療城市管理只能家居智能交通環(huán)境監(jiān)測水利水務(wù)工業(yè)制造職業(yè)教育大數(shù)據(jù)是一個(gè)龐大的技術(shù)體系大數(shù)據(jù)平臺(tái)綠色農(nóng)業(yè)健康醫(yī)療城市管理6目 錄背 景平臺(tái)功能職業(yè)教育目 錄7組態(tài)展示服務(wù)CVS過程數(shù) 結(jié)構(gòu)化據(jù)服務(wù) 數(shù)據(jù)服PDS 務(wù)STSS開放數(shù)據(jù)存儲(chǔ)服務(wù)OTS產(chǎn)品服務(wù)構(gòu)架組態(tài)展示服務(wù)CVS過程數(shù) 結(jié)構(gòu)化S產(chǎn)品服務(wù)構(gòu)架8高校實(shí)驗(yàn)室大數(shù)據(jù)開發(fā)平臺(tái)建設(shè)方案9高校實(shí)驗(yàn)室大數(shù)據(jù)開發(fā)平臺(tái)建設(shè)方案10SS11列1列2列3……列n列1列2列3……列n12帶時(shí)間戳的時(shí)序數(shù)據(jù)處理

多協(xié)議的接入

網(wǎng)絡(luò)高并發(fā)性

實(shí)時(shí)報(bào)警

歷史統(tǒng)計(jì)PDS壓縮帶時(shí)間戳的時(shí)序數(shù)據(jù)處理PDS壓縮13OSS—

對象存儲(chǔ)服務(wù)圖紙圖片文檔圖表音頻壓縮結(jié)構(gòu)化半結(jié)構(gòu)化非結(jié)構(gòu)化對象存儲(chǔ)OSS—對象存儲(chǔ)服務(wù)圖紙圖片文檔圖表音頻壓縮結(jié)構(gòu)化半結(jié)14第三方數(shù)據(jù)接入DTS大數(shù)據(jù)平臺(tái)設(shè)備過程數(shù)據(jù)接入非結(jié)構(gòu)化文件FTP接入關(guān)系數(shù)據(jù)庫ETL接入文本文件半結(jié)構(gòu)化數(shù)據(jù)接入圖像識(shí)別非結(jié)構(gòu)化數(shù)據(jù)接入結(jié)構(gòu)數(shù)據(jù)文本結(jié)構(gòu)化數(shù)據(jù)文件接入第三方數(shù)據(jù)接入DTS大數(shù)據(jù)平臺(tái)設(shè)備非結(jié)構(gòu)化文件關(guān)系數(shù)據(jù)庫文本15TSS+DAS—分布式環(huán)境下的大數(shù)據(jù)分析數(shù)據(jù)節(jié)點(diǎn)分布式大數(shù)據(jù)存儲(chǔ)引擎HadoopHDFS/HbaseCPU=2M

EM

=

200在線分布式計(jì)算引擎Spark離線分布式計(jì)算引擎M

ap/Reduce分布式資源管理&

計(jì)算任務(wù)調(diào)度

YARN數(shù)據(jù)節(jié)點(diǎn)數(shù)據(jù)節(jié)點(diǎn)數(shù)據(jù)節(jié)點(diǎn)數(shù)據(jù)節(jié)點(diǎn)數(shù)據(jù)節(jié)點(diǎn)數(shù)據(jù)節(jié)點(diǎn)CPU=4M

EM

=

400CPU=6M

EM

=

1000CPU=2M

EM

=

200計(jì)算分析引擎&工

具R語言深度學(xué)習(xí)算法框架Caffe實(shí)時(shí)流數(shù)據(jù)處理引擎Storm實(shí)時(shí)數(shù)據(jù)流處理統(tǒng)計(jì)分析機(jī)器學(xué)習(xí)算法優(yōu)化MATLAB計(jì)算分析領(lǐng)域&應(yīng)

用TSS+DAS—分布式環(huán)境下的大數(shù)據(jù)分析數(shù)據(jù)節(jié)點(diǎn)分布式大數(shù)據(jù)16計(jì)算任務(wù)開發(fā)的新模式

配置數(shù)學(xué)公式實(shí)現(xiàn)大數(shù)據(jù)計(jì)算計(jì)算任務(wù)開發(fā)的新模式17可視化服務(wù)CVS+

W

LS可視化純BS方式展示，無插件拖拽方式搭建畫面，0編程自適應(yīng)分辨率，跨平臺(tái)可視化服務(wù)CVS+WLS可視化純BS方式展示，無插件拖拽18W

LS-信息化頁面組件服務(wù)WLS-信息化頁面組件服務(wù)19W

LS—

設(shè)計(jì)器WLS—設(shè)計(jì)器20CVS-

組態(tài)展示服務(wù)CVS-組態(tài)展示服務(wù)21CVS-

設(shè)計(jì)器CVS-設(shè)計(jì)器22CVS-

組態(tài)展示服務(wù)可擴(kuò)展方便發(fā)布對接多種數(shù)據(jù)源實(shí)時(shí)監(jiān)控矢量圖CVS-組態(tài)展示服務(wù)可擴(kuò)展方便發(fā)布對接多種數(shù)據(jù)源實(shí)時(shí)監(jiān)控矢23便捷的私有云部署和管理便捷的私有云部署和管理24目 錄背 景平臺(tái)功能職業(yè)教育目 錄25大數(shù)據(jù)職業(yè)教育誤區(qū)主流技術(shù)路線是什么？怎么選？技術(shù)構(gòu)件眾多，如何組合？大數(shù)據(jù)分析領(lǐng)域應(yīng)該聚焦在哪里？職業(yè)教育中如何選擇企業(yè)真正關(guān)心的大數(shù)據(jù)？大數(shù)據(jù)如何產(chǎn)生？大數(shù)據(jù)如何存儲(chǔ)？大數(shù)據(jù)如何分析？大數(shù)據(jù)如何展示？大數(shù)據(jù)職業(yè)教育誤區(qū)主流技術(shù)路線是什么？怎么選？26大數(shù)據(jù)技術(shù)學(xué)習(xí)路徑數(shù)據(jù)采集技術(shù)傳統(tǒng)工業(yè)協(xié)議數(shù)據(jù)采集、物聯(lián)網(wǎng)網(wǎng)關(guān)數(shù)據(jù)采集、日志聚合數(shù)據(jù)采集、關(guān)系數(shù)據(jù)ETL采集數(shù)據(jù)存儲(chǔ)&檢索技術(shù)Hadoop生態(tài)體系、HBase、Sparc、kafka、zookeeper、MapReduce、Solr等主流大數(shù)據(jù)技術(shù)數(shù)據(jù)分析技術(shù)Hive、Impala、分布式關(guān)系數(shù)據(jù)庫、數(shù)據(jù)倉庫、R語言等技術(shù)數(shù)據(jù)展現(xiàn)技術(shù)Html5

、SVG、信息化開發(fā)框架、javascript、圖表&報(bào)表、GIS等技術(shù)大數(shù)據(jù)技術(shù)學(xué)習(xí)路徑數(shù)據(jù)采集技術(shù)27大數(shù)據(jù)技術(shù)職業(yè)培訓(xùn)前景美國-----大數(shù)據(jù)分析師平均每年薪酬高達(dá)17.5萬美元國內(nèi)------頂尖互聯(lián)網(wǎng)公司，大數(shù)據(jù)分析師的薪酬可能要比同一個(gè)級別的其他職位高20%至30%具備實(shí)戰(zhàn)技術(shù)的大數(shù)據(jù)從業(yè)人才，是21世紀(jì)最寶貴的技術(shù)人才！大數(shù)據(jù)技術(shù)職業(yè)培訓(xùn)前景美國-----大數(shù)據(jù)分析師平均每年薪酬28匯報(bào)完畢感謝聆聽匯報(bào)完畢感謝聆聽29高校實(shí)驗(yàn)室大數(shù)據(jù)開發(fā)平臺(tái)建設(shè)方案高校實(shí)驗(yàn)室大數(shù)據(jù)開發(fā)平臺(tái)建設(shè)方案30目 錄背 景平臺(tái)功能職業(yè)教育目 錄31大數(shù)據(jù)和物聯(lián)網(wǎng)教學(xué)解決方案采集監(jiān)控存儲(chǔ)數(shù)據(jù)采集標(biāo)準(zhǔn)化大數(shù)據(jù)分析可視化大數(shù)據(jù)和物聯(lián)網(wǎng)教學(xué)解決方案采集監(jiān)控存儲(chǔ)數(shù)據(jù)采集標(biāo)準(zhǔn)化大數(shù)據(jù)分32傳統(tǒng)物聯(lián)網(wǎng)解決方案面臨的挑戰(zhàn)平臺(tái)層網(wǎng)絡(luò)層設(shè)備層業(yè)管理

智能家居

智能交通環(huán)境監(jiān)測應(yīng)用層 礦業(yè)采掘

工業(yè)制造

職業(yè)教育

城市石油化工

綠色農(nóng)能源管理傳統(tǒng)物聯(lián)網(wǎng)解決方案面臨的挑戰(zhàn)平臺(tái)層網(wǎng)絡(luò)層設(shè)備層業(yè)管理智能家33大數(shù)據(jù)是行業(yè)數(shù)據(jù)應(yīng)用深入的必然趨勢物理世界端到端的數(shù)字化集成價(jià)值鏈網(wǎng)絡(luò)下的橫向集成CPS信息空間工業(yè)4.0核心網(wǎng)絡(luò)化制造體系的縱向集成大數(shù)據(jù)是行業(yè)數(shù)據(jù)應(yīng)用深入的必然趨勢物理世界端到端的數(shù)字化集成34大數(shù)據(jù)是一個(gè)龐大的技術(shù)體系大數(shù)據(jù)平臺(tái)綠色農(nóng)業(yè)健康醫(yī)療城市管理只能家居智能交通環(huán)境監(jiān)測水利水務(wù)工業(yè)制造職業(yè)教育大數(shù)據(jù)是一個(gè)龐大的技術(shù)體系大數(shù)據(jù)平臺(tái)綠色農(nóng)業(yè)健康醫(yī)療城市管理35目 錄背 景平臺(tái)功能職業(yè)教育目 錄36組態(tài)展示服務(wù)CVS過程數(shù) 結(jié)構(gòu)化據(jù)服務(wù) 數(shù)據(jù)服PDS 務(wù)STSS開放數(shù)據(jù)存儲(chǔ)服務(wù)OTS產(chǎn)品服務(wù)構(gòu)架組態(tài)展示服務(wù)CVS過程數(shù) 結(jié)構(gòu)化S產(chǎn)品服務(wù)構(gòu)架37高校實(shí)驗(yàn)室大數(shù)據(jù)開發(fā)平臺(tái)建設(shè)方案38高校實(shí)驗(yàn)室大數(shù)據(jù)開發(fā)平臺(tái)建設(shè)方案39SS40列1列2列3……列n列1列2列3……列n41帶時(shí)間戳的時(shí)序數(shù)據(jù)處理

多協(xié)議的接入

網(wǎng)絡(luò)高并發(fā)性

實(shí)時(shí)報(bào)警

歷史統(tǒng)計(jì)PDS壓縮帶時(shí)間戳的時(shí)序數(shù)據(jù)處理PDS壓縮42OSS—

對象存儲(chǔ)服務(wù)圖紙圖片文檔圖表音頻壓縮結(jié)構(gòu)化半結(jié)構(gòu)化非結(jié)構(gòu)化對象存儲(chǔ)OSS—對象存儲(chǔ)服務(wù)圖紙圖片文檔圖表音頻壓縮結(jié)構(gòu)化半結(jié)43第三方數(shù)據(jù)接入DTS大數(shù)據(jù)平臺(tái)設(shè)備過程數(shù)據(jù)接入非結(jié)構(gòu)化文件FTP接入關(guān)系數(shù)據(jù)庫ETL接入文本文件半結(jié)構(gòu)化數(shù)據(jù)接入圖像識(shí)別非結(jié)構(gòu)化數(shù)據(jù)接入結(jié)構(gòu)數(shù)據(jù)文本結(jié)構(gòu)化數(shù)據(jù)文件接入第三方數(shù)據(jù)接入DTS大數(shù)據(jù)平臺(tái)設(shè)備非結(jié)構(gòu)化文件關(guān)系數(shù)據(jù)庫文本44TSS+DAS—分布式環(huán)境下的大數(shù)據(jù)分析數(shù)據(jù)節(jié)點(diǎn)分布式大數(shù)據(jù)存儲(chǔ)引擎HadoopHDFS/HbaseCPU=2M

EM

=

200在線分布式計(jì)算引擎Spark離線分布式計(jì)算引擎M

ap/Reduce分布式資源管理&

計(jì)算任務(wù)調(diào)度

YARN數(shù)據(jù)節(jié)點(diǎn)數(shù)據(jù)節(jié)點(diǎn)數(shù)據(jù)節(jié)點(diǎn)數(shù)據(jù)節(jié)點(diǎn)數(shù)據(jù)節(jié)點(diǎn)數(shù)據(jù)節(jié)點(diǎn)CPU=4M

EM

=

400CPU=6M

EM

=

1000CPU=2M

EM

=

200計(jì)算分析引擎&工

具R語言深度學(xué)習(xí)算法框架Caffe實(shí)時(shí)流數(shù)據(jù)處理引擎Storm實(shí)時(shí)數(shù)據(jù)流處理統(tǒng)計(jì)分析機(jī)器學(xué)習(xí)算法優(yōu)化MATLAB計(jì)算分析領(lǐng)域&應(yīng)

用TSS+DAS—分布式環(huán)境下的大數(shù)據(jù)分析數(shù)據(jù)節(jié)點(diǎn)分布式大數(shù)據(jù)45計(jì)算任務(wù)開發(fā)的新模式

配置數(shù)學(xué)公式實(shí)現(xiàn)大數(shù)據(jù)計(jì)算計(jì)算任務(wù)開發(fā)的新模式46可視化服務(wù)CVS+

W

LS可視化純BS方式展示，無插件拖拽方式搭建畫面，0編程自適應(yīng)分辨率，跨平臺(tái)可視化服務(wù)CVS+WLS可視化純BS方式展示，無插件拖拽47W

LS-信息化頁面組件服務(wù)WLS-信息化頁面組件服務(wù)48W

LS—

設(shè)計(jì)器WLS—設(shè)計(jì)器49CVS-

組態(tài)展示服務(wù)CVS-組態(tài)展示服務(wù)50CVS-

設(shè)計(jì)器CVS-設(shè)計(jì)器51CVS-

組態(tài)展示服務(wù)可擴(kuò)展方便發(fā)布對接多種數(shù)據(jù)源實(shí)時(shí)監(jiān)控矢量圖CVS-組態(tài)展示服務(wù)可擴(kuò)展方便發(fā)布對接多種數(shù)據(jù)源實(shí)時(shí)監(jiān)控矢52便捷的私有云部署和管理便捷的私有云部署和管理53目 錄背 景平臺(tái)功能職業(yè)教育目 錄54大數(shù)據(jù)職業(yè)教育誤區(qū)主流技術(shù)路線是什么？怎么選？技術(shù)構(gòu)件眾多，如何組合？大數(shù)據(jù)分析領(lǐng)域應(yīng)該聚焦在哪里？職業(yè)教育中如何選擇企業(yè)真正關(guān)心的大數(shù)據(jù)？大數(shù)據(jù)如何產(chǎn)生？大數(shù)據(jù)如何存儲(chǔ)？大數(shù)據(jù)如何分析？大數(shù)據(jù)如何展示？大數(shù)據(jù)職業(yè)教育誤區(qū)主流技術(shù)路線是什么？怎么選？55大數(shù)據(jù)技術(shù)學(xué)習(xí)路徑數(shù)據(jù)采集技術(shù)傳統(tǒng)工業(yè)協(xié)議數(shù)據(jù)采集、物聯(lián)網(wǎng)網(wǎng)關(guān)數(shù)據(jù)采集、日志聚合數(shù)據(jù)采集、關(guān)系數(shù)據(jù)ETL采集數(shù)據(jù)存儲(chǔ)&檢索技術(shù)Hadoop生態(tài)體系、HBase、Sparc、kafka、zookeeper、MapReduce、Solr等主流大數(shù)據(jù)技術(shù)數(shù)據(jù)分析技術(shù)Hive、Impala、分布式關(guān)系數(shù)據(jù)庫、數(shù)據(jù)倉庫、R語言等技術(shù)數(shù)據(jù)展現(xiàn)技術(shù)Html5

、