如何構建高校大數據科研云平臺4

總結

3

OceanMind高校大數據云平臺應用

1

各學科大數據分析挖掘面臨的挑戰(zhàn)

2

如何構建高校大數據科研云平臺1各學科大數據分析挖掘面臨的挑戰(zhàn)客觀世界數字化勞動力礦產能源數據成為人類社會的重要生產要素識濟業(yè)濟業(yè)濟然濟（生產運輸工具）

（蒸汽機）

（電力/電氣化）農業(yè)革命

第一次工業(yè)革命

第二次工業(yè)革命知識大數據（大數據智能技術）第四次工業(yè)革命數據發(fā)現智慧、

產生智慧（信息技術）第三次工業(yè)革命自給自足信息計算采摘狩獵科技革命

推動生產

要素轉化

為生產力

計算輔助人類智慧新價值創(chuàng)造新經濟增長點

機器取代人力種植/養(yǎng)殖智能化

農業(yè)化電氣化

信息化

機械化農

經知

經自

經工

經越來越多的學科需要掌握大數據技能大數據分析挖掘能力是未來各學科發(fā)展的基本技能CAB大數據分析挖掘D生物遺傳物理學經濟學天文學統(tǒng)計學。。。。。。EVelocity-速度實時性要求高Volume-巨量數量巨大Variety-多樣性結構化、半結構化、非

結構化數據Value-價值密度沙里淘金，價值密度低傳統(tǒng)數據分析、挖掘手段難以滿足需求大數據分析挖掘的重要性

據統(tǒng)計大數據使用過程中80%工作集中于數據分析

挖掘相關工作。

據統(tǒng)計失敗的大數據應用項目70%以上源自無效的、

不專業(yè)的數據分析挖掘。

據統(tǒng)計80%以上大數據新建應用無法適應業(yè)務不斷快速變化，90%以上都需要重新開發(fā)。大數據分析挖掘是大數據項目成敗的核心大數據項目的困境如何從海量數據中挖掘價值數據價值如何體現？數據智慧如何挖掘?降低大數據分析挖掘的門檻是核心各學科大數據分析挖掘面臨的挑戰(zhàn)如何應對日益復雜的大數據處理？如何降低大數據應用開發(fā)門檻？如何減少繁瑣數據分析挖掘工作？如何適應快速的業(yè)務變化？如何減少大數據應用重復開發(fā)？如何讓大數據分析挖掘自助化？2如何構建高校大數據科研云平臺我們需要什么樣的大數據科研云平臺？為什么需要構建高校大數據科研云平臺.

科研項目需求.

橫向課題需求.

論文數據分析需求.

科研工作的實際需要術門檻高

獨立建設大數據平臺周期長獨立建設大數據平

臺利用率低高校大數據

科研云平臺通用大數據平臺技現實場景在應用過程中是變化的影響現實場景的因素在應用過程中是變化的數據源的種類在應用過程中是變化的數據的內容在應用過程中是變化的數據的數量在應用過程中是變化的構建高校大數據科研云平臺的關鍵點之一：“”變化“”?數據是變化的?模型是變化的目標挖掘數據信息價值大數據專家

精通大數據管理技術、數據處理技術

不熟悉大數據的業(yè)務場景

對大數據挖掘的方向理解不深刻學科專家

熟悉大數據的業(yè)務

場景

清楚大數據挖掘的

方向

大數據管理、處理

技能需增強如何解決業(yè)務與數據的緊耦合狀態(tài)大數據智能分析挖掘系統(tǒng)構建高校大數據科研云平臺的關鍵點之二：學科知識和數據知識解耦構建數據和業(yè)務松耦合關系，有效提升數據使用效率讓擅長的人去做擅長的事數據業(yè)務數據數據業(yè)務業(yè)務數據總線大數據操作系統(tǒng)的本質是屏蔽大數據底層技術細節(jié)，直接向應用層提供服務OceanMind大數據操作系統(tǒng)應用接口層：數據定義模型、查詢模型、分析計算模型大數據操作系統(tǒng)層操作系統(tǒng)層硬件資源層大數據操作系統(tǒng)CPU、硬盤、內存、外設，網絡引擎層：數據存儲管理、查詢、計算分析能力數據源管理層系統(tǒng)擴展內核調度、資源分配驅動程序驅動程序業(yè)務應用業(yè)務應用驅動程序驅動程序業(yè)務應用業(yè)務應用業(yè)務系統(tǒng)層系統(tǒng)服務基礎平臺服務（PaaS）分布式圖關系數據庫HDFS(分布式文件系統(tǒng))業(yè)務應用服務（SaaS）基礎設施服務（IaaS）大數據平臺總體架構運維管理服務管理數據服務虛擬化Hive/Impala(數據倉庫)機房分流&DPI

專用設備專題庫HBasekafkaSqoop/Flume..(數據庫/文件ETL)ZooKeeper數據模型服務（DaaS）ElasticSearch/..(全文檢索)LogStach/..

(日志采集檢索)運維管理服務（MaaS）Yarn/…(任務調度)應用生成（流程表單、可視化組件、業(yè)務協(xié)同）Spark/Storm

(分布式計算)預警告警服務水平管理服務流程管理租戶管理設備智能檔案事件智能檔案網絡人員智能檔案存儲資源池網絡資源計算資源池安全防護資源管理安全設備服務器存儲設備管理配置管理權限管理監(jiān)控管理數據可視化數據分析數據挖掘數據清洗數據驅動數據轉換數據接入數據加載第三方業(yè)務應用XX業(yè)務應用XX業(yè)務應用(分布式消息系統(tǒng))目標管理分析(分布式協(xié)作服務)(分布式數據庫)基礎庫基礎平臺服務（PaaS）分布式圖關系數據庫HDFS(分布式文件系統(tǒng))業(yè)務應用服務（SaaS）基礎設施服務（IaaS）大數據云平臺構建方式1-組件眾多、技術復雜、整合困難運維管理服務管理數據服務虛擬化Hive/Impala(數據倉庫)機房分流&DPI

專用設備專題庫HBasekafkaSqoop/Flume..(數據庫/文件ETL)ZooKeeper數據模型服務（DaaS）ElasticSearch/..(全文檢索)LogStach/..

(日志采集檢索)運維管理服務（MaaS）Yarn/…(任務調度)應用生成（流程表單、可視化組件、業(yè)務協(xié)同）Spark/Storm

(分布式計算)預警告警服務水平管理服務流程管理租戶管理設備智能檔案事件智能檔案網絡人員智能檔案存儲資源池網絡資源計算資源池安全防護資源管理安全設備服務器存儲設備管理配置管理權限管理監(jiān)控管理數據可視化數據分析數據挖掘數據清洗數據驅動數據轉換數據接入數據加載第三方業(yè)務應用XX業(yè)務應用XX業(yè)務應用(分布式消息系統(tǒng))目標管理分析(分布式協(xié)作服務)(分布式數據庫)基礎庫基礎平臺服務（PaaS）分布式圖關系數據庫HDFS(分布式文件系統(tǒng))業(yè)務應用服務（SaaS）基礎設施服務（IaaS）大數據云平臺構建方式2-如何將技術能力轉換為服務能力運維管理服務管理數據服務虛擬化Hive/Impala(數據倉庫)機房分流&DPI

專用設備專題庫HBasekafkaSqoop/Flume..(數據庫/文件ETL)ZooKeeper數據模型服務（DaaS）ElasticSearch/..(全文檢索)LogStach/..

(日志采集檢索)運維管理服務（MaaS）Yarn/…(任務調度)應用生成（流程表單、可視化組件、業(yè)務協(xié)同）Spark/Storm

(分布式計算)預警告警服務水平管理服務流程管理租戶管理設備智能檔案事件智能檔案網絡人員智能檔案存儲資源池網絡資源計算資源池安全防護資源管理安全設備服務器存儲設備管理配置管理權限管理監(jiān)控管理數據可視化數據分析數據挖掘數據清洗數據驅動數據轉換數據接入數據加載第三方業(yè)務應用XX業(yè)務應用XX業(yè)務應用(分布式消息系統(tǒng))目標管理分析(分布式協(xié)作服務)(分布式數據庫)基礎庫基礎平臺服務（PaaS）分布式圖關系數據庫HDFS(分布式文件系統(tǒng))業(yè)務應用服務（SaaS）基礎設施服務（IaaS）大數據云平臺構建方式3-屏蔽技術細節(jié)，直接提供服務能力運維管理服務管理數據服務虛擬化Hive/Impala(數據倉庫)機房分流&DPI

專用設備專題庫HBasekafkaSqoop/Flume..(數據庫/文件ETL)ZooKeeper數據模型服務（DaaS）ElasticSearch/..(全文檢索)LogStach/..

(日志采集檢索)運維管理服務（MaaS）Yarn/…(任務調度)應用生成（流程表單、可視化組件、業(yè)務協(xié)同）Spark/Storm

(分布式計算)預警告警服務水平管理服務流程管理租戶管理設備智能檔案事件智能檔案網絡人員智能檔案存儲資源池網絡資源計算資源池安全防護資源管理安全設備服務器存儲設備管理配置管理權限管理監(jiān)控管理數據可視化數據分析數據挖掘數據清洗數據驅動數據轉換數據接入數據加載第三方業(yè)務應用XX業(yè)務應用XX業(yè)務應用(分布式消息系統(tǒng))目標管理分析(分布式協(xié)作服務)(分布式數據庫)基礎庫Spark(MLlib機器學異構

習)存儲R框架（統(tǒng)計分析挖掘）OceanMind提供面向應用的大數據服務，最大程度降低大數據使用門檻OceanMind大數據云平臺-異構數據源、異構存儲、異構計算、二次開發(fā)、可視化智能分析二次開發(fā)能力棧

算子可拖拽流程化

流程管理

大數據功能算子化

業(yè)務生成

數據可視化組件行業(yè)模板XX行業(yè)模板XX行業(yè)模板XX行業(yè)模板XX行業(yè)模板XX行業(yè)模板

APP1

APP2

APP3…

APPN第三方業(yè)務應用業(yè)務應用APP

TensorFlow（深度學習）應用生成交互組件算子模型內存存儲列存儲Python框架

(統(tǒng)計挖掘分析)流程驅動調度協(xié)同Storm

（流計算）流程可編排自助化流程模板可重用深度學習

數據分析BDOMM大數據操作維護管理R語言文件存儲小對象JAVA語言全文SCALA語言流式數據源CUDAPython互聯(lián)網數據源DB數據源其他數據源大數據

數據源文件數據源圖存儲數據導出關聯(lián)分析模型管理預警告警數據清洗數據轉換聯(lián)合搜索機器學習數據統(tǒng)計可視化大數據智能算子庫

功能算子異構數據分析引擎數據導入計算融合使用者

教師

學生其它開發(fā)者

教師學生其它件二次開發(fā)管理平臺3發(fā)布大數據分析挖掘平臺用Ocean

Mind大數據基礎平臺存儲資源池計算資源池網絡資源池OceanMind高校大數據科研云平臺平臺使開發(fā)套提交開發(fā)接口開發(fā)文檔算子管理開發(fā)管理業(yè)務流程基礎算子基礎算子專業(yè)算子成果案例業(yè)務流程專業(yè)算子業(yè)務模板業(yè)務模板成果案例412豐富的算子滿足多樣化、復雜的、持續(xù)變化的清洗轉換需求-

數據轉換算子

數據清洗算子

數據挖掘算子

數據導入算子OceanMining大數據科研云平臺-應對“變化”(豐富的算子)多樣化大數據應用

數據導出算子

OceanMining大數據科研云平臺-應對“變化”(功能算子二次開發(fā))OceanMind提供報表、圖形及頁面生成控件，可以將業(yè)務模型的運行結果數據通過控件拖拽方式進行直觀呈現，快速完成業(yè)務生成。?數據源靈活可選；?菜單生成自定義；?

多種圖表可選；?快速生成應用頁面；OceanMining大數據科研云平臺-應對”變化“(模塊化業(yè)務開發(fā))簡單托拉拽、無編程化大數據做分析挖掘，快速實現大數據應用系統(tǒng)管理OceanMining大數據科研云平臺-應對”專業(yè)知識和數據知識解耦“(高可視化互操作)大數據功能算子化流程可編排自助化流程模板化可重用算子可拖拽流程化全流程可視化交互生動靈活的可視化展示滿足不同的大數據可視化需求OceanMining大數據科研云平臺-應對“專業(yè)知識和數據知識解耦”(靈活的數據展示)豐富可視化圖形靈活可視化呈現階段對比階段內容OceanMining其他廠家開發(fā)階段業(yè)務開發(fā)1、拖拽算子流程2

、ACE顯示組件+交互組件無，需開發(fā)編譯算子二次開發(fā)SDK（java

、R）少量邏輯開發(fā)不支持數據接口Thrift/HTTP

REST/JDBC/ODBC基本相同階段周期周期短周期長階段難度難度小難度大測試階段測試調整1

、ACE顯示組件+交互組件2、調整算子流程參數無，需開發(fā)編譯測試驗證無需編程、無需編譯、直接執(zhí)行所見即所得無，需開發(fā)編譯階段投入投入小投入多階段效率效率高效率低維護階段維護階段自帶流程監(jiān)控針對開發(fā)編譯新數據增加、變換調整參數、調整流程、無需開發(fā)編譯重新開發(fā)編譯業(yè)務需求變動調整參數、調整流程、無需開發(fā)編譯重新開發(fā)編譯、推倒從頭再來維護難易較容易難度大維護成本成本低成本高降低總體擁有成本，平均提升效率200%~400%OceanMind大數據科研云平臺應用生命周期對比3OceanMind高校大數據云平臺應用OceanMind高校大數據科研云平臺展示OceanMind高校大數據科研云平臺應用讓學科專家的大數據分析挖掘工作更輕松！優(yōu)化整合學校各種管理信息系統(tǒng)和協(xié)同辦公系統(tǒng)，完善高校決策支持系統(tǒng)的模型庫、數

據庫和知識庫建設，通過大數據分析，實現

學校發(fā)展的智能決策。建設高?？蒲醒芯科脚_，促進產學研深度合作，促進科

研成果轉化。實時監(jiān)測校園網絡，動態(tài)感知網絡運行狀態(tài)，預防和控

制網絡風險?？蒲谐晒炞C

共享智慧校園決策分析校園網絡風控OceanMind高校科研成果驗證共享系統(tǒng)高校教師?

在線注冊?

按需購買?

靈活方便?

科研輕松?

溝通交流?

共享成果?

共同進步全國高校渠道伙伴?

線上/線下推廣?

比項目更靈活?

長期分享收益高校大數據科研云平臺——讓學科專家的科研工作更輕松！

科研云OceanCloud開發(fā)者（個人、企業(yè)、教師）分享收益共享算子開發(fā)算子數據（智慧校園平臺）招生管理教學計劃項目申報機構編制設備登記繳費管理固定資產財務報表餐飲管理課程編排教材管理科技協(xié)作人事檔案材料登記學生公寓入學管理學籍管理科研考評人才招聘房屋登記樓宇房屋宿舍管理考務管理學術論文績效考核采購計劃審核教工住房網上選課教學實踐學術報告學術交流職稱評聘設備維護日志水電管理社團管理綜合評測勞資福利設備報銷維護修繕OceanMind智慧校園大數據決策分析系統(tǒng)外部數據國內信息平臺國外信息平臺大數據智慧校園分析挖掘系統(tǒng)——全面整合、分析高校各系統(tǒng)數據，為高校發(fā)展提供決策支撐。Ocean

Mining智能分析挖掘平臺

模板庫學生成長的大數據分析教師發(fā)展的大數據分析提升服務能力的大數據分析學生管理系統(tǒng)教務管理系統(tǒng)科研管理系統(tǒng)

教工管理系統(tǒng)資產管理系統(tǒng)財務管理系統(tǒng)

后勤管理系統(tǒng)

Ocean

Mind大數據基礎平臺論壇咨詢報告咨詢報告論壇會計賬目資金管理薪資管理期刊出版物期刊智庫出版物權威報告智庫權威報告

流程管理

算子庫一卡通數據庫存儲資源池計算資源池網絡資源池科技數據庫辦公數據庫學生數據庫財務數據庫后勤數據庫用戶數據庫教工數據庫教務數據庫設備數據庫資產數據庫網絡日志庫流量日志設備日志流量內容OceanMind校園網絡大數據風險控制系統(tǒng)------------------------------------------------------------------------◆網絡運行風控網絡故障分析網絡QOS保障網絡流量統(tǒng)計網絡異常行為分析用戶行為風控用戶內容審計用戶異常行為分析大數據校園網絡風險控制系統(tǒng)——采集分析校園網流量數據，動態(tài)感知校園網絡風險。Ocean

Mining智能分析挖掘平臺

模板庫實時報警基于用戶行為的動態(tài)分析基于規(guī)則的靜態(tài)分析Ocean

Mind大數據基礎平臺

流程管理

算子庫存儲資源池計算資源池網絡資源池基于大數據的網絡風險控制網絡運行風控?流量分析?網絡故障?關鍵業(yè)務質量用戶行為風控?用戶內容審計?用戶行為分析OceanMind校園網絡大數據風險控制系統(tǒng)-靜態(tài)數據分析+動態(tài)數據挖掘?

流量數據-

流量日志-

流量內容?

日志數據-

設備日志、操作系統(tǒng)日志-數據庫日志、應用日志基于規(guī)則的靜態(tài)數據分析?必須事先掌握規(guī)則和樣本?不能針對不同的環(huán)境分析特定

的異?；谛袨榈膭討B(tài)數據挖掘?無需事先掌握規(guī)則和樣本?可以根據