大數(shù)據(jù)專業(yè)建設(shè)解決方案Jul2018目錄TOC\o"1-5"\h\z項目背景41.1.大數(shù)據(jù)行業(yè)現(xiàn)狀分析及發(fā)展前景41.2.大數(shù)據(jù)行業(yè)人才需求61.3.本科高校大數(shù)據(jù)教育的進展71.3.1.本科高校大數(shù)據(jù)專業(yè)建設(shè)現(xiàn)狀分析71.3.2.新工科與大數(shù)據(jù)專業(yè)建設(shè)71.4.大數(shù)據(jù)學(xué)科建設(shè)的現(xiàn)狀分析81.4.1.教學(xué)資源91.4.2.人才培養(yǎng)91.4.3.實驗環(huán)境91.4.4.師資支撐91.4.5.實習(xí)實訓(xùn)10大數(shù)據(jù)專業(yè)人才培養(yǎng)方案102.1.招生對象及學(xué)制102.2.專業(yè)培養(yǎng)目標(biāo)102.3.人才培養(yǎng)目標(biāo)與定位102.3.1.人才質(zhì)量標(biāo)準(zhǔn)112.3.2.人才培養(yǎng)對應(yīng)工作崗位122.4.課程設(shè)置及教學(xué)安排142.4.1.課程設(shè)置體系142.4.2.課程學(xué)習(xí)路徑圖182.4.3.教學(xué)計劃及安排182.4.4.部分課程簡介243.大數(shù)據(jù)實驗室建設(shè)方案273.1.大數(shù)據(jù)實驗室建設(shè)的必要性273.2.大數(shù)據(jù)實驗室核心理念273.3.大數(shù)據(jù)實驗室架構(gòu)及優(yōu)勢293.3.1.技術(shù)架構(gòu)293.3.2.產(chǎn)品優(yōu)勢303.4.大數(shù)據(jù)教學(xué)資源建設(shè)313.4.1.大數(shù)據(jù)課程體系313.4.2.系列教材333.4.3.配套實驗手冊333.4.4.在線視頻343.4.5.在線試題庫343.4.6.大數(shù)據(jù)行業(yè)項目案例353.4.7.項目手冊393.5.大數(shù)據(jù)教學(xué)平臺建設(shè)403.5.1.數(shù)據(jù)融合403.5.2.數(shù)據(jù)融合存儲413.5.3.數(shù)據(jù)計算分析423.5.4.數(shù)據(jù)可視化433.6.大數(shù)據(jù)云試驗機443.7.可視化展示墻473.8.整體實驗室建設(shè)實施方案473.8.1.需求調(diào)研473.8.2.方案設(shè)計483.8.3.硬件環(huán)境安裝483.8.4.軟件環(huán)境部署483.8.5.產(chǎn)品使用培訓(xùn)493.8.6.項目驗收493.8.7.售后服務(wù)體系493.8.8.增值服務(wù)504.師資培養(yǎng)方案534.1.師資培訓(xùn)534.1.1.培訓(xùn)宗旨534.1.2.培訓(xùn)特色534.1.3.培訓(xùn)方式544.2.專業(yè)建設(shè)研討會544.2.1.舉辦目的544.2.2.舉辦性質(zhì)544.2.3.兼職教師隊伍建設(shè)545.學(xué)生實習(xí)實訓(xùn)解決方案555.1.校內(nèi)實訓(xùn)555.2.企業(yè)頂崗實踐565.3.就業(yè)合作56項目背景大數(shù)據(jù)行業(yè)現(xiàn)狀分析及發(fā)展前景隨著信息技術(shù)和人類生產(chǎn)生活交匯融合，互聯(lián)網(wǎng)快速普及，全球數(shù)據(jù)呈現(xiàn)爆發(fā)增長、海量集聚的特點，對經(jīng)濟發(fā)展、社會治理、國家管理、人民生活都產(chǎn)生了重大影響。在剛剛過去的2017年里，大數(shù)據(jù)在政策、技術(shù)、產(chǎn)業(yè)、應(yīng)用等多個層面都取得了顯著進展。在政策層面，大數(shù)據(jù)的重要性進一步得到鞏固。黨的十九大提出“推動互聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能和實體經(jīng)濟深度融合”，習(xí)近平總書記在政治局集體學(xué)習(xí)中深刻分析了我國大數(shù)據(jù)發(fā)展的現(xiàn)狀和趨勢，對我國實施國家大數(shù)據(jù)戰(zhàn)略提出了更高的要求。在技術(shù)層面，以分析類技術(shù)、事務(wù)處理技術(shù)和流通類技術(shù)為代表的大數(shù)據(jù)技術(shù)得到了快速的發(fā)展。以開源為主導(dǎo)、多種技術(shù)和架構(gòu)并存的大數(shù)據(jù)技術(shù)架構(gòu)體系已經(jīng)初步形成。大數(shù)據(jù)技術(shù)的計算性能進一步提升，處理時延不斷降低，硬件能力得到充分挖掘，與各種數(shù)據(jù)庫的融合能力繼續(xù)增強。在產(chǎn)業(yè)層面，我國大數(shù)據(jù)產(chǎn)業(yè)繼續(xù)保持高速發(fā)展。大數(shù)據(jù)在2018年將深入滲透到各行各業(yè)（對于我國大數(shù)據(jù)產(chǎn)業(yè)的規(guī)模，目前各個研究機構(gòu)均采取間接方法估算。據(jù)前瞻產(chǎn)業(yè)研究院發(fā)布的《大數(shù)據(jù)產(chǎn)業(yè)發(fā)展前景與投資戰(zhàn)略規(guī)劃分析報告》數(shù)據(jù)顯示，2017年中國大數(shù)據(jù)產(chǎn)業(yè)規(guī)模達到4700億元，同比增長30%;其中，大數(shù)據(jù)硬件產(chǎn)業(yè)的產(chǎn)值為234億元，同比增長39%。隨著大數(shù)據(jù)在各行業(yè)的融合應(yīng)用不斷深化，預(yù)計2020年中國大數(shù)據(jù)市場產(chǎn)值將超萬億。2015-2020年中國大數(shù)據(jù)產(chǎn)業(yè)規(guī)模走勢預(yù)測■太就掐產(chǎn)業(yè)規(guī)覆：億元數(shù)據(jù)來源：前瞻產(chǎn)業(yè)研究院在應(yīng)用層面，大數(shù)據(jù)在各行業(yè)的融合應(yīng)用繼續(xù)深化。大數(shù)據(jù)企業(yè)正在嘗到與實體經(jīng)濟融合發(fā)展帶來的“甜頭”。利用大數(shù)據(jù)可以對實體經(jīng)濟行業(yè)進行市場需求分析、生產(chǎn)流程優(yōu)化、供應(yīng)鏈與物流管理、能源管理、提供智能客戶服務(wù)等，這不但大大拓展了大數(shù)據(jù)企業(yè)的目標(biāo)市場，更成為眾多大數(shù)據(jù)企業(yè)技術(shù)進步的重要推動力。隨著融合深度的增強和市場潛力不斷被挖掘，融合發(fā)展給大數(shù)據(jù)企業(yè)帶來的益處和價值正在日益顯現(xiàn)。根據(jù)大數(shù)據(jù)產(chǎn)業(yè)地圖的統(tǒng)計，為金融、政務(wù)、電商三個行業(yè)提供大數(shù)據(jù)產(chǎn)品和解決方案的企業(yè)最多，分別占比63%、57%、47%。但實踐中仍然面臨著缺乏高質(zhì)量數(shù)據(jù)、缺乏平臺級工具、缺乏成熟商業(yè)模式等一系列問題，阻礙了實體經(jīng)濟行業(yè)充分利用大數(shù)據(jù)的價值。在地方大數(shù)據(jù)發(fā)展實踐方面，截至2018年2月底，我國各地方政府對外公布了超過110份大數(shù)據(jù)相關(guān)政策文件，覆蓋全國31個省級行政區(qū)劃?？傮w來看，我國大數(shù)據(jù)產(chǎn)業(yè)目前仍處于蓬勃發(fā)展階段，各地更加注重結(jié)合當(dāng)?shù)匕l(fā)展特色和優(yōu)勢進行大數(shù)據(jù)產(chǎn)業(yè)發(fā)展，區(qū)域協(xié)調(diào)的發(fā)展局面正在形成。在大數(shù)據(jù)的發(fā)展過程中，無論是政府還是企業(yè)，近年來都愈發(fā)關(guān)注數(shù)據(jù)治理和數(shù)據(jù)資產(chǎn)管理的重要性。2018年3月，銀監(jiān)會出臺《銀行業(yè)金融機構(gòu)數(shù)據(jù)治理指引》，要求銀行金融機構(gòu)建立自上而下、協(xié)調(diào)一致的數(shù)據(jù)治理體系。企業(yè)的數(shù)據(jù)資產(chǎn)管理也正在從理論走向?qū)嵺`，為大數(shù)據(jù)應(yīng)用打下堅實的基礎(chǔ)。為應(yīng)對大數(shù)據(jù)發(fā)展帶來的各種問題和需求，各國政府在立法方面也動作頻頻，在政府?dāng)?shù)據(jù)開放、個人信息保護和數(shù)據(jù)跨境流動方面都有了一些進展。無論是政策還是立法，都旨在實現(xiàn)數(shù)據(jù)價值的安全釋放，提升數(shù)據(jù)管理的科學(xué)化水平。我國要實現(xiàn)從“數(shù)據(jù)大國”向“數(shù)據(jù)強國”轉(zhuǎn)變，還面臨諸多挑戰(zhàn)。一是技術(shù)創(chuàng)新與支撐能力依然不夠，我國無論是新型計算平臺、分布式計算架構(gòu)，還是大數(shù)據(jù)處理、分析和呈現(xiàn)方面與國外均存在較大差距，總體上難以滿足各行各業(yè)大數(shù)據(jù)應(yīng)用需求。二是信息安全和數(shù)據(jù)管理體系仍未建立，數(shù)據(jù)所有權(quán)、隱私權(quán)等相關(guān)法律法規(guī)和信息安全、開放共享的規(guī)范和標(biāo)準(zhǔn)缺乏或可操作性不強，技術(shù)安全防范和管理能力不夠。三是人才隊伍建設(shè)亟需加強，大數(shù)據(jù)人才遠(yuǎn)不能滿足發(fā)展需要，尤其是缺乏既熟悉行業(yè)業(yè)務(wù)需求，又掌握大數(shù)據(jù)技術(shù)與管理的綜合型人才。未來，需要我們繼續(xù)堅持國家大數(shù)據(jù)戰(zhàn)略，審時度勢精心布局，努力開拓大數(shù)據(jù)發(fā)展新局面，更好服務(wù)我國經(jīng)濟社會發(fā)展和人民生活改善。大數(shù)據(jù)行業(yè)人才需求大數(shù)據(jù)人才缺口有多大？2017年12月4日，麥肯錫發(fā)布了長達176頁的中國數(shù)字經(jīng)濟報告。報告顯示，中國電子商務(wù)（2016年交易額占全球40%）和數(shù)字支付（2016年個人消費交易額交易額7900億美元，是美國的11倍。）已經(jīng)領(lǐng)先全球；獨角獸公司數(shù)量占1/3，獨角獸價值約占全球43%；2014至2016年間風(fēng)投金額達770億美元（占全球19%）。隨著大數(shù)據(jù)的廣泛應(yīng)用，大數(shù)據(jù)已經(jīng)步入迅速發(fā)展期，近年隨著Spark\Strom等大數(shù)據(jù)平臺應(yīng)用的普及，對專業(yè)人才的需求日益增加，數(shù)據(jù)平臺開發(fā)工程師等崗位炙手可熱。另一方面，數(shù)據(jù)挖掘方向的人才需求量也比較大。隨著人工智能的發(fā)展和應(yīng)用，很多行業(yè)包括IT公司、零售、金融等都有大量數(shù)據(jù)挖掘人才的需求。隨著各種智能應(yīng)用的落地及普及，大數(shù)據(jù)人才需求會越來越旺盛。本科高校大數(shù)據(jù)教育的進展本科高校大數(shù)據(jù)專業(yè)建設(shè)現(xiàn)狀分析2016年3月10日教育部批本科準(zhǔn)新專業(yè)，我國高校開設(shè)大數(shù)據(jù)本科專業(yè)，屬于0809計算機類，申報專業(yè)方向的不計其數(shù)。今年已經(jīng)是第三年了。2018年3月21日下午，歷時近一年時間，教育部公布了2017年度普通高等學(xué)校本科專業(yè)備案和審批結(jié)果的最新通知，第三批大數(shù)據(jù)本科專業(yè)院校獲批。2016年2月，北京大學(xué)、對外經(jīng)濟貿(mào)易大學(xué)、中南大學(xué)首次成功申請到“數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)”本科新專業(yè)。2017年3月，第二批32所高校獲批。至此，共有35所高校正在籌備“數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)”專業(yè)，該專業(yè)學(xué)制為四年，授予工學(xué)學(xué)位或理學(xué)學(xué)位。此次教育部最新公布的高校新增專業(yè)名單中，有248所學(xué)校獲批，是過去兩次審批通過額度近8倍。據(jù)大數(shù)據(jù)文摘統(tǒng)計，在之前獲批的所有高校名單中，河南省獲批高校數(shù)量最多，達22所，北京次之，19所。安徽、廣東、山西、河北次之。其中，985及211高校共36所，占比13%。新工科與大數(shù)據(jù)專業(yè)建設(shè)“新工科的內(nèi)涵，是基于國家戰(zhàn)略發(fā)展新需求、國際競爭新形勢、立德樹人新要求而提出的我國工程教育改革方向。新工科的內(nèi)涵是以立德樹人為引領(lǐng)，以應(yīng)對變化、塑造未來為建設(shè)理念，以繼承與創(chuàng)新、交叉與融合、協(xié)調(diào)與共享為主要徑，培養(yǎng)未來多元化、創(chuàng)新型卓越工程人才，具有戰(zhàn)略型、創(chuàng)新性、系統(tǒng)化、開放式的特征。新工科建設(shè)將階段推進，需要重點把握學(xué)與教、實踐與創(chuàng)新創(chuàng)業(yè)、本土化與國際化三個任務(wù)，關(guān)鍵在于實現(xiàn)立法保障、擴大辦學(xué)自主權(quán)、改革教育評價體系三個突破?！闭浴缎鹿た平ㄔO(shè)的內(nèi)涵與行動》-鐘登華17年2月，教育部在復(fù)旦大學(xué)召開了高等工程教育發(fā)展戰(zhàn)略研討會，與會高校對新時期工程人才培養(yǎng)進行了熱烈討論，共同探討了新工科的內(nèi)涵特征、新工科建設(shè)與發(fā)展的路徑選擇，并達成了若干共識。17年4月，教育部在天津大學(xué)舉行工科優(yōu)勢高校新工科建設(shè)研討會，在研討的基礎(chǔ)上公布了《新工科建設(shè)行動路線》，也稱新工科建設(shè)“天大行動”。17年6月，新工科研究與實踐專家組成立暨第一次工作會議在北京會議中心召開，專家審議并原則通過了《新工科研究與實踐項目指南》，形成了新工科建設(shè)的“北京指南”。復(fù)旦共識、天大行動和北京指南，構(gòu)成了新工科建設(shè)的“三部曲”，是中國高校培養(yǎng)人才的新方向，也是工程教育改革新路徑。也是我國高教界在“一帶一路”戰(zhàn)略、“工業(yè)制造2025”“互聯(lián)網(wǎng)+”等一系列時代命題面前積極創(chuàng)新、砥礪前行的堅定決心。17年6月教育部辦公廳有關(guān)《新工科研究與實踐項目指南》中明確提出：“圍繞新技術(shù)、新產(chǎn)業(yè)、新業(yè)態(tài)和新模式，探索基于現(xiàn)有工科專業(yè)改造升級……”其中新技術(shù)主要為人工智能、大數(shù)據(jù)、云計算、物聯(lián)網(wǎng)等新技術(shù)。由此可見，大數(shù)據(jù)專業(yè)的建設(shè)也必將推動新工科專業(yè)的改造升級。大數(shù)據(jù)學(xué)科建設(shè)的現(xiàn)狀分析由于高校在大數(shù)據(jù)教育領(lǐng)域的發(fā)展時間并不是很長，所以目前高校在大數(shù)據(jù)專業(yè)方向的教學(xué)過程中，主要面臨以下幾個方面的問題：1.4.1.教學(xué)資源高校在實踐教學(xué)和科研環(huán)節(jié)缺少配套的實驗教學(xué)案例及數(shù)據(jù)集，可聯(lián)合相關(guān)大數(shù)據(jù)企業(yè)，提供企業(yè)真實脫敏的數(shù)據(jù)集和教學(xué)案例等系列教學(xué)科研資源。1.4.2.人才培養(yǎng)由于高校教師無法準(zhǔn)確把握市場對人才的需求情況，因此，在大數(shù)據(jù)課程體系設(shè)置、人才培養(yǎng)方案制定以及考核評估等方面，需要與企業(yè)多方聯(lián)合，根據(jù)市場人才需求，結(jié)合大數(shù)據(jù)行業(yè)的用人崗位需求，依據(jù)國家教學(xué)規(guī)范要求和學(xué)校原專業(yè)的基礎(chǔ)和辦學(xué)定位，多方共同制定人才培養(yǎng)特色方案、專業(yè)授課計劃以及考核評估標(biāo)準(zhǔn)。1.4.3.實驗環(huán)境目前，高校在開設(shè)大數(shù)據(jù)課程方面，缺少綜合的大數(shù)據(jù)教學(xué)和科研實踐平臺為學(xué)生提供實驗教學(xué)和科學(xué)研究。由于大數(shù)據(jù)技術(shù)和數(shù)據(jù)資源更新速度快，平臺系統(tǒng)構(gòu)建較為復(fù)雜，因此需要專業(yè)的平臺建設(shè)企業(yè)或其他機構(gòu)提供系統(tǒng)的維護和更新升級，保證大數(shù)據(jù)課程和科研的順利開展和實施。1.4.4.師資支撐高校師資在實踐教學(xué)方面缺乏一定的項目實戰(zhàn)經(jīng)驗，需要與企業(yè)開展聯(lián)合培養(yǎng)，學(xué)校組織團隊實施公共課和基礎(chǔ)課以及基礎(chǔ)技術(shù)課教學(xué)，由企業(yè)派駐工程師承擔(dān)專業(yè)核心課程的教學(xué)；同時，通過和企業(yè)互動合作，可建立雙師型師資培養(yǎng)機制，提升師資整體的科研和實踐水平。1.4.5.實習(xí)實訓(xùn)在學(xué)生學(xué)習(xí)過程中，動手能力和項目能力較弱，缺少實踐環(huán)境和實訓(xùn)指導(dǎo)，因此可與大數(shù)據(jù)企業(yè)聯(lián)合共建大數(shù)據(jù)實踐基地，不僅可以為學(xué)生提供良好的實習(xí)實踐環(huán)境和實訓(xùn)項目，同時，由企業(yè)工程師和高校教師聯(lián)合開展實訓(xùn)項目實踐，可快速提升學(xué)生的整體實踐水平。大數(shù)據(jù)專業(yè)人才培養(yǎng)方案2.1.招生對象及學(xué)制招生對象：普通高考畢業(yè)生（普招）學(xué)制：學(xué)制四年，采用3+1人才培養(yǎng)模式，即3年在學(xué)校學(xué)習(xí)，最后一年去校外實訓(xùn)基地和相關(guān)企業(yè)頂崗實習(xí)，修業(yè)年限為3-5年。2.2.專業(yè)培養(yǎng)目標(biāo)“數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)”專業(yè)（專業(yè)代碼080910T）強調(diào)培養(yǎng)具有多學(xué)科交叉能力的大數(shù)據(jù)人才。該專業(yè)重點培養(yǎng)具有以下三方面素質(zhì)的人才：一是理論性的，主要是對數(shù)據(jù)科學(xué)中模型的理解和運用；二是實踐性的，主要是處理實際數(shù)據(jù)的能力。三是應(yīng)用性的，主要利用大數(shù)據(jù)的方法解決具體行業(yè)應(yīng)用問題的能力。本專業(yè)要求學(xué)生打好數(shù)學(xué)基礎(chǔ)，接受較扎實的計算機訓(xùn)練，主要學(xué)習(xí)信息科學(xué)和計算科學(xué)的基本理論、知識和方法，初步具備在大數(shù)據(jù)分析、高性能計算領(lǐng)域從事科學(xué)研究、解決實際問題及設(shè)計開發(fā)有關(guān)軟件的能力。2.3.人才培養(yǎng)目標(biāo)與定位針對行業(yè)現(xiàn)狀與時代發(fā)展要求，以扎實理論為基礎(chǔ)，以實用價值為導(dǎo)向，培養(yǎng)時代所需要的高層次、復(fù)合型人才；堅持交叉學(xué)科學(xué)習(xí)與案例教學(xué)，通過和企業(yè)界交流與合作，利用豐富的社會化資源，培養(yǎng)具有大數(shù)據(jù)思維方式的企業(yè)管理和技術(shù)人才。在堅持理論和實踐結(jié)合，業(yè)務(wù)和技術(shù)結(jié)合的基礎(chǔ)上，側(cè)重培養(yǎng)學(xué)生從原始數(shù)據(jù)中洞察新的市場和預(yù)測分析能力，通過企業(yè)級案例分析和實戰(zhàn)項目練習(xí)，培養(yǎng)學(xué)生大數(shù)據(jù)平臺建設(shè)、分析和解決方案的能力，讓學(xué)生成為能夠廣泛運用數(shù)據(jù)分析手段管理和優(yōu)化企業(yè)運營的大數(shù)據(jù)人才。2.3.1.人才質(zhì)量標(biāo)準(zhǔn)培養(yǎng)規(guī)格與課程體系結(jié)構(gòu)對應(yīng)表規(guī)格具體要求內(nèi)容對應(yīng)課程知識結(jié)構(gòu)人文社會知識文學(xué)、歷史、哲學(xué)、藝術(shù)、法律、時事政治等方面的知識思想道德修養(yǎng)與法律基礎(chǔ)、毛澤東思想和中國特色社會主義理論體系概述、形式與政策自然科學(xué)知識數(shù)學(xué)計算、邏輯分析、英語閱讀等方面知識數(shù)學(xué)、央語工具性知識語言編程基礎(chǔ)知識操作系統(tǒng)應(yīng)用基礎(chǔ)知識3-數(shù)據(jù)庫基礎(chǔ)知識4.數(shù)據(jù)可視化工具基礎(chǔ)知識Python編程語言；Java面向?qū)ο缶幊蹋徊僮飨到y(tǒng)/Linux操作系統(tǒng)；數(shù)據(jù)庫技術(shù)；Scala語言;大數(shù)據(jù)可視化技術(shù)；R語言專業(yè)知識1、計算機軟硬件基本理論2、大數(shù)據(jù)平臺搭建知識3、大數(shù)據(jù)平臺運維及測試知識4、數(shù)據(jù)倉庫基礎(chǔ)知識5、數(shù)據(jù)處理基礎(chǔ)知識計算機組成原理；基于Hadoop的應(yīng)用開發(fā)技術(shù)；離線分析Hive；數(shù)據(jù)分析技術(shù)(SPSS/SAS)；大數(shù)據(jù)實時計算技術(shù)與應(yīng)用；大數(shù)據(jù)挖掘技術(shù)；Spark大數(shù)據(jù)處理技術(shù)；機器學(xué)習(xí)；深度學(xué)習(xí)能力結(jié)構(gòu)學(xué)習(xí)能力具有信息獲取和職業(yè)發(fā)展的學(xué)習(xí)能力職業(yè)生涯規(guī)劃、專業(yè)導(dǎo)論、應(yīng)用文寫作應(yīng)用知識的能力(實踐能力)1、大數(shù)據(jù)平臺應(yīng)用開發(fā)能力2、大數(shù)據(jù)平臺運維管理能力3、大數(shù)據(jù)平臺搭建部署能力大數(shù)據(jù)應(yīng)用開發(fā)綜合項目實踐、大數(shù)據(jù)平臺搭建與管理綜合項目實踐創(chuàng)新意識和開發(fā)設(shè)計能力具有創(chuàng)新意識和開發(fā)設(shè)計軟件能力創(chuàng)新創(chuàng)業(yè)基礎(chǔ)職業(yè)素養(yǎng)創(chuàng)新意識和網(wǎng)絡(luò)工程設(shè)計能力大賽

創(chuàng)新能力（創(chuàng)新精神）具有創(chuàng)新思維、掌握14種創(chuàng)新技法、具有適應(yīng)社會經(jīng)濟發(fā)展的創(chuàng)新精神、創(chuàng)業(yè)能力創(chuàng)新創(chuàng)業(yè)基礎(chǔ)、職業(yè)素養(yǎng)創(chuàng)新思維、技法訓(xùn)練交流能力溝通、表達、文字表達、團隊合作能力交際溝通與禮儀人、應(yīng)用文寫作社會適應(yīng)能力與人溝通協(xié)作、合作、團隊協(xié)作的能力、自我學(xué)習(xí)能力職業(yè)素養(yǎng)、頂崗實習(xí)素質(zhì)結(jié)構(gòu)思想品德素質(zhì)熱愛社會主義祖國，擁護中國共產(chǎn)黨領(lǐng)導(dǎo)，具有社會主義國家公民覺悟和道德品質(zhì)，自覺學(xué)法、懂法、守法意識，能用法律維護企業(yè)、個人合法權(quán)益思想道德修養(yǎng)與法律基礎(chǔ)、毛澤東思想和中國特色社會主義理論體系概述、形式與政策文化素質(zhì)具有良好的社會公德、職業(yè)道德、行為規(guī)范。職業(yè)素養(yǎng)、人際溝通與禮儀身心素質(zhì)具有健康的身體，心理素質(zhì)職業(yè)素養(yǎng)、職業(yè)生涯規(guī)劃、人際溝通與禮儀人專業(yè)素質(zhì)具有質(zhì)量意識、工程意識、團隊精神和合作精神職業(yè)素養(yǎng)2.3.2.人才培養(yǎng)對應(yīng)工作崗位培養(yǎng)類型LJU/亠岡位技能要求研究型人才數(shù)據(jù)科學(xué)家□熟練掌握機器學(xué)習(xí)、數(shù)據(jù)挖掘領(lǐng)域常用算法，如SVM、BP、PCA、LDA、DNN等；□能提供切實案例證明具有開發(fā)建立多種數(shù)學(xué)模型的經(jīng)驗和技能，包括先進的機器學(xué)習(xí)建模和統(tǒng)計學(xué)驗證及方法論；□深入java語言開發(fā)，了解Python、scala、shell等語言；良好的數(shù)據(jù)科學(xué)、機器學(xué)習(xí)理論基礎(chǔ)。

數(shù)據(jù)系統(tǒng)架構(gòu)師□對數(shù)據(jù)的管理、處理與分析等技術(shù)和系統(tǒng)架構(gòu)有深入理解；□有軟件開發(fā)經(jīng)驗，熟悉JAVA，C++等開發(fā)語言；□精通oracle、SQLServer了解數(shù)據(jù)治理；具有大數(shù)據(jù)系統(tǒng)的豐富使用經(jīng)驗，清晰知道每種系統(tǒng)用法；具有扎實的數(shù)據(jù)挖掘、線性代數(shù)、數(shù)理統(tǒng)計、優(yōu)化分析方面的理論基礎(chǔ)；□精通大型數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)及設(shè)計，熟悉SDN技術(shù)；熟悉和掌握常見的分類、聚類、回歸、推薦、應(yīng)用型人才數(shù)據(jù)分析工程師□理解主流機器學(xué)習(xí)算法的原理和應(yīng)用；具有深厚的數(shù)據(jù)統(tǒng)計學(xué)基礎(chǔ)；□精通R語言、Python、數(shù)據(jù)挖掘、語義分析(自然語言處理)等技術(shù)；□掌握數(shù)據(jù)分析工具(R/SAS/SPSS/Matlab)，實現(xiàn)優(yōu)化算法；□熟悉數(shù)據(jù)庫，熟練運用SQL，數(shù)據(jù)分析、挖掘、清洗和建模；□熟悉統(tǒng)計，金融建模，了解時間序列分析，量化分析；撰寫專業(yè)數(shù)據(jù)分析報告。大數(shù)據(jù)運維工程師□熟悉Hadoop/HBase/spark等大數(shù)據(jù)系統(tǒng)，有大數(shù)據(jù)平臺運維工開發(fā)經(jīng)驗者優(yōu)先；□具有較強的學(xué)習(xí)能力、邏輯分析能力、問題排查能力；□熟悉Linux操作系統(tǒng)、熟悉Java、熟練使用Shell/Perl/Python中至少一種語言，能熟練編寫常規(guī)運維腳本；大數(shù)據(jù)可視化工程師□掌握Web前端相關(guān)技術(shù)，HTML/CSS/Javascript,頁面布局和切圖相關(guān)技術(shù)，jQuery等主流的js框架和數(shù)據(jù)父互相關(guān)技術(shù)；□掌握PHP和LAMP框架，Smarty模板引擎，數(shù)據(jù)庫相關(guān)技術(shù)，Linux環(huán)境下的項目開發(fā)及部署；□了解常用的設(shè)計模式和算法相關(guān)知識，性能優(yōu)化知識的人才a/C/C++語言之一；大數(shù)據(jù)處理工程師□掌握計算機理論基礎(chǔ)，精通數(shù)據(jù)結(jié)構(gòu)及算法、Java/C++語言；□掌握系統(tǒng)問題追查和性能調(diào)優(yōu)技術(shù)；熟悉面向?qū)ο笤O(shè)計模式；□能夠進行系統(tǒng)架構(gòu)設(shè)計；輔助運維系統(tǒng)的開發(fā)；□掌握Hadoop，HBase等開源技術(shù)；□熟悉Python、Shell、PHP至少1種語言；□熟悉Map/Reduce編程；□熟悉Linux開發(fā)環(huán)境；掌握分布式系統(tǒng)原理及計算模型；課程設(shè)置及教學(xué)安排2.4.1.課程設(shè)置體系基于CDIO工程教育理念，設(shè)計了大數(shù)據(jù)工程型人才的教育解決方案，以研發(fā)到產(chǎn)品運行為載體，讓學(xué)生以主動的、實踐的方式掌握大數(shù)據(jù)專業(yè)技能，培養(yǎng)具備大數(shù)據(jù)基礎(chǔ)知識、個人能力、人機團隊能力和項目動手的綜合型人才。大數(shù)據(jù)課程體系根據(jù)不同學(xué)歷和職業(yè)方向設(shè)置不同的課程學(xué)習(xí)路線，秉持“產(chǎn)教融合教學(xué)理念”，不僅讓學(xué)生學(xué)習(xí)大數(shù)據(jù)技術(shù)有的基本理論和原理，還讓學(xué)生理解大數(shù)據(jù)平臺架構(gòu)的技術(shù)實現(xiàn)及其在行業(yè)內(nèi)的典型應(yīng)用。通過在線學(xué)習(xí)、原理驗證、實訓(xùn)應(yīng)用、綜合分析及自主設(shè)計等多層次的實驗操作，為大數(shù)據(jù)教學(xué)提供一個完整的一體化的實驗教學(xué)體系，快速提升實操技能，最終培養(yǎng)高素質(zhì)、應(yīng)用復(fù)合型大數(shù)據(jù)人才。在高校開設(shè)大數(shù)據(jù)方向以及開設(shè)大數(shù)據(jù)專業(yè)實施落地過程中，遇到諸多的不便與挑戰(zhàn)：其一，大數(shù)據(jù)技術(shù)涉及知識紛繁復(fù)雜，大數(shù)據(jù)技術(shù)產(chǎn)業(yè)所使用的技術(shù)呈現(xiàn)多樣化的特點，對于專業(yè)的設(shè)置提出挑戰(zhàn)，往往讓教務(wù)部門或是分院無法把握，如何開展課程設(shè)計，該上什么技術(shù)課程，該如何選擇技術(shù)框架，該如何選擇開發(fā)語言等問題，在大數(shù)據(jù)生態(tài)環(huán)境中如何確定一條或者多條主線，才能達成培養(yǎng)相關(guān)領(lǐng)域人才的目的，成為第一個困惑；其二，不同的院?，F(xiàn)有的師資隊伍層次不盡相同，如何利用現(xiàn)有師資團隊的力量來開展大數(shù)據(jù)專業(yè)方向或者專業(yè)課程？這也是困擾即將開展大數(shù)據(jù)專業(yè)院校面臨的主要問題。因為如此多的可選技術(shù)，技術(shù)難度，技術(shù)特點，技術(shù)方向很難逐一論證，也就是通常所說的選擇困難癥?，F(xiàn)有的師資到底能上多少門課程，不同的課程對于老師的難度如何，這成為第二種困惑；其三，當(dāng)較為明確的認(rèn)識到如何選擇大數(shù)據(jù)生態(tài)系統(tǒng)中的技術(shù)，問題又落到具體每門課程應(yīng)當(dāng)安排的課時量，課程安排的前后順序，成為第三個困惑；等等諸如此類的問題，讓分院或者系部無從著手繼續(xù)后續(xù)教學(xué)活動?；谝陨侠Щ螅峦亟o出了一整套可操作的產(chǎn)業(yè)，教學(xué)課程體系整體建議方案：在第一層設(shè)計的時候，我們依據(jù)大數(shù)據(jù)產(chǎn)業(yè)的特點，梳理出了一條以數(shù)據(jù)生命周期未主線的技術(shù)體系。其中包括：數(shù)據(jù)的采集與獲取，數(shù)據(jù)清洗與預(yù)處理，數(shù)據(jù)存儲，數(shù)據(jù)計算與處理，數(shù)據(jù)挖掘與分析，機器學(xué)習(xí)深度學(xué)習(xí)與人工智能，以及數(shù)據(jù)的可視化等7個主要階段。在每一個階段的典型技術(shù)，開發(fā)框架，開發(fā)語言，處理工具，我們給出了目前最新的推薦，即使后期技術(shù)不斷的更新，那么對于操作的院系可以依據(jù)這條主線來放置不同的課程。當(dāng)然，在大數(shù)據(jù)的產(chǎn)業(yè)環(huán)境中，有些具體使用的技術(shù)或者和框架不能歸類到某一個具體的生命周期內(nèi)，這些技術(shù)往往是橫跨多個數(shù)據(jù)處理階段。然而這些知識也是后期大數(shù)據(jù)從業(yè)者必須要掌握熟知的。我們單獨從另外一個視角列出目前所使用的主要技術(shù)、工具、開發(fā)語言等，以供院系開設(shè)課程時選擇。在第二和第三層，分別依據(jù)目前開設(shè)大數(shù)據(jù)專業(yè)或者大數(shù)據(jù)方向的院系層次具體推薦了典型折衷方案，其中包括高職層次，本科層次又分為應(yīng)用型本科和研究型本科兩種情況。在具體實施過程中，高職大數(shù)據(jù)課程院系可以設(shè)置課程安排在第二到第五學(xué)期，其中第二和第四學(xué)期課程安排較少，第三和第五學(xué)期課程安排較多，目的是在較為基礎(chǔ)課程上完以后，逐步增加課程量與課程難度。在每一門課程中我們直接依據(jù)技術(shù)的名稱設(shè)置課程名稱，便于精準(zhǔn)定位，以適應(yīng)高職層次課程設(shè)置快速響應(yīng)市場變化的特點。在每一門課中依據(jù)知識的難易程度，建議了理論課時與實驗課時的基本分配量，當(dāng)然學(xué)校也可以依據(jù)自己院系特點進行調(diào)制課時的多少。不同的課程需要有一部分前導(dǎo)課程，在實際處理的過程中，院系如果前期開設(shè)過相關(guān)課程那么可以直接設(shè)置當(dāng)前所要設(shè)置課程，如果沒有開設(shè)過相關(guān)課程，教師在理論授課過程中可以講解前導(dǎo)課程的重點內(nèi)容，從而為后續(xù)課程做好鋪墊。一般情況下，本科類院校更習(xí)慣以專業(yè)基礎(chǔ)課、專業(yè)核心課，專業(yè)選修課的分類方法進行課程的分類。從大數(shù)據(jù)產(chǎn)業(yè)環(huán)境中選擇的技術(shù)，落實到課程上，我們依據(jù)上述分類習(xí)慣，進行重新排部，也分別落實到不同的課程類型當(dāng)中。同時也給出了建議授課學(xué)期，以及課程必要的前導(dǎo)課程或是前導(dǎo)知識內(nèi)容，同時也給出了不同課程的理論課程與實驗教學(xué)課時的數(shù)量建議。總之，基于“可操作型產(chǎn)、教融合課程體系架構(gòu)圖”，開設(shè)大數(shù)據(jù)方向或者大數(shù)據(jù)專業(yè)的院系，可以對號入座，并依據(jù)不同學(xué)歷層次，專業(yè)特點以及院校自身特點，進行從產(chǎn)業(yè)技術(shù)體系，到教學(xué)課程體系的可操作型落地專業(yè)課程設(shè)置。針對本科大數(shù)據(jù)專業(yè)建設(shè)課程體系主要分為三個層面：第一層：站在大數(shù)據(jù)產(chǎn)業(yè)角度，把整個大數(shù)據(jù)產(chǎn)業(yè)中會涉及到的大數(shù)據(jù)技術(shù)進行課程歸納和設(shè)計，清晰的了解大數(shù)據(jù)技術(shù)在正在產(chǎn)業(yè)層面的脈絡(luò)和知識結(jié)構(gòu)框架情況；序號課程大類涉及技術(shù)課程1數(shù)據(jù)采集/獲取FlumeScribeLogstash網(wǎng)絡(luò)爬蟲Chukwa爬蟲工具SqoopKafka2數(shù)據(jù)清洗/預(yù)處理MapReduceSparkFlinkJavaAwk3數(shù)據(jù)存儲HDFSHBaseCassandraRedisALLuxioMongoDBNeo4j（NoSQL圖形數(shù)據(jù)庫）Titan（圖形數(shù)據(jù)庫）4數(shù)據(jù)計算/處理離線計算實時計算交互式計算搜索引擎5數(shù)據(jù)分析/挖掘SPSSSASMATLABPythonRTableauMahoutHiveKylinDruid

6機器學(xué)習(xí)/深度學(xué)習(xí)/人工智能機器學(xué)習(xí)算法MahoutSparkMLlibTensorFlowCaffeTheanoTorchPythonChainerOpenBLASCUDACuDNNHurricaneMATLAB7可視化EChartsKibanaD3.jsSupersetZeppelin8基本框架/技能ZookeeperAvroCDHHCatalogThriftPhoenix9編程語言JavaPythonScalaR10工作流調(diào)度AzkabanOozie11資源調(diào)度YarnMesos12存儲格式ParguetORC13集群管理NagiosGangliaAmbariClounderaManager14云計算OpenStackDockerKubernetes＞第二層：針對應(yīng)用型本科，院校根據(jù)自身教學(xué)特色，在大數(shù)據(jù)產(chǎn)業(yè)課程中選取院校需要的教學(xué)課程；＞第三層：針對研究型本科，院校根據(jù)自身教學(xué)特色，在大數(shù)據(jù)產(chǎn)業(yè)課程中選取院校需要的教學(xué)課程；2.4.2.課程學(xué)習(xí)路徑圖大數(shù)據(jù)開發(fā)屈獨川技能計養(yǎng)機聊業(yè)盍

養(yǎng)人文擬北系^JLinux財確力人數(shù)據(jù)榔論^C-hHadonp大數(shù)據(jù)開發(fā)屈獨川技能計養(yǎng)機聊業(yè)盍

養(yǎng)人文擬北系^JLinux財確力人數(shù)據(jù)榔論^C-hHadonp的應(yīng)用JT岌離線分析HivesparkAWft理必術(shù)人數(shù)據(jù)實HJ技術(shù)S應(yīng)用c+喘稈話占|Fyttion編薦說占|數(shù)鮒析技術(shù)］(SFSS/SAS)|大數(shù)拯報掘技術(shù)|樣廳寧習(xí)就業(yè)崗檢2.4.3.教學(xué)計劃及安排.學(xué)分分布與課時安排一覽學(xué)時與學(xué)分綜合表課程類別分?jǐn)?shù)總學(xué)時理論學(xué)時上機學(xué)時實訓(xùn)學(xué)時所占總學(xué)時比率課程性質(zhì)1、公開課程33560416014419%必修2、專業(yè)基礎(chǔ)課程51816656160028%必修

3、專業(yè)核心課程52832432400029%必修4、專業(yè)選修課8128969604%至少選修3門5、實踐教學(xué)與畢業(yè)設(shè)計365760057620%必修6、合計17629121600656720100%.公共課程及學(xué)期分布一覽課程學(xué)分學(xué)時課程性質(zhì)每學(xué)期課時分布總學(xué)時理論上機實踐12345678公共課程1思想道修養(yǎng)與法律技術(shù)4646400必修6400000002軍事課（含軍訓(xùn)）3480048必修4800000003大學(xué)體育4960096必修48480000004大學(xué)英語1625625600必修6464646400005馬克思主義基本理論3484800必修0480000006大學(xué)生心理健康1161600必修016000000

7形式與政策2323200必修003200000小計33560416014422417696640000.專業(yè)基礎(chǔ)課程及學(xué)期分布一覽

數(shù)理統(tǒng)計修9線性代數(shù)2323200必修00320000010數(shù)據(jù)結(jié)構(gòu)4646400必修00640000011計算機網(wǎng)絡(luò)46432320必修00064000012JavaEE項目開發(fā)46432320必修000640000小計5181665616001921282242720000.專業(yè)核心課程及學(xué)期分布一覽專業(yè)方向指選課程學(xué)時與學(xué)期安排課程學(xué)分學(xué)時課程性質(zhì)每學(xué)期課時分布總學(xué)理論上機實訓(xùn)12345678時1大數(shù)據(jù)概論2323200必修3200000002Python編程46432320必修0640000003分布式數(shù)據(jù)倉庫（Hive）46432320必修006400000

專業(yè)核心4大數(shù)據(jù)開發(fā)技術(shù)(Hadoop)46432320必修0640000005數(shù)據(jù)分析技術(shù)(SPSS/SAS)23216160必修0032000006數(shù)據(jù)分析與挖掘46432320必修0000640007Scala編程46432320必修0000640008R語言46432320必修0000064009大數(shù)據(jù)可視化技術(shù)46432320必修00000640010數(shù)據(jù)庫技術(shù)(NoSQL)46432320必修00064000011大數(shù)據(jù)處理技術(shù)(Spark)46432320必修00006400012機器學(xué)習(xí)46432320必修00006400013數(shù)據(jù)采集與網(wǎng)絡(luò)爬蟲46432320必修00000640014深度學(xué)習(xí)46432320必修000006400小計52832432400032128966425625600

.專業(yè)選修課程及學(xué)期分布一覽課程學(xué)分學(xué)時課程性質(zhì)每學(xué)期課時分布總學(xué)時理論上機實訓(xùn)12345678專業(yè)選修課程812864640選修0000001280.實踐教學(xué)課程及學(xué)期分布一覽課程學(xué)分學(xué)時課程性質(zhì)每學(xué)期課時分布總學(xué)時理論上機實訓(xùn)123456781Java課程實訓(xùn)2320032必修3200000002Hadoop開發(fā)案例實訓(xùn)2320032必修0320000003Python/JavaWeb課程實訓(xùn)4640064必修0064000004大數(shù)據(jù)實時計算課程實訓(xùn)4640064必修0006400005Spark/大數(shù)據(jù)實時計算課程實訓(xùn)4640064必修0000640006機器學(xué)習(xí)開發(fā)案例實訓(xùn)4640064必修0000064007大數(shù)據(jù)應(yīng)用開發(fā)綜合項目412800128必修00000012808大數(shù)據(jù)平臺搭建與管理綜合項目412800128必修00000012809畢業(yè)設(shè)計論文8必修小計365760057632326464646425602.4.4.部分課程簡介2.4?4?1?課程名稱：大數(shù)據(jù)開發(fā)技術(shù)（Hadoop）1）課程信息課程編號課程菇稱Hadoop編程語言卄課學(xué)期第—學(xué)期諜程類別必選限選任選課程所屬基礎(chǔ)專業(yè)課學(xué)分4考核方式皓試機試?yán)碚撜n時14實驗課時18總課時32先修課棵Ja曲面向?qū)ο缶幊填A(yù)備知識python編程語言2）課程簡介通過學(xué)習(xí)本課程，使用學(xué)生對大數(shù)據(jù)產(chǎn)生的背景有所了解，掌握大數(shù)據(jù)領(lǐng)域的基礎(chǔ)知識、術(shù)語及分布式思想，了解Hadoop的三大組成部分HDFS,YARN,MapReduce，知道該框架的核心原理及充分理解MR的分布式思想，能夠使用MapReduce進行基本編程?！痘贖adoop的應(yīng)用開發(fā)技術(shù)》主要講大數(shù)據(jù)領(lǐng)域開源框架Hadoop的相關(guān)理論與實踐技能；主要包括大數(shù)據(jù)概論、Hadoop集群安裝部署、HDFS分布式文件系統(tǒng)、MapReduce計算框架及編程案例部分；大數(shù)據(jù)概論章節(jié)主要通過講解大數(shù)據(jù)產(chǎn)生的背景，大數(shù)據(jù)與云計算的關(guān)系，大數(shù)據(jù)應(yīng)用案例和落地行業(yè)，大數(shù)據(jù)技術(shù)路線，大數(shù)據(jù)生態(tài)系統(tǒng)等幾方面，來了解大數(shù)據(jù)行業(yè)的一個輪廓。HDFS分布式文件系統(tǒng)，它用于存儲海量數(shù)據(jù)的一個分布式文件系統(tǒng)，這里

我們主要學(xué)習(xí)HDFS簡介、HDFS接口、HDFS運行機制、HadoopI/O、常用命令等；通過學(xué)習(xí)，可以全面掌握HDFS分布式文件存儲系統(tǒng)。計算框架MapReduce,它是基于HDFS之上的一個計算模型，這里我們主要學(xué)習(xí)的內(nèi)容有MapReduce編程模型、MapReduce編程開發(fā)、MapReduce的工作機制以及YARN平臺，經(jīng)過MapReduce的學(xué)習(xí)可以熟練的進行MR編程對海量數(shù)據(jù)進行分析。最后，會有七個教學(xué)示例和四個MR案例，來鞏固前邊的理論知識及MR編程技巧。2?4?42課程名稱：Python編程1）課程信息課程編號課程劣稱python編程第言開課學(xué)期第—學(xué)期課程類別必選限選任選課程所屬基礎(chǔ)專業(yè)諜學(xué)分4考核方式筆試機試?yán)碚撜n時14實驗課時13總課時32預(yù)備知識python編程語言2）課程簡介通過學(xué)習(xí)本課程，掌握Python編程語言。Python不僅易于使用，無論在Windows、MacOSX或Unix操作系統(tǒng)上它都會幫助你更快地完成任務(wù)。雖然Python易于使用，但它卻是一門完整的編程語言；與Shell腳本或批處理文件相比，它為編寫大型程序提供了更多的結(jié)構(gòu)和支持。另一方面，Python提供了比C更多的錯誤檢查，并且作為一門高級語言，它內(nèi)置支持高級的數(shù)據(jù)結(jié)構(gòu)類型，例如：靈活的數(shù)組和字典。因其更多的通用數(shù)據(jù)類型，Python比Awk甚至Perl都適用于更多問題領(lǐng)域，至少大多數(shù)事情在Python中與其他語言同樣簡單。Python是一門解釋型語言，因為無需編譯和鏈接，可以在程序開發(fā)中節(jié)省寶貴的時間。Python解釋器可以交互的使用，這使得試驗語言的特性、編寫臨時程序或在自底向上的程序開發(fā)中測試方法非常容易。你甚至還可以把它當(dāng)做一

個桌面計算器。Python讓程序編寫的緊湊和可讀。用Python編寫的程序通常比同樣的CC++或Java程序更短小，這是因為以下幾個原因：＞高級數(shù)據(jù)結(jié)構(gòu)使你可以在一條語句中表達復(fù)雜的操作；＞語句組使用縮進代替開始和結(jié)束大括號來組織；＞變量或參數(shù)無需聲明。2?4?4?3?課程名稱：大數(shù)據(jù)處理技術(shù)（Spark）1）課程信息課程編號課程菇稱SparkX數(shù)據(jù)處理技術(shù)開課學(xué)期第五學(xué)期課程類別必選限選任選課程所屬核心專業(yè)課學(xué)分8考垓方式筆試機試?yán)碚撜n時48實驗課時16總課時64先修課程聽詬面向?qū)ο缶幊?，大?shù)據(jù)槪論預(yù)備知識Scala^F,慨率論與數(shù)理統(tǒng)汁2）課程簡介本課程主要介紹大數(shù)據(jù)快速計算引擎-伯克利分析棧，即Spark以及如何應(yīng)用spark在實際工作中快速處理數(shù)據(jù)。本課程主要介紹Spark生態(tài)圈中各模塊的底層原理、架構(gòu)、使用方式，內(nèi)容涵蓋SparkCore、SparkSQL、SparkMLlib、SparkStreaming、Spark圖計算。本課程要求學(xué)生具備scala或者java編程語言基礎(chǔ)、了解Linux環(huán)境下常用命令、掌握本科階段線性代數(shù)或者概率論與數(shù)理統(tǒng)計基礎(chǔ)知識。.課程名稱：大數(shù)據(jù)可視化技術(shù)1）課程信息課程編號課程菇稱大數(shù)據(jù)可視化技術(shù)卄課學(xué)期第六學(xué)期課程類別必選限選任選課程所屬基礎(chǔ)專業(yè)課學(xué)分8考核方式筆試機試：理論課時10實驗課時22總課時322）課程簡介本課程講的是大數(shù)據(jù)可視化技術(shù)，主要旨在借助于圖形化手段，清晰有效地傳達與溝通信息，熟悉使用excel、Tableau對數(shù)據(jù)可視化處理。大數(shù)據(jù)實驗室建設(shè)方案大數(shù)據(jù)實驗室建設(shè)的必要性綜合目前大數(shù)據(jù)學(xué)科建設(shè)所面臨的問題，對設(shè)有大數(shù)據(jù)專業(yè)或?qū)I(yè)方向的學(xué)校教師和學(xué)生在教學(xué)過程中產(chǎn)生很大的影響。教師面臨著任務(wù)重、備課難、實驗課難開展、發(fā)論文沒思路等困擾，而學(xué)生又面臨著聽不懂、不會做、不會用、學(xué)不會的煩惱。所以大數(shù)據(jù)學(xué)科如何實現(xiàn)標(biāo)準(zhǔn)教學(xué)、如何評估學(xué)生綜合能力、如何解決師資缺乏、如何保障科研成果、學(xué)生就業(yè)如何滿足企業(yè)需求是高校在大數(shù)據(jù)學(xué)科建設(shè)中必須要解決的問題。因此，高校建設(shè)一個專業(yè)的大數(shù)據(jù)實驗、實訓(xùn)、科研綜合實驗室，全方位支撐高校大數(shù)據(jù)教學(xué)及科研的需求是必要的和緊迫的。大數(shù)據(jù)實驗室核心理念上海德拓信息技術(shù)股份有限公司為高校提供定制化的實驗、實訓(xùn)、科研綜合解決方案，全方位支撐大數(shù)據(jù)教學(xué)及科研需求。大數(shù)據(jù)實驗室利用Docker虛擬化及大數(shù)據(jù)主流框架，搭建教學(xué)系統(tǒng)和集群，將大數(shù)據(jù)核心技術(shù)應(yīng)用到企業(yè)真實項目中，將理論知識、實驗教學(xué)和大數(shù)據(jù)項目實踐融合，由淺入深，循序漸進，逐步提升學(xué)生的專業(yè)技能和項目實踐能力，使得學(xué)生與企業(yè)人才需求無縫銜接，真正解決大數(shù)據(jù)人才缺口問題。通過專業(yè)的數(shù)據(jù)交換系統(tǒng)、數(shù)據(jù)挖掘系統(tǒng)、數(shù)據(jù)調(diào)度流系統(tǒng)，匹配教師的科研需求，教師可以在開放高效的平臺下開展大數(shù)據(jù)科研工作，提升教師的科研創(chuàng)新能力，從而有效提升科研成效。圖：核心理念）大數(shù)據(jù)實驗實訓(xùn)平臺Hadoop大數(shù)據(jù)科研平臺圖：核心理念）大數(shù)據(jù)實驗實訓(xùn)平臺Hadoop大數(shù)據(jù)科研平臺3.3.大數(shù)據(jù)實驗室架構(gòu)及優(yōu)勢3.3.1.技術(shù)架構(gòu)計算虔擬化存儲虎擬化網(wǎng)絡(luò)虛擬化圖：實驗室技術(shù)架構(gòu)）計算虔擬化存儲虎擬化網(wǎng)絡(luò)虛擬化圖：實驗室技術(shù)架構(gòu)）針對高校大數(shù)據(jù)教學(xué)管理、項目實踐、科研服務(wù)、創(chuàng)新孵化等實際應(yīng)用場景，大數(shù)據(jù)實驗室提供穩(wěn)定、可靠、高效的軟硬一體化大數(shù)據(jù)教學(xué)科研環(huán)境，以及完善的課程體系、項目數(shù)據(jù)和視頻、多樣化的教學(xué)手段和豐富的實戰(zhàn)案例。大數(shù)據(jù)實驗室主要包括四個組成部分：1．課程及項目案例大數(shù)據(jù)課程體系根據(jù)不同學(xué)歷和職業(yè)方向設(shè)置不同的課程學(xué)習(xí)路線，針對每門課程提供教學(xué)實驗指導(dǎo)手冊、在線視頻、資源包、實驗示例代碼等，讓學(xué)生學(xué)以致用。通過在線學(xué)習(xí)、原理驗證、實訓(xùn)應(yīng)用、綜合分析及自主設(shè)計等多層次的實驗操作，為大數(shù)據(jù)教學(xué)提供一個完整的一體化的實驗教學(xué)體系。項目案例提供行業(yè)典型項目及行業(yè)數(shù)據(jù)，項目涉及互聯(lián)網(wǎng)、運營商、金融、電子商務(wù)、政府等十多個領(lǐng)域，每個項目案例都配備項目指導(dǎo)手冊、講解視頻、行業(yè)數(shù)據(jù)及項目代碼。2．教學(xué)平臺教學(xué)平臺采用深信服超融合系統(tǒng),結(jié)合計算、網(wǎng)絡(luò)、存儲融合技術(shù),簡單便捷的交付大數(shù)據(jù)教學(xué)平臺,利用Docker技術(shù)，實現(xiàn)硬件資源集中調(diào)度和管理，以大數(shù)據(jù)Hadoop及其生態(tài)組件為核心構(gòu)建軟件系統(tǒng)，支持更多的大數(shù)據(jù)高級特性，經(jīng)過專業(yè)的性能優(yōu)化和軟硬件集成測試，保證平臺的高性能與穩(wěn)定可靠運行。教學(xué)平臺包含3個子系統(tǒng)：深信服大數(shù)據(jù)超融合系統(tǒng)、德拓計算分析系統(tǒng)、德拓大數(shù)據(jù)可視化系統(tǒng)。3．科研平臺通過DANA大數(shù)據(jù)分析平臺，可以充分匹配教師科研需求，提升教師的科研創(chuàng)新能力，有效提升科研成效。4．硬件環(huán)境基于業(yè)界最先進的硬件平臺，以超融合構(gòu)建的企業(yè)級云，每個基礎(chǔ)單元都包含計算、網(wǎng)絡(luò)、存儲資源，通過軟件定義數(shù)據(jù)中心的模式，利用標(biāo)準(zhǔn)基礎(chǔ)單元搭建硬件平臺，具備高效簡單、安全穩(wěn)定、性能卓越、敏捷易用等特點。3.3.2.產(chǎn)品優(yōu)勢1.真機實驗訓(xùn)練實驗室各模塊相對獨立，交互式的實驗任務(wù)、實驗指導(dǎo)、項目上機操作，教學(xué)視頻、考試評分、數(shù)據(jù)監(jiān)控等，保障學(xué)生靈活、快速的掌握大數(shù)據(jù)核心技術(shù)及項目開發(fā)能力。2.完善的課程體系多年經(jīng)驗的沉淀，研發(fā)出行業(yè)領(lǐng)先的大數(shù)據(jù)課程體系，根據(jù)不同學(xué)歷設(shè)置了本科、高職、職業(yè)三大方向，滿足不同高校大數(shù)據(jù)教學(xué)及實訓(xùn)需求。典型大數(shù)據(jù)項目案例提供10大行業(yè)典型應(yīng)用案例的數(shù)據(jù)包和視頻包，以及配套實驗手冊，邊學(xué)邊練通過實際項目上機演練，多方位學(xué)習(xí)及訓(xùn)練，做到學(xué)生與企業(yè)需求無縫銜接，真正解決大數(shù)據(jù)人才缺口問題。交互式學(xué)習(xí)模式提供完善課程體系、在線學(xué)習(xí)系統(tǒng)，以大數(shù)據(jù)課程學(xué)習(xí)、在線視頻、習(xí)題、線上測試、線上實驗為主線，典型案例貫穿知識點的學(xué)習(xí)模式，確保學(xué)生掌握大數(shù)據(jù)項目技能。充分支撐科研工作整合了數(shù)據(jù)采集、質(zhì)量監(jiān)控、數(shù)倉建模、數(shù)據(jù)視圖等，提供行業(yè)數(shù)據(jù)及案例用于基礎(chǔ)研究，科研人員通過該系統(tǒng)方便對行業(yè)數(shù)據(jù)進行統(tǒng)計分析，按需求生成可視化數(shù)據(jù)報表。企業(yè)級硬件配置基于業(yè)界最先進的硬件平臺，采用企業(yè)級融合架構(gòu)，具備高效融合、安全穩(wěn)定、性能卓越、敏捷易用等特點。大數(shù)據(jù)教學(xué)資源建設(shè)為了滿足院?？焖匍_設(shè)大數(shù)據(jù)相關(guān)課程實驗的需求，實驗室配置相關(guān)系列教材、配套實驗手冊、項目手冊、在線視頻、在線試題庫等課程資源。3.4.1.大數(shù)據(jù)課程體系基于CDIO工程教育理念，設(shè)計了大數(shù)據(jù)工程型人才的教育解決方案，以研發(fā)到產(chǎn)品運行為載體，讓學(xué)生以主動的、實踐的方式掌握大數(shù)據(jù)專業(yè)技能，培養(yǎng)具備大數(shù)據(jù)基礎(chǔ)知識、個人能力、人機團隊能力和項目動手的綜合型人才。大數(shù)據(jù)課程體系根據(jù)不同學(xué)歷和職業(yè)方向設(shè)置不同的課程學(xué)習(xí)路線，針對每門課程提供教學(xué)實驗指導(dǎo)手冊、在線視頻、資源包、實驗示例代碼等，讓學(xué)生學(xué)以致用；不僅學(xué)習(xí)大數(shù)據(jù)技術(shù)有的基本理論和原理，學(xué)習(xí)大數(shù)據(jù)平臺架構(gòu)的技術(shù)實現(xiàn)及其在行業(yè)內(nèi)的典型應(yīng)用。通過在線學(xué)習(xí)、原理驗證、實訓(xùn)應(yīng)用、綜合分析及自主設(shè)計等多層次的實驗操作，為大數(shù)據(jù)教學(xué)提供一個完整的一體化的實驗教學(xué)體系，快速提升實操技能，最終培養(yǎng)高素質(zhì)、應(yīng)用復(fù)合型大數(shù)據(jù)人才。3?4?1?1?數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)（本科）"數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)”專業(yè)（專業(yè)代碼080910T）強調(diào)培養(yǎng)具有多學(xué)科交叉能力的大數(shù)據(jù)人才。該專業(yè)重點培養(yǎng)具有以下三方面素質(zhì)的人才：一是理論性的，主要是對數(shù)據(jù)科學(xué)中模型的理解和運用；二是實踐性的，主要是處理實際數(shù)據(jù)的能力。三是應(yīng)用性的，主要利用大數(shù)據(jù)的方法解決具體行業(yè)應(yīng)用問題的能力。＞專業(yè)課是為了讓學(xué)生了解大數(shù)據(jù)概況，了解大數(shù)據(jù)產(chǎn)品、技術(shù)的特性、實現(xiàn)原理和應(yīng)用方向。專業(yè)課程包括大數(shù)據(jù)概論、scala語言、Linux技術(shù)、JavaEE項目開發(fā)、大數(shù)據(jù)分析Python、概率論與數(shù)理統(tǒng)計、數(shù)據(jù)庫技術(shù)七門課程。＞核心課是為了讓學(xué)生了解并初步掌握目前流行的大數(shù)據(jù)主流技術(shù)、了解其特點以及使用的場景，具備一定的大數(shù)據(jù)系統(tǒng)架構(gòu)能力，并能自行開展簡單的大數(shù)據(jù)應(yīng)用開發(fā)。核心課程包括基于Hadoop的應(yīng)用開發(fā)技術(shù)、大數(shù)據(jù)挖掘技術(shù)、R語言、大數(shù)據(jù)實時計算技術(shù)與應(yīng)用、Spark數(shù)據(jù)處理技術(shù)、大數(shù)據(jù)可視化技術(shù)、機器學(xué)習(xí)、數(shù)據(jù)分析技術(shù)八門課程。＞實訓(xùn)及實踐課程針對每門課程提供教學(xué)實驗指導(dǎo)手冊、操作視頻、實驗資源包、實驗示例代碼等，讓學(xué)生學(xué)以致用、用以促學(xué)；不僅學(xué)習(xí)大數(shù)據(jù)技術(shù)的基本理論和原理，還學(xué)習(xí)大數(shù)據(jù)平臺架構(gòu)的技術(shù)實現(xiàn)，以及其在行業(yè)內(nèi)的典型應(yīng)用等，如大數(shù)據(jù)應(yīng)用開發(fā)綜合項目、大數(shù)據(jù)平臺搭建與管理綜合項目、運營商數(shù)據(jù)分析、電商數(shù)據(jù)分析等。

3.4.2.系列教材教育部產(chǎn)學(xué)合作協(xié)同育人項目高等院校《數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)》系列規(guī)劃教材，清華大學(xué)出版社出版。50所高校共同研討制定專業(yè)的大數(shù)據(jù)課程體系，￥知名企業(yè)技術(shù)骨干、高校教授聯(lián)合編寫。Spark大數(shù)據(jù)處理技術(shù)大數(shù)據(jù)離統(tǒng)分析圖：教材）基于R語言的丈數(shù)據(jù)分析￥知名企業(yè)技術(shù)骨干、高校教授聯(lián)合編寫。Spark大數(shù)據(jù)處理技術(shù)大數(shù)據(jù)離統(tǒng)分析圖：教材）基于R語言的丈數(shù)據(jù)分析■■■Mlfaloi■■f大數(shù)據(jù)槪論大數(shù)據(jù)實時計算與應(yīng)用大數(shù)據(jù)挖掘技爪大數(shù)據(jù)分栃期￥[pythonKfi}3.4.3.配套實驗手冊與教育部產(chǎn)學(xué)合作協(xié)同育人項目高等院?！稊?shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)》系列規(guī)

劃教材配套的實驗手冊。ARxl6SMf)$Ai(pVthon|8)柚和用■■K飯揺誑進凰子口謂言的劃教材配套的實驗手冊。ARxl6SMf)$Ai(pVthon|8)柚和用■■K飯揺誑進凰子口謂言的ASfflEzillfSporkXKffiffiiiOXSicJgJSKKjR木蕊掘毎線分?jǐn)鄬嵉闹暪瓚?yīng)闈±9ippHH.?.ni：q■■（圖：實驗手冊）3.4.4.在線視頻提供教學(xué)使用的配套在線視頻課程，詳細(xì)講解實驗內(nèi)容。3.4.5.在線試題庫提供大數(shù)據(jù)專業(yè)考試用的配套試題庫，老師可以在線發(fā)布考試題，了解學(xué)生的知識掌握情況。3.4.6.大數(shù)據(jù)行業(yè)項目案例提供行業(yè)典型項目案例及行業(yè)數(shù)據(jù)，項目涉及交管、醫(yī)療、公安、媒體、營銷、教育、物業(yè)等10多個領(lǐng)域，每個項目案例都配備項目指導(dǎo)手冊、講解視頻、行業(yè)數(shù)據(jù)及項目代碼。每個教學(xué)項目案例包數(shù)據(jù)量均達到GB-TB以上，均為真實數(shù)據(jù)，每個案例有詳細(xì)的分析步驟。通過完整的端到端到業(yè)務(wù)流程演示與上機操作訓(xùn)練，讓學(xué)生真正了解大數(shù)據(jù)行業(yè)背景以及企業(yè)實施技術(shù)需求。通過極具針對性的訓(xùn)練，動手操作，使學(xué)生在最短時間內(nèi)得到應(yīng)用技術(shù)技能的提升，理進一步滿足職業(yè)崗位對工作技能的需求。

.交管行業(yè)＞精準(zhǔn)打擊黑車黑車問題由來已久，如何識別和打擊黑車，并將對居民的出行影響降低到最小是對政府一直以來的重要考驗。利用交通大數(shù)據(jù)構(gòu)建出了出租車的出行模型，分析研判出黑車的出行模型，掌握黑車的活動規(guī)律，從而實現(xiàn)了黑車精準(zhǔn)打擊，并為出租車增量提供精準(zhǔn)參考。黑車識別分析的思路已得到全國綜治大連會議的肯定，并作為經(jīng)驗向全國推廣。＞號牌搖號小客車搖號流程涉及到兩個業(yè)務(wù)系統(tǒng)：小客車專段號牌管理子系統(tǒng)負(fù)責(zé)管理車牌搖號的總體流程，該系統(tǒng)運行在互聯(lián)網(wǎng)上；而具體車牌的發(fā)放是通過公安六合一子系統(tǒng)來完成，該系統(tǒng)運行在公安內(nèi)網(wǎng)上。大數(shù)據(jù)融合平臺通過不同的數(shù)據(jù)收集方式和策略分別獲取這兩個業(yè)務(wù)系統(tǒng)的數(shù)據(jù)，并進行分析、比對，找出未按搖號結(jié)果正常發(fā)放的牌照記錄，打擊黃牛號、黑牌照的違法現(xiàn)象。醫(yī)療行業(yè)＞醫(yī)務(wù)人員誠信檔案以每個醫(yī)生為線索，將其在各個系統(tǒng)中產(chǎn)生的工作數(shù)據(jù)關(guān)聯(lián)起來并加以分析，形成個人工作誠信檔案，實時了解該醫(yī)生的各項工作統(tǒng)計和業(yè)務(wù)趨勢，醫(yī)院對于人員的培養(yǎng)、任用等人事決策提供數(shù)據(jù)依據(jù)。＞健康檔案分析通過患者ID對資源池進行摸排關(guān)聯(lián)，從不同的維度對患者進行健康檔案指數(shù)分析，包括患者的群體特征、區(qū)域分布、年齡趨勢等，并形成了疾控區(qū)域提示，為后續(xù)的個人健康綜合分析中的救治、預(yù)防、風(fēng)險等提供基礎(chǔ)模型。公安行業(yè)＞案事件系統(tǒng)監(jiān)測案事件系統(tǒng)監(jiān)測管理可以針對各類案事件和對象進行大數(shù)據(jù)統(tǒng)計和報表分析，生成人、事、物等各類對象的作戰(zhàn)導(dǎo)圖，并通過案情類別檢測、異常數(shù)據(jù)趨勢檢測、統(tǒng)計趨勢異常質(zhì)量檢測等多個方面來完善數(shù)據(jù)質(zhì)量檢測體系，幫助解決案事件系統(tǒng)等公安各個關(guān)聯(lián)系統(tǒng)中存在的數(shù)據(jù)質(zhì)量問題。系統(tǒng)監(jiān)測管理可以幫助準(zhǔn)確了解全局?jǐn)?shù)據(jù)發(fā)展趨勢，提高數(shù)據(jù)質(zhì)量，提升平臺綜合應(yīng)用的精準(zhǔn)度。媒體行業(yè)在媒體行業(yè)進行新聞熱點追蹤、社交媒體動態(tài)分析，實時檢測微博、微信的熱搜排行，為數(shù)據(jù)新聞產(chǎn)品的制作，提供海量數(shù)據(jù)的采集分析服務(wù)，挖掘新聞線索，協(xié)助完成數(shù)據(jù)新聞的可視化制作。支持選題策劃、事件分析、素材聚合等工作。營銷行業(yè)＞消費者畫像利用消費者的消費行為數(shù)據(jù)，多維度進行分析，建立群體消費者畫像，幫助企業(yè)了解消費者真實的喜好和評價。＞消費者漏斗分析很多消費者可能并不會直接變成忠實客戶，所以我們需要從泛用戶、潛在客戶、活躍用戶、忠實客戶的各個轉(zhuǎn)化環(huán)節(jié)進行分析，通過解決關(guān)鍵問題提升轉(zhuǎn)化率。＞精準(zhǔn)營銷我們在通過大數(shù)據(jù)管理平臺沉淀和積累的數(shù)據(jù)、并且在各種相應(yīng)的算法、分析等引擎的支撐下，根據(jù)業(yè)務(wù)的要求形成各種業(yè)務(wù)方向需要的數(shù)據(jù)模型、算法模型等，從而進行相應(yīng)的深度的數(shù)據(jù)挖掘和分析、預(yù)測等能力。并最終通過精準(zhǔn)營銷方式觸達客戶產(chǎn)生轉(zhuǎn)化。＞內(nèi)容推廣通過大數(shù)據(jù)分析，找出群體所在區(qū)域、范圍、人員結(jié)構(gòu)，進行內(nèi)容推廣，通過數(shù)據(jù)分析定位后的推廣，效果應(yīng)該有所提升。教育行業(yè)通過整合學(xué)習(xí)者知識、動機、元認(rèn)知和態(tài)度等詳細(xì)信息進行學(xué)習(xí)者模型的構(gòu)建，預(yù)測學(xué)習(xí)者未來學(xué)習(xí)發(fā)展趨勢。探索和改進包含最佳教學(xué)內(nèi)容和教學(xué)順序的領(lǐng)域模型。研究各種學(xué)習(xí)軟件所提供的教學(xué)支持的有效性。通過構(gòu)建包含學(xué)習(xí)者模型、領(lǐng)域模型和教育軟件教學(xué)策略的數(shù)據(jù)計算模型，促進學(xué)習(xí)者有效學(xué)習(xí)的發(fā)生。＞學(xué)生學(xué)習(xí)軌跡分析對學(xué)生的學(xué)習(xí)過程進行分析評估，發(fā)現(xiàn)成績背后的因素，并預(yù)測未來學(xué)習(xí)發(fā)展趨勢；學(xué)習(xí)軌跡分析對學(xué)生飾學(xué)生的方方面面進行童面器敢據(jù)酉價，也I展趨勢；學(xué)習(xí)軌跡分析對學(xué)生飾學(xué)生的方方面面進行童面器敢據(jù)酉價，也I舌.課內(nèi)、課肚環(huán)冋附數(shù)鋸來源采集務(wù)經(jīng)tilSL刃炊據(jù)進齊廿曼和歸納.呼咸全j￡目完覲的離合丸應(yīng)曲中＞教師教學(xué)評估對教師進行教學(xué)評估，發(fā)現(xiàn)那些教學(xué)方式更容易被學(xué)生接受，提升教學(xué)方式優(yōu)化教學(xué)流程；.物業(yè)行業(yè)＞風(fēng)險預(yù)警建立全面風(fēng)險預(yù)警機制。利用大數(shù)據(jù)挖掘技術(shù)對試點轄區(qū)內(nèi)的安監(jiān)消防、金融風(fēng)險、人員聚集、突發(fā)事件等相關(guān)數(shù)據(jù)進行深入挖掘分析，建立全方位的風(fēng)險預(yù)警機制，有針對性進行人員投入，防患與未然，有效提高政府資源的應(yīng)用效率。3.4.7.項目手冊企業(yè)項目手冊是為學(xué)生的企業(yè)項目實戰(zhàn)提供參考。以企業(yè)項目開發(fā)過程對學(xué)生進行培養(yǎng)和鍛煉，讓學(xué)生更快適應(yīng)企業(yè)工作氛圍，使高校教育和企業(yè)需求之間無縫銜接。企業(yè)項目手冊按照不同專業(yè)的就職意向劃分不同職業(yè)方向，如大數(shù)據(jù)開發(fā)、大數(shù)據(jù)運維、大數(shù)據(jù)數(shù)據(jù)分析，數(shù)據(jù)可視化崗位有針對性的進行培養(yǎng)，提供學(xué)生的就業(yè)率，以及高薪就業(yè)水準(zhǔn)。大數(shù)據(jù)教學(xué)平臺建設(shè)一站式大數(shù)據(jù)開發(fā)平臺，模擬真實的數(shù)據(jù)采集、清洗，離線計算，實時計算Spark的開發(fā)工作環(huán)境，讓學(xué)生更好更快的學(xué)習(xí)掌握大數(shù)據(jù)開發(fā)知識。數(shù)智是建立在虛擬化層上的一站式大數(shù)據(jù)開發(fā)平臺，提供4大模塊，數(shù)據(jù)融合模塊，大數(shù)據(jù)存儲管理模塊，大數(shù)據(jù)計算分析模塊,數(shù)據(jù)可視化模塊；基于此平臺，學(xué)員能在極短的時間內(nèi)快速掌握各種Hadoop、Spark,Storm,Kafka,Greenplum項目以及Hadoop分布式文件系統(tǒng)（HDFS）、MapReduce、Pig、Hive、HBase、Zookeeper和其他各種組件的使用方法，并真正完成基于Hadoop框架的大數(shù)據(jù)應(yīng)用開發(fā)。3.5.1.數(shù)據(jù)融合大數(shù)據(jù)時代下典型的數(shù)據(jù)特點包括：數(shù)據(jù)的多樣性、數(shù)據(jù)來源的廣泛性、數(shù)據(jù)類型的繁雜性等。這種復(fù)雜的數(shù)據(jù)環(huán)境給海量大數(shù)據(jù)的處理帶來極大的挑戰(zhàn)。想要處理大數(shù)據(jù)，首先必須對所需數(shù)據(jù)源的數(shù)據(jù)進行抽取和集成，并在數(shù)據(jù)集成和抽取的過程中對數(shù)據(jù)進行清洗，以保證數(shù)據(jù)質(zhì)量及可信性。數(shù)據(jù)融合定位于大數(shù)據(jù)系統(tǒng)平臺的數(shù)據(jù)入口位置,提供數(shù)據(jù)集成所需的工具和方法支持,解決大數(shù)據(jù)融合的問題。主要的功能包括：＞面向結(jié)構(gòu)化數(shù)據(jù)源，通過定制化ETL工具，應(yīng)用于從數(shù)據(jù)庫源抽取數(shù)據(jù)；＞支持streaming形式的數(shù)據(jù)源，提供流式數(shù)據(jù)的輸入入口，應(yīng)用于日志文件抽取,流數(shù)據(jù)處理；＞根據(jù)業(yè)務(wù)需要結(jié)合Kafka消息隊列技術(shù)實現(xiàn)靈活的數(shù)據(jù)處理流程，實現(xiàn)和消息隊列的對接以及實現(xiàn)基于http的流式數(shù)據(jù)入口服務(wù)；＞網(wǎng)絡(luò)爬蟲服務(wù)，提供基于web頁面的內(nèi)容數(shù)據(jù)抓取。3.5.2.數(shù)據(jù)融合存儲面向結(jié)構(gòu)化，非結(jié)構(gòu)化以及半結(jié)構(gòu)化數(shù)據(jù)的全數(shù)據(jù)管理，數(shù)據(jù)存儲平臺實現(xiàn)對所有常見類型數(shù)據(jù)的統(tǒng)一管理。支持多種數(shù)據(jù)庫數(shù)據(jù)的流轉(zhuǎn)、管理和分析，支持對象存儲，本地存儲，云存儲等多種形式的混合存儲方式，支持多種數(shù)據(jù)訪問協(xié)議，使數(shù)據(jù)生命過程更加的暢通。在文件系統(tǒng)（提供無限擴展、NAS協(xié)議標(biāo)準(zhǔn)文件存儲服務(wù)）、塊存儲（提供高性能、高可靠的block級隨機存儲）等基本系統(tǒng)存儲層服務(wù)的基礎(chǔ)上，可以提供大數(shù)據(jù)時代穩(wěn)定可靠、可彈性伸縮的數(shù)據(jù)庫服務(wù)。包括關(guān)系型業(yè)務(wù)分析數(shù)據(jù)庫，內(nèi)存分析型數(shù)據(jù)庫，以及分布式數(shù)倉分析型數(shù)據(jù)庫等。關(guān)系型業(yè)務(wù)分析數(shù)據(jù)庫引擎根據(jù)不同業(yè)務(wù)開發(fā)對各類數(shù)據(jù)庫的需求，提供便捷統(tǒng)一的數(shù)據(jù)庫管理、使用、監(jiān)控、運維等服務(wù)；內(nèi)存分析型數(shù)據(jù)庫是基于內(nèi)存存儲的高性能結(jié)構(gòu)化數(shù)據(jù)庫，支持標(biāo)準(zhǔn)SQL語法，可提供每秒百萬級別的交互事務(wù)，更提供高效的實時數(shù)據(jù)分析能力。面對大數(shù)據(jù)業(yè)務(wù)，可通過在線橫向擴展來提高大數(shù)據(jù)的處理和分析能力，帶來更快捷、高效、實時的數(shù)據(jù)體驗。分布式數(shù)倉分析型數(shù)據(jù)庫幫助構(gòu)建PB級別的分布式OLAP數(shù)據(jù)倉庫，支持行式、列式、

外部存儲等多種數(shù)據(jù)存儲型態(tài)，提供MPP海量并行查詢處理框架與服務(wù)。另外，面向海量的非結(jié)構(gòu)化數(shù)據(jù)（圖片、視頻、音頻、文檔等等）存儲和管理，非結(jié)構(gòu)數(shù)據(jù)倉庫系統(tǒng)提供基于對象存儲技術(shù)機制的高效率的非結(jié)構(gòu)化數(shù)據(jù)管理和處理。&KXVS■對■載IEaRK*M-di-thiD-WiuttErMUQEk-U"ErtQTk'PM-di-thiD-WiuttErMUQEk-U"ErtQTk'P*?anBATM1■■‘HAH才m"CdLBWlE&罄空HUviCTrtaBd:WM??V^HXTOMW■Priwfltwi,V-MiXFUTiW1V.W[vtWHKKflWVhhehWlflK*w1-r■■bnu^iKn1tel?TuHk￡MrM^nMW廿*a:VBlETrtetll■fcr'■l丨M"iBKi4Matnv?W■MiaBIttAI9IMLI5Q1H|Hh%3T￥IFM|HH3.5.3.數(shù)據(jù)計算分析利用可靠、安全、易用的一站式大數(shù)據(jù)分析平臺，可以輕松快速實現(xiàn)大數(shù)據(jù)計算分析，大大縮短開發(fā)時間，幫助用戶和開發(fā)者專注于數(shù)據(jù)分析。煩（齢靳腐甜算煩（齢靳腐甜算作業(yè)瞬D-Mining大數(shù)據(jù)計算分析平臺SQL離違分祈◎嘶亦1-^■于垃帀工弭H-.BSSQL.KbtWeduce<1走申祠I5ql2D>掃逢卡HlRe^lApiSfflt買時計算FffiDpW^環(huán)珂K.fiiMH：讓曲I也雖1HF!El^e甘畐.近坯“帳期耳咖3S.D-MihirgTBEE=WK1^TntSfffflF.離踐計算BI'rtW:PWSzt幀齋比5SSTI^n.上乍?\甩壬堆辻￡htj堪抑且岀璉廳一.主要的功能包括：＞sql離線分析SQL離線分析是一種基于分布式內(nèi)存計算的SQL分析方式，相比傳統(tǒng)MapReduce的分析方式速度提升百倍，支持標(biāo)準(zhǔn)sQL2003語法和REsTfulApi來完成離線數(shù)據(jù)分析，支持?jǐn)?shù)據(jù)緩存到內(nèi)存提高查詢效率、定期查詢結(jié)果導(dǎo)出至存儲數(shù)據(jù)庫中方便上層應(yīng)用快速查詢結(jié)果；＞實時計算相對于傳統(tǒng)分析方式中的批量計算模型，實時計算讓數(shù)據(jù)在落地過程中完成數(shù)據(jù)分析，達到毫秒級別的分析結(jié)果。實時計算基于分布式技術(shù)，支持用戶在線編寫計算分析邏輯、在線調(diào)試、數(shù)據(jù)來源和結(jié)果導(dǎo)出輕松指定，數(shù)據(jù)專員只需專注于數(shù)據(jù)分析處理邏輯來完成具體需求，快速完成一套實時流數(shù)據(jù)分析業(yè)務(wù)；＞離線計算單節(jié)點計算自由度高，用戶可以在線編輯計算邏輯并且在線運行調(diào)試，也可上傳文件，支持shell腳本、python腳本、可執(zhí)行程序等來完成所有計算分析作業(yè)；分布式計算基于分布式計算框架，提供多種經(jīng)典的分布式計算模型，能夠更快速的解決用戶海量數(shù)據(jù)計算問題，相對MapReduce計算性能提升幾十倍至百倍，是TB、PB級數(shù)據(jù)計算分析的利器。3.5.4.數(shù)據(jù)可視化數(shù)據(jù)可視化模塊將每一項數(shù)據(jù)作為單個圖元的元素表示，大量的數(shù)據(jù)集構(gòu)成數(shù)據(jù)圖像，同時將數(shù)據(jù)的各個屬性以多維數(shù)據(jù)的形式表示，便于用戶從不同的維度觀察和理解數(shù)據(jù)，從而對數(shù)據(jù)進行更深入的分析，利用數(shù)據(jù)進行更精準(zhǔn)的決策。一個在線分析的數(shù)據(jù)可視化工具，是大數(shù)據(jù)系統(tǒng)開發(fā)平臺中不可或缺的重要部分，數(shù)據(jù)可視化平臺支持從多種數(shù)據(jù)源（包括在線數(shù)據(jù)庫和離線文件CSV、sql等）加工出數(shù)據(jù)集，并通過拖拽式操作對數(shù)據(jù)進行處理，通過豐富的圖表控件實現(xiàn)分析結(jié)果的可視化展現(xiàn)和發(fā)布。大數(shù)據(jù)云試驗機學(xué)生實驗終端計算機一方面可以采用普通終端PC機，組合成實驗室局域網(wǎng)，支撐學(xué)生進行實驗，另一方面隨著云計算技術(shù)的發(fā)展，學(xué)生計算機可以采用虛擬桌面云終端的設(shè)計方式，通過采用專用云資源服務(wù)器及存云調(diào)度設(shè)備進行設(shè)計，利用服務(wù)器虛擬化的方法來對終端進行支撐，用戶通過部署在實驗臺的客戶端進行實驗操作，所有應(yīng)用、數(shù)據(jù)統(tǒng)一存放在后臺服務(wù)器，虛擬桌面云終端不存放任何數(shù)據(jù)，可被管理工具統(tǒng)一管理，包括分發(fā)系統(tǒng)、更新軟件、遠(yuǎn)程監(jiān)控、審計等操作。虛擬桌面云平臺也通過虛擬化平臺的管理工具管理，大大降低維護人員的重復(fù)工作量。

云桌面接入控制系統(tǒng)平臺(VDC)盯DJOOWWC軟件VDC月軸器御諸虛擬化系統(tǒng)平臺aSVForaUeskaSANForaDesk桌面云一Ml云桌面接入控制系統(tǒng)平臺(VDC)盯DJOOWWC軟件VDC月軸器御諸虛擬化系統(tǒng)平臺aSVForaUeskaSANForaDesk桌面云一Ml統(tǒng)一管理甲臺用戶管理策略習(xí)理STD-500硬件勰STD-500德拓深入了解了教育行業(yè)在桌面建設(shè)中面臨的困難，并借助其夯實的虛擬桌面技術(shù)能力以及針對教育行業(yè)的定制開發(fā)，為高校等教育用戶提供了一套行業(yè)專用桌面解決方案。桌面云在底層一體機上部署服務(wù)器虛擬化、存儲虛擬化及桌面虛擬化軟件，提供一站式桌面解決方案，確保體驗與性能，桌面云將所有數(shù)據(jù)存儲在后端服務(wù)器上，確保數(shù)據(jù)安全性，web界面統(tǒng)一管理，部署高效，運維更簡單。?!■MBSSMSHbJUsM?屆ml134aw-uap?*aMSNF“srm^EdsEA--Mlat善^sss^ans_?.san*H^HEW85—*-1詈-Er.M?ist-^ISaalpx^x-^3.313^iH4w_-Ml.sm

s^sHnlmlH.?mssss.*sa--^ss.i^s.fa?曹*sss13J^SEH^sfss5SSJ?5?5alM4As■?>腥口>^sisat_MV??hr?kAn?MS&—rtcLtx-KiL3FS3a■>9?^?mff-M-3;?￥$tTlJa^mA*ESQ81-39k■黒mcdBr4BA?■Idp*H-c.—b■itH.^cff■KniewBfl?ULl-npg.9"教師和學(xué)生可使用多種終端登錄和使用云桌面。終端類型包括：臺式機、筆記本、一體機、瘦客戶端、平板和手機等，實現(xiàn)移動式的教學(xué)和學(xué)習(xí)。3.7.可視化展示墻隨著信息技術(shù)發(fā)展的日新月異，高科技手段應(yīng)用信息顯示中心輔助決策系統(tǒng)越來越普遍。作為各種大數(shù)據(jù)項目數(shù)據(jù)以及圖像可視化的集中顯示終端，大屏幕顯示系統(tǒng)一定要具備高分辨率顯示、色彩均勻穩(wěn)定，并且能與各種信號良好兼容的特性。整套液晶拼接墻顯示系統(tǒng)主要由以下幾部分組成：＞機柜/機架（可選擇壁掛式、立柜式機柜）；＞55"LCD拼接顯示單元；LCD屏數(shù)量=任意行（M）X任意列（N）＞高端并行處理器；＞應(yīng)用管理軟件包；＞線材及配件；3.8.整體實驗室建設(shè)實施方案多年來，公司秉承“用戶至上”服務(wù)理念，為用戶全面優(yōu)質(zhì)高效服務(wù)。我們?yōu)橛脩籼峁┑牟粌H僅是單一的產(chǎn)品，更注重于從用戶的實際情況及未來發(fā)展需求出發(fā)，提供一整套完美的解決方案。3.8.1.需求調(diào)研實驗室建設(shè)目標(biāo)調(diào)研、實驗室規(guī)模、建設(shè)用地及資金、配套設(shè)施調(diào)研。德拓?fù)碛幸恢I(yè)的大數(shù)據(jù)技術(shù)服務(wù)隊伍，包括有多年實際工作經(jīng)驗的資深大數(shù)據(jù)工程師、JAVA研發(fā)人員、售前技術(shù)人員、售后實施及維護人員，他們能夠深入了解用戶需求，以最佳方案真誠為用戶提供優(yōu)質(zhì)服務(wù)。3.8.2.方案設(shè)計項目實施前，公司售前技術(shù)人員會根據(jù)用戶需求提供一套系統(tǒng)建設(shè)方案，并在與用戶分析現(xiàn)有的技術(shù)環(huán)境及長期建設(shè)目標(biāo)的基礎(chǔ)上，為用戶設(shè)計出最佳解決此外，根據(jù)用戶的具體情況，售前技術(shù)人員必要時可搭建演示環(huán)境，提供德拓相關(guān)解決方案產(chǎn)品的演示，以便用戶更深了解項目建設(shè)情況；同時，售前技術(shù)人員還為用戶提供相關(guān)的技術(shù)咨詢和方案設(shè)計，為用戶提供新建系統(tǒng)與已有系統(tǒng)的整合方案，保護用戶已有的投資。3.8.3.硬件環(huán)境安裝根據(jù)用戶需求及合同規(guī)定的時間，售后技術(shù)人員將在用戶現(xiàn)場進行項目實施，大數(shù)據(jù)實驗室基礎(chǔ)硬件環(huán)境安裝主要包括計算節(jié)點服務(wù)器、管理節(jié)點服務(wù)器、交換機等硬件安裝以及可視化展示墻安裝。對由于硬件質(zhì)量問題造成的硬件損壞，如在保修期內(nèi)或與我方兼有相關(guān)技術(shù)服務(wù)合同的，德拓提供現(xiàn)場服務(wù)，維修更換相應(yīng)的硬件。對有效合同內(nèi)的軟甲故障，用戶應(yīng)將故障現(xiàn)象及出錯信息通過電郵、信件或傳真等通知我們，我方根據(jù)故障等級做出不同時間級別的相應(yīng)，并給予解答。不能遠(yuǎn)程解決問題時，我方將派技術(shù)人員到達現(xiàn)場進行實地解決。3.8.4.軟件環(huán)境部署根據(jù)用戶需求及合同規(guī)定的時間，售后技術(shù)人員將在用戶現(xiàn)場進行項目實施，大數(shù)據(jù)實驗室教學(xué)軟件支撐平臺系統(tǒng)安裝主要包括大數(shù)據(jù)教學(xué)管理系統(tǒng)、普云云計算管理系統(tǒng)、大數(shù)據(jù)集群監(jiān)控系統(tǒng)等系統(tǒng)安裝。以及大數(shù)據(jù)教學(xué)實驗課程包、大數(shù)據(jù)行業(yè)項目案例課程包的安裝部署調(diào)試。3.8.5.產(chǎn)品使用培訓(xùn)針對德拓提供的解決方案，我們將在建設(shè)項目移交給用戶運行前對最終用戶進行相關(guān)的技術(shù)培訓(xùn)，此外，根據(jù)用戶的要求，我們將提供不定期的技術(shù)培訓(xùn)服務(wù)。該類技術(shù)培訓(xùn)主要分為以下兩部分：＞操作用戶培訓(xùn)：針對系統(tǒng)日常運行操作進行集中培訓(xùn)，對于實訓(xùn)平臺而言，培訓(xùn)對象主要是授課老師，內(nèi)容為日常實驗教學(xué)操作步驟等。＞系統(tǒng)管理用戶培訓(xùn)：針對系統(tǒng)日常管理、維護、安裝進行培訓(xùn)，對于實訓(xùn)平臺而言，培訓(xùn)對象為實驗技術(shù)管理人員，內(nèi)容為系統(tǒng)常見技術(shù)問題處理方式等。3.8.6.項目驗收實驗室軟、硬件運行調(diào)試項目竣工驗收。3.8.7.售后服務(wù)體系德拓組建了一支專業(yè)的售后技術(shù)服務(wù)隊伍，這支隊伍包括大數(shù)據(jù)工程師、JAVA工程師、數(shù)據(jù)挖掘工程師等，他們負(fù)責(zé)進行用戶項目的現(xiàn)場實施，同時接受用戶系統(tǒng)日常運行過程中的技術(shù)咨詢和維護服務(wù)，德拓的售后服務(wù)可以做到：＞應(yīng)用咨詢：免費提供應(yīng)用咨詢服務(wù)包括：教學(xué)計劃的分析、實訓(xùn)流程設(shè)計、實訓(xùn)內(nèi)容規(guī)劃等。＞服務(wù)熱線支持：用戶在軟件使用過程中，遇到任何應(yīng)用、操作或技術(shù)上的問題，都可通過德拓客戶服務(wù)中心的熱線電話進行咨詢；客服專員會耐心地向用戶解答各類問題。服務(wù)熱線電話：4008-212-852；＞遠(yuǎn)程網(wǎng)絡(luò)技術(shù)支持：除服務(wù)熱線支持外，德拓還提供遠(yuǎn)程的網(wǎng)絡(luò)技術(shù)支持。遠(yuǎn)程網(wǎng)絡(luò)的技術(shù)支持包括遠(yuǎn)程答復(fù)技術(shù)問題、遠(yuǎn)程桌面排除系統(tǒng)故障、即時通信工具支持及電子郵件支持等；

現(xiàn)場技術(shù)支持：當(dāng)客戶問題無法通過熱線電話和遠(yuǎn)程網(wǎng)絡(luò)技術(shù)支持解決時，德拓客戶服務(wù)中心將委派專業(yè)的技術(shù)人員上門為用戶現(xiàn)場解決問題?，F(xiàn)場技術(shù)支持主要包括：排除軟件使用故障、技術(shù)故障、軟件bug、軟件的優(yōu)化升級、提供應(yīng)用優(yōu)化建議等工作。故障處理：德拓在正常的辦公時間（星期一至星期五的9:00-18:00）,配備專門的全國客服熱線和專職的技術(shù)工程師負(fù)責(zé)各類咨詢及技術(shù)問題的處理。其他時間，由銷售人員負(fù)責(zé)電話響應(yīng)，值班工程師負(fù)責(zé)專業(yè)技術(shù)支持。在支持熱線工作時間內(nèi)，客服專員及客戶代表會記錄下客戶的名稱、聯(lián)系人的全名、聯(lián)系電話以及故障的詳細(xì)記錄。當(dāng)故障登記后，我們將時刻與客戶保持聯(lián)系，直到問題被解決，并確保故障在最短時間內(nèi)得到解決。>系統(tǒng)維護與升級：定期回訪服務(wù)：每三個月定期與您溝通，了解軟件、硬件和環(huán)境的運行狀況，使您的系統(tǒng)處于最佳運行狀態(tài)。分為電話回訪和上門回訪兩種；5x8（工作日x小時）電話、電子郵件和網(wǎng)絡(luò)在線技術(shù)支持；通過售后服務(wù)熱線4008-212-852向客戶提供咨詢等服務(wù)。3.8.8.增值服務(wù)3.8.8.增值服務(wù)=1除了本項目的技術(shù)服務(wù)外，我司長期圍繞高?？蛻糸_展各類型服務(wù)，本校今后也將與我司達成長期的合作，可視具體情況展開下列服務(wù)內(nèi)容：.服務(wù)于學(xué)校1．“產(chǎn)學(xué)研”合作充分利用學(xué)校與企業(yè)、科研單位等多種不同教學(xué)環(huán)境、教學(xué)資源以及在人才培養(yǎng)方面的各自優(yōu)勢，把原先以課堂傳授知識為主的學(xué)校教育與直接獲取實際經(jīng)驗、實踐能力為主的實驗實訓(xùn)、科研實踐有機結(jié)合的教育形式。依靠“產(chǎn)學(xué)研”的有效結(jié)合，從根本上解決高校教育與社會需求脫節(jié)的問題，縮小學(xué)校和社會對人才培養(yǎng)與需求之間的差距，增強學(xué)生的社會競爭力。2．特色專業(yè)建設(shè)通過對同類學(xué)校相同專業(yè)建設(shè)情況進行比較性調(diào)研，幫助本校在該專業(yè)的特色建設(shè)提供借鑒。示范性專業(yè)建設(shè)不但在特色選擇上要和其它學(xué)校相同專業(yè)保持一定的差異性，同時要對擬建特色專業(yè)的校內(nèi)校外可用教學(xué)資源的現(xiàn)狀進行調(diào)研，以便在專業(yè)特色建設(shè)中揚長避短，把握機會，選擇最適合的特色方向。3．精品課程建設(shè)以就業(yè)為導(dǎo)向，做好每年一次的專業(yè)市場調(diào)研，研究企業(yè)用人需求，劃分各職業(yè)崗位的能力要求，依此設(shè)計課程模塊，構(gòu)建專業(yè)課程體系。根據(jù)IT業(yè)各崗位的能力要求，參照權(quán)威IT認(rèn)證的資格標(biāo)準(zhǔn)，建立各專業(yè)課程評估辦法，實現(xiàn)課程評價的標(biāo)準(zhǔn)化。4．課程置換依托于課程置換，把行業(yè)及廠商先進的職業(yè)教育課程和優(yōu)質(zhì)的師資力量專業(yè)化、系統(tǒng)化地引入高校，推進學(xué)校教育教學(xué)改革，提升學(xué)校綜合教學(xué)水平，加快學(xué)校發(fā)展進程，進一步培養(yǎng)各個院校學(xué)子的學(xué)習(xí)能力、基本工作技能和社會適應(yīng)能力。5．實驗室合作共建本著“校企聯(lián)合，共同推進，持續(xù)發(fā)展”的思想，協(xié)助高校在實驗室建設(shè)規(guī)劃、硬件建設(shè)、管理機制建設(shè)、實驗技術(shù)隊伍建設(shè)四個方面進行戰(zhàn)略合作，建立長期的校企合作關(guān)系。利用實驗教學(xué)系統(tǒng)，組建聯(lián)合研發(fā)團隊，進行實驗系統(tǒng)及實驗體系的共建開發(fā)，帶動高校研發(fā)能力的提升，實現(xiàn)實驗平臺的可持續(xù)性發(fā)展。.服務(wù)于教師1．師資認(rèn)證培訓(xùn)緊緊圍繞社會人才就業(yè)導(dǎo)向形成培養(yǎng)合力，加強教師教學(xué)理念和教學(xué)策略。通過不同等級的師資培訓(xùn)，獲得相應(yīng)階段的師資認(rèn)證。授課知識更貼近企業(yè)和行業(yè)的需求，能夠幫助老師知識體系迅速更新到與行