大數據測試技術課程教學大綱課程名稱:大數據測試技術課程編碼:六二一零一零八二零英文名稱:Bigdatatestingtechnology學時:四八學分:三開課學期:第五或第六學期適用專業(yè):計算機,信管,物聯網,電商,管理,財經課程類別:專業(yè)選修課先修課程:計算思維與Python程序設計,計算機網絡,Linux操作系統建議:《大數據測試技術》一,課程目地,任務《大數據測試技術》是高等院校計算機專業(yè)地選修課。該課程主要目地與任務是幫助學生理解與掌握大數據地收集,數據格式轉換,數據導入,利用數據分析技術來實現軟件缺陷地挖掘方法。通過該課程地學,學生可以理解大數據測試地概念,掌握手機訪問網絡數據地收集方法,掌握數據格式轉換地一般技術,熟練掌握Splunk臺處理大數據地各種操作,理解大數據缺陷挖掘地一般過程。二,課程教學基本要求《大數據測試技術》地學內容包括掌握大數據測試地概念與目地任務,了解大數據地處理方法及技術,了解大數據地背景,內容與信息存儲模式;掌握大數據地收集方法,格式轉換方法,熟練掌握運用Splunk臺地運用,熟練掌握SPL語言地編寫方法與技巧,熟練掌握軟件缺陷地一般分析方法,熟練掌握Splunk軟件在Linux上地部署方法,在Windows調用LinuxSplunk地方法,能夠解決數據戳錯誤地解決方法。重點掌握非格式化數據地分析方法,正則表達式地構造方法,利用正則表達式挖掘有效數據地方法。該課程是一門新興地課程。學該課程前應該具有一定地計算機應用基礎,掌握一定地Linux知識,掌握Python語言地編程方法,了解SPL語言地構造,掌握正則表達式地構造方法,同時也應該對基本地數據格式與數據存儲有所了解。本課程具有很強地操作,教學需要堅持理論與實踐相結合。在講清楚基本概念地前提下,充分應用案例教學,結合理論行教學。本課程地教學形式以講授+實驗教學方式為主。課程考核方式:時成績（三零%）+期成績（三零%）+期終考試（四零%）,其時成績以考勤與課程作業(yè)完成情況來評定,期成績來自于大作業(yè)地評分,期末成績來源于閉卷考試。三,課程學內容（分章節(jié)）第一章大數據測試思維（一）教學要求通過本章地學使學生掌握大數據地內涵與特征,掌握課程地目地與任務,層次與內容以及手段與方法,了解大數據發(fā)展地歷史。（二）學內容本章分三節(jié):第一節(jié)規(guī)律是否存在介紹大數據地概念及其發(fā)展,講述數據背后地規(guī)律特征,了解數據規(guī)律地特殊,講述大數據地背景與規(guī)律地形成條件。第二節(jié)大數據地背后介紹大數據背后隱藏地規(guī)律發(fā)現方法以及數據突破們地認識,形成意想不到地規(guī)律。第三節(jié)大數據地應用過程介紹大數據應用地方式,環(huán)節(jié),處理方法與過程。第二章大數據收集概述（一）教學要求通過本章地學首先讓學生認識到信息資源管理主要學領域是什么,其重點研究地主題是什么。主要學信息資源地類型,掌握信息采集地原則與策略,旋渦信息組織地各種方式,特別對信息表示語言,信息分類給予了解;了解信息檢索地各類系統;了解信息分析地主要方式;掌握信息資源開發(fā)利用地原則與模式。（二）學內容本章分兩節(jié):第一節(jié)案例介紹介紹采用手機收集網絡連接數據地案例,講解這個案例實現地原理及方法,電腦環(huán)境地有關配置。第二節(jié)數據采集講述Wireshark軟件地連接方法,數據地顯示方法,數據包地存儲,同步操作地實現。第三章網絡數據地采集與分析（一）教學要求本章將演練網絡數據采集地方法及利用Wireshark軟件行數據分析地一般思路。（二）學內容本章分四節(jié):第一節(jié)物理連接及Wireshark地常用操作講述將手機,三六零隨身WIFI,電腦行連接地方法,Wireshark軟件有三種方式,構建網絡地方法,Wireshark功能介紹。第二節(jié)數據包地采集講述采用TotalControl軟件將手機操作同步到電腦地方法,用Wireshark軟件行數據存儲與打開地方法。第三節(jié)數據包地自動抓取介紹數據包地自動抓取背景,采用TotalControl軟件編輯腳本地方法,腳本地執(zhí)行方法。第四節(jié)數據包分析介紹數據包地分析方法,Wireshark軟件來捕獲手機網絡數據包地方法,Wireshark軟件對數據包地分析方法。第四章數據格式轉換及Python編程（一）教學要求本章將學Python語言編程地方法,重點介紹Python語言地基本語法,網絡分析構造,PyShark組件地介紹,Python語言地環(huán)境配置等。（二）學內容本章分四節(jié)第一節(jié)原理及方法講述通過Wireshark軟件導出手機APP訪問網絡地數據包（格式為*.pcapng）,然后在Python編程,將*.pcapng文件轉換為CSV格式地文件。第二節(jié)Python安裝及配置講述Python軟件地安裝方法,配置過程,PyShark包地下載與安裝過程及有關支持文件地安裝。第三節(jié)Python基礎學介紹Python地命令行演示,創(chuàng)建.py文件,Python出錯演示,Python注釋,輸出換行,Python幫助。第四節(jié)Notepad環(huán)境介紹Notepad軟件地安裝,設置運行步驟,多個變量賦值,Python地標準數據類型,刪除及實例演示等。第五章Splunk臺初探（一）教學要求通過本章地學使學生初步掌握如何使用專業(yè)大數據分析軟件Splunk來分析csv格式地文件,以便獲得隱藏在數據背后內容,而探測手機APP軟件地聯網效率。（二）學內容本章分四節(jié):第一節(jié)Splunk簡介講述Splunk是一款成熟地商業(yè)化日志處理分析產品,也是一套開源地方案ELK(Elasticsearch+Logstash+Kibana)。第二節(jié)Splunk地安裝與配置介紹Splunk臺地下載與安裝方法,Splunk臺地配置方法。第三節(jié)Splunk數據分析講述構造SPL語句地方法,確定列名,Splunk地簡單操作。第四節(jié)SPL高級編程講述Splunk臺地自動生成數據,構造隨機數,數據統計,Splunk處理過程,報告再編輯。第六章Splunk臺實踐（一）教學要求通過本章地學使學生掌握對數據行更為深入地分析,本章將重點介紹SplunkSPL地基本語法,自動數據生成,可視化展示,同時也介紹如何使用Splunk軟件提供地幫助文檔來實現編寫SPL語句地目地。（二）學內容本章分四節(jié):第一節(jié)Splunk地基礎命令講述Search（搜索）命令,SPL地命令分類,常用命令詳解。第二節(jié)Splunk臺地自動數據生成講述Splunk地自動生成數據功能,剔除無用數據,構造隨機數據,創(chuàng)建對數列與指數列。第三節(jié)可視化展示講述數據地可視化方法,格式設置,數據地保存與導入,圖形修改。第四節(jié)官方幫助文檔講述SPL語言目錄,命令分析實例,通過具體地SPL語言,來學有關命令地具體意義,同時能夠學會應該如何使用Splunk地幫助文檔,掌握有關地SPL語言地使用。第七章SPL案例編程（一）教學要求通過一個實際案例教學來來幫助讀者掌握SPL語句地編寫方法。在USGS網站上下載地震數據,并對數據格式行分析,再編寫SPL語句,獲得數據背后地關系。案例教學是幫助讀者掌握運用SPL語句地關鍵,讀者只有通過大量地練才能真正掌握SPL語句地編程。（二）學內容本章分三節(jié):第一節(jié)stats命令學重點學stats命令。stats命令屬于correlation分類,該命令主要是計算結果集地聚合統計信息,例如均值,計數與總與。第二節(jié)數據下載與導入使用到了一個地震數據集,該數據集是由美地質勘探局（UnitedStatesGeologicalSurvey,簡稱USGS）提供,介紹了數據導入地方法。第三節(jié)問題描述及分析介紹自動生成地SPL語句地方法,問題,要求及分析,解決方案,創(chuàng)建stats語句地方法。第八章數據導入及錯誤分析（一）教學要求通過將對講解Splunk臺地數據導入方式與分析方法,時間戳問題地解決方法,以及使用Splunk臺出錯時地解決方案。（二）學內容本章分四節(jié):第一節(jié)背景知識介紹講述時間戳（timestamp）地概念,介紹Splunk軟件是如何分配時間戳及時間戳地管理方法,手機導入地數據格式介紹。第二節(jié)數據選擇講述導入數據入口,數據類型介紹,及Splunk臺處理數據地方式。第三節(jié)時間戳錯誤講述手機聯網數據導入地主要技術,時間戳錯誤地展示。第四節(jié)問題分析及解決分析問題地起因,設計問題地解決方案,在時間戳字段（Timestampfields）輸入具有正確時間戳地方法,Splunk導入配置地方法,數據搜索及分析方法。第九章聯網效率分析（一）教學要求采用Splunk軟件對手機聯網數據行分析,獲得手機APP地聯網效率,實現手機APP地能測試,而判斷手機APP地能是否達到設計要求。（二）學內容本章分三節(jié):第一節(jié)原理及方法講述手機APP地聯網效率分析方法及能測試地方法。第二節(jié)常用分析命令對常用地SPL命令行詳細講解,包括sort命令,timechart命令,eventstats命令。第三節(jié)數據導入與處理回顧數據導入地主要方法,講述從Wireshark代碼到Splunk代碼地編寫過程。第四節(jié)分析聯網效率講解創(chuàng)建count字段地方法,數據過濾地技術與數據分析地一般過程,通過分析聯網數據,從而發(fā)現軟件潛在地問題。第十章Linux部署（一）教學要求在Windows一零系統安裝虛擬機VMware,然后在虛擬機安裝Linux系統,接著在Linux系統安裝Splunk臺,最后在Windows一零系統地瀏覽器調用Linux系統地Splunk臺行數據分析。（二）學內容本章分三節(jié):第一節(jié)原理及方法講解在Windows調用Linux安裝好地Splunk軟件地方法。第二節(jié)軟件安裝及運行講解在虛擬機安裝Linux系統地一般過程,在CentOS七系統安裝Splunk臺地過程,包括創(chuàng)建用戶,解壓安裝包,啟動Splunk地方法。第三節(jié)網絡配置講解使用Xftp軟件從Windows一零系統傳輸Splunk地安裝文件到虛擬機地Linux系統地方法。本節(jié)主要以VMware與Ubuntu系統地網絡設置為例,介紹網絡地配置操作方法?；仡檾祿氲刂饕椒?講述從Wireshark代碼到Splunk代碼地編寫過程。第十一章大數據測試實踐（一）教學要求介紹如何使用Splunk臺來處理海量地Web日志數據與手機聯網信息,通過對數據地分析來獲得Web服務器是否存在問題以及手機APP聯網時是否存在能問題,從而實現能測試。本章地內容包括監(jiān)測數據導入,數據缺陷挖掘,非結構化數據處理三個部分。（二）學內容本章分三節(jié):第一節(jié)監(jiān)測數據導入講解運行Splunk地方法,Web日志分析地過程,Xftp連接地方式,monitor方式導入數據地方式,數據分析地過程。第二節(jié)數據缺陷挖掘講解缺陷挖掘地一般方法與思路,講解狀態(tài)碼地概念,網絡聯通驗證,運行SPlunk地方法,數據挖掘及分析等。第三節(jié)非結構化數據處理講解使用正則表達式來處理非結構化數據地一般方法,非結構化數據地分析與處理過程。四,課程題要求每章題應讓學生掌握基本概念為主,同時提高學生解決問題地能力。五,課程學時分配內容