大數(shù)據(jù)基礎(chǔ)0簡介1概述2數(shù)據(jù)3數(shù)據(jù)采集與預(yù)處理4數(shù)據(jù)存儲與計算5數(shù)據(jù)分析與應(yīng)用6數(shù)據(jù)可視化7數(shù)據(jù)安全與保護(hù)8附錄A全套可編輯PPT課件

大數(shù)據(jù)基礎(chǔ)概論簡介課程定位大數(shù)據(jù)人才的培養(yǎng)一個是培養(yǎng)掌握復(fù)雜大數(shù)據(jù)技術(shù)知識的大數(shù)據(jù)專業(yè)人才，另一個是培養(yǎng)具有數(shù)據(jù)素養(yǎng)的綜合型人才。數(shù)據(jù)素養(yǎng)是在大數(shù)據(jù)時代的新環(huán)境下，對當(dāng)代大學(xué)生提出的新要求。對大學(xué)生進(jìn)行數(shù)據(jù)素養(yǎng)教育，有效提升大學(xué)生的數(shù)據(jù)意識、數(shù)據(jù)思維和數(shù)據(jù)能力。本課件是可編輯的正常PPT課件課程內(nèi)容序號章節(jié)學(xué)時1概述42數(shù)據(jù)6(MySQL上機(jī))3數(shù)據(jù)采集與預(yù)處理4(Excel,Python上機(jī))4數(shù)據(jù)存儲與計算4(大數(shù)據(jù)環(huán)境安裝配置*)5數(shù)據(jù)分析與應(yīng)用6(Python上機(jī))6數(shù)據(jù)可視化2(Excel,Python上機(jī))7數(shù)據(jù)安全與保護(hù)48復(fù)習(xí)考試2…本課件是可編輯的正常PPT課件考試滿分100分：平時50%，期末考試50%平時成績包括課堂參與（如回答問題、隨堂練習(xí)）、點(diǎn)名等10分，上機(jī)實(shí)驗(yàn)10分，階段測試2次共20分，綜合探究10分（作業(yè)、專題論文、視頻、翻譯、講解等）考試題型：選擇60分（單選40分、多選20分，每題2分）、判斷20分（每題1分）、問答論述20分（每題5分，包括1英文：技術(shù)或相關(guān)新聞）本課件是可編輯的正常PPT課件學(xué)習(xí)方法思考

+閱讀+實(shí)驗(yàn)+實(shí)踐Manthinks,Godlaughs.AJewishproverb,MilanKunderamadeitbefashionableworldwide.Descartes:IThinkThereforeIAm…本課件是可編輯的正常PPT課件上課要求不遲到、不早退認(rèn)真聽講手機(jī)靜音……學(xué)生手冊中其他相關(guān)內(nèi)容本課件是可編輯的正常PPT課件希望平等尊重雙贏本課件是可編輯的正常PPT課件ThanksAnyquestionaboutthecourse?本課件是可編輯的正常PPT課件大數(shù)據(jù)基礎(chǔ)1-概述本章內(nèi)容大數(shù)據(jù)概念大數(shù)據(jù)的發(fā)展大數(shù)據(jù)核心技術(shù)大數(shù)據(jù)思維大數(shù)據(jù)處理流程大數(shù)據(jù)應(yīng)用案例數(shù)據(jù)安全與保護(hù)相關(guān)技術(shù)：云計算、物聯(lián)網(wǎng)、AI本課件是可編輯的正常PPT課件Bigdataisatermusedtorefertodatasetsthataretoolargeorcomplexfortraditionaldata-processingapplicationsoftwaretoadequatelydealwith.Datawithmanycases(rows)offergreaterstatisticalpower,whiledatawithhighercomplexity(moreattributesorcolumns)mayleadtoahigherfalsediscoveryrate.本課件是可編輯的正常PPT課件Bigdatachallengesincludecapturingdata,datastorage,dataanalysis,search,sharing,transfer,visualization,querying,updating,informationprivacyanddatasource.Bigdatawasoriginallyassociatedwiththreekeyconcepts:volume,variety,andvelocity.Otherconceptslaterattributedwithbigdataareveracity(i.e.,howmuchnoiseisinthedata)andvalue.－fromWikipedia本課件是可編輯的正常PPT課件大數(shù)據(jù)概念Wikipedia給的定義：大數(shù)據(jù)，指的是所涉及的數(shù)據(jù)量規(guī)模巨大到無法通過人工在合理時間內(nèi)達(dá)到截取、管理、處理、并整理成為人類所能解讀的信息。大數(shù)據(jù)是指無法在一定時間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合。本課件是可編輯的正常PPT課件大數(shù)據(jù)特點(diǎn)大量化快速化多樣化價值密度低VOLUMEVALUEVELOCITYVARIETY4V…本課件是可編輯的正常PPT課件生活中的大數(shù)據(jù)BigDataEverywhere我們參與的大數(shù)據(jù)應(yīng)用？本課件是可編輯的正常PPT課件生活中的大數(shù)據(jù)新冠疫情——大數(shù)據(jù)地圖導(dǎo)航網(wǎng)購-猜你喜歡/購買這件商品的用戶還買了個人隱私大數(shù)據(jù)殺熟…本課件是可編輯的正常PPT課件大數(shù)據(jù)由來“大數(shù)據(jù)”，在1980年[美]著名未來學(xué)家阿爾文·托夫勒AlvinToffle著的《第三次浪潮》TheThirdWave中將“大數(shù)據(jù)”稱為“第三次浪潮的華彩樂章”。…本課件是可編輯的正常PPT課件大數(shù)據(jù)由來2012年[英]維克托路·邁爾-舍恩伯格ViktorMayer-Sch?nberger及[英]肯尼斯·路庫克耶kennethCukier的《大數(shù)據(jù)時代：生活、工作與思維的大變革》BigData:ARevolutionThatWillTransformHowWeLive,Work,andThink

出版。…本課件是可編輯的正常PPT課件大數(shù)據(jù)發(fā)展2012年7月，涂子沛《大數(shù)據(jù)：正在到來的數(shù)據(jù)革命，以及它如何改變政府、商業(yè)與我們的生活》，廣西師范大學(xué)出版社，中國大數(shù)據(jù)領(lǐng)域第一本專著。2014年5月，涂子沛《數(shù)據(jù)之巔：大數(shù)據(jù)革命，歷史、現(xiàn)實(shí)與未來》，中信出版社?！菊n件是可編輯的正常PPT課件涂子沛華中科技大學(xué)計算機(jī)系卡內(nèi)基梅隆大學(xué)碩士2014年12月任阿里巴巴副總裁12/01/2012一席《數(shù)據(jù)開放與公民精神》https://yixi.tv/#/speech/detail?id=95…本課件是可編輯的正常PPT課件大數(shù)據(jù)發(fā)展2012年美國頒布了《大數(shù)據(jù)的研究和發(fā)展計劃》；英國發(fā)布了《英國數(shù)據(jù)能力發(fā)展戰(zhàn)略規(guī)劃》；日本發(fā)布了《創(chuàng)建最尖端IT國家宣言》；韓國提出了“大數(shù)據(jù)中心戰(zhàn)略”2013年稱為中國的“大數(shù)據(jù)元年”，2015年8月國務(wù)院通過了《關(guān)于促進(jìn)大數(shù)據(jù)發(fā)展的行動綱要》，2016年12月18日《大數(shù)據(jù)產(chǎn)業(yè)發(fā)展規(guī)劃（2016－2020年）》本課件是可編輯的正常PPT課件大數(shù)據(jù)技術(shù)發(fā)展人們通常認(rèn)為，大數(shù)據(jù)起源于Google的“三駕馬車”：谷歌文件系統(tǒng)GFS、MapReduce和BigTable，這三篇論文分別發(fā)表于2003年、2004年和2007年。2007年Amazon也發(fā)表了一篇關(guān)于Dynamo系統(tǒng)的論文。這幾篇論文奠定了大數(shù)據(jù)時代的基礎(chǔ)。?本課件是可編輯的正常PPT課件大數(shù)據(jù)技術(shù)發(fā)展2006年1月，“大數(shù)據(jù)之父”道格·卡丁DougCutting把對GFS、MapReduce的實(shí)現(xiàn)，從爬蟲項目Nutch里獨(dú)立出來形成的Hadoop。Hadoop的主要貢獻(xiàn)者有Yahoo、Facebook、LinkedIn、Twitter等公司。?本課件是可編輯的正常PPT課件Hadoop核心Hadoop框架最核心的設(shè)計：HDFS

和MapReduce。HDFS為海量的數(shù)據(jù)提供存儲，MapReduce則為海量的數(shù)據(jù)提供計算。本課件是可編輯的正常PPT課件大數(shù)據(jù)核心技術(shù)Hadoop–isacollectionofopen-sourcesoftwareutilitiesthatfacilitateusinganetworkofmanycomputerstosolveproblemsinvolvingmassiveamountsofdataandcomputation.ItprovidesasoftwareframeworkfordistributedstorageandprocessingofbigdatausingtheMapReduceprogrammingmodel.本課件是可編輯的正常PPT課件大數(shù)據(jù)核心技術(shù)HDFS–The

Hadoop

Distributed

FileSystem,isadistributed,scalable,andportable

filesystem

writteninJavafortheHadoopframework.MapReduce–isaprogrammingmodelandanassociatedimplementationforprocessingandgeneratingbigdatasetswithaparallel,distributedalgorithmonacluster.本課件是可編輯的正常PPT課件引言：機(jī)械思維牛頓定律世界是確定的，所有的問題都有通用的解決方法，所有的規(guī)律都能用幾個定理講清楚。事物之間有固定的明確的因果關(guān)系，這種因果關(guān)系不僅可以解釋所有事物發(fā)展的變化，還可以應(yīng)用在各種未知的領(lǐng)域（可預(yù)測）?！菊n件是可編輯的正常PPT課件…薛定諤的貓本課件是可編輯的正常PPT課件大數(shù)據(jù)思維全樣而非抽樣效率而非精確相關(guān)而非因果本課件是可編輯的正常PPT課件科學(xué)研究的范式實(shí)驗(yàn)、理論、計算和數(shù)據(jù)實(shí)驗(yàn)理論計算數(shù)據(jù)…本課件是可編輯的正常PPT課件大數(shù)據(jù)處理流程簡單分為3個步驟：數(shù)據(jù)采集與預(yù)處理、數(shù)據(jù)存儲與計算、數(shù)據(jù)分析與應(yīng)用。采集：大數(shù)據(jù)的采集是指利用多個數(shù)據(jù)庫來接收發(fā)自客戶端（Web、App或者傳感器等形式）的數(shù)據(jù)，并且用戶可以通過這些數(shù)據(jù)庫來進(jìn)行簡單的查詢和處理工作?！菊n件是可編輯的正常PPT課件大數(shù)據(jù)處理流程預(yù)處理：采集好數(shù)據(jù)，有的是重復(fù)或是無用的數(shù)據(jù)，此時需要通過對數(shù)據(jù)進(jìn)行處理，將這些數(shù)據(jù)導(dǎo)入到數(shù)據(jù)庫，并進(jìn)行簡單的清洗和預(yù)處理工作?！菊n件是可編輯的正常PPT課件大數(shù)據(jù)處理流程分布式存儲與分布式計算數(shù)據(jù)分析：數(shù)據(jù)統(tǒng)計、數(shù)據(jù)挖掘應(yīng)用：可視化、預(yù)測、輔助決策…本課件是可編輯的正常PPT課件本課件是可編輯的正常PPT課件大數(shù)據(jù)應(yīng)用案例-1SteveJobs喬布斯于2004年被確診為胰腺癌后，花了約10萬美元進(jìn)行了基因檢測?！菊n件是可編輯的正常PPT課件大數(shù)據(jù)應(yīng)用案例-2Netflix根據(jù)用戶的觀看信息，修改劇本，成為大數(shù)據(jù)的經(jīng)典應(yīng)用案例?！菊n件是可編輯的正常PPT課件大數(shù)據(jù)應(yīng)用案例-3BarackHusseinObama奧巴馬的總統(tǒng)競選通過使用社交網(wǎng)絡(luò)的各種數(shù)據(jù)功能完成了競選，以至于有人戲稱之為Facebook之選?！菊n件是可編輯的正常PPT課件大數(shù)據(jù)應(yīng)用案例-4數(shù)據(jù)新聞讓英國撤軍…本課件是可編輯的正常PPT課件大數(shù)據(jù)如此厲害pizza店訂餐TheOtherSideofBigData？…本課件是可編輯的正常PPT課件數(shù)據(jù)泄露2017年11月22日，據(jù)外媒報道稱，美國五角大樓意外暴露了美國國防部的分類數(shù)據(jù)庫，其中包含美國當(dāng)局在全球社交媒體平臺中收集到的18億用戶的個人信息。此次泄露的數(shù)據(jù)為架在亞馬遜S3云存儲上的數(shù)據(jù)庫，由于配置錯誤導(dǎo)致三臺S3服務(wù)器“可公開下載”。?本課件是可編輯的正常PPT課件數(shù)據(jù)泄露2018年6月19日，一位ID為“f666666”的用戶在暗網(wǎng)上開始兜售圓通10億條快遞信息，數(shù)據(jù)已經(jīng)經(jīng)過去重處理，數(shù)據(jù)重復(fù)率低于20%，并以1比特幣打包出售。并且該用戶還支持用戶對數(shù)據(jù)真實(shí)性進(jìn)行驗(yàn)貨，但驗(yàn)貨費(fèi)用為0.01比特幣（約合431.98元），驗(yàn)貨數(shù)據(jù)量為100萬條。?本課件是可編輯的正常PPT課件數(shù)據(jù)泄漏原因人為因素系統(tǒng)漏洞黑客攻擊…本課件是可編輯的正常PPT課件數(shù)據(jù)安全與個人隱私我們在享受著推薦算法、語音識別、圖像識別、導(dǎo)航等智能的技術(shù)帶來的便利，在數(shù)據(jù)公開的過程中，算法需要收集、使用用戶數(shù)據(jù)，在這過程中數(shù)據(jù)就不可避免的暴露在外。本課件是可編輯的正常PPT課件數(shù)據(jù)安全與個人隱私第一種是公司為了學(xué)術(shù)研究和數(shù)據(jù)交流開放用戶數(shù)據(jù)，學(xué)術(shù)機(jī)構(gòu)或者個人可以向數(shù)據(jù)庫發(fā)起查詢請求，公司返回對應(yīng)的數(shù)據(jù)時需要保證用戶的隱私。第二種情況是公司作為服務(wù)提供商，為了提高服務(wù)質(zhì)量，主動收集用戶的數(shù)據(jù)，這些在客戶端上收集的數(shù)據(jù)也需要保證隱私性。本課件是可編輯的正常PPT課件如何保護(hù)？歐盟的GDPR，不僅擴(kuò)大了個人數(shù)據(jù)（Personaldata）的含義，并引入假名數(shù)據(jù)（Pseudonimiseddata）的概念，并就數(shù)據(jù)許可（Consent）、默認(rèn)隱私保護(hù)（PrivacybyDesign,PrivacybyDefault）、徹底遺忘權(quán)（Righttobeforgotten）等權(quán)利內(nèi)容作出了明確規(guī)范，同時為此規(guī)定了嚴(yán)厲的違規(guī)處罰，罰款范圍是1000萬到2000萬歐元，或企業(yè)全球年營業(yè)額的2%到4%.本課件是可編輯的正常PPT課件如何保護(hù)？《中華人民共和國網(wǎng)絡(luò)安全法》自2017年6月1日起施行，2018年3月17日國務(wù)院印發(fā)《科學(xué)數(shù)據(jù)管理辦法》，2018年5月1日，《信息安全技術(shù)個人信息安全規(guī)范》也正式實(shí)施?！吨腥A人民共和國個人信息保護(hù)法》2021年11月1日起施行?！菊n件是可編輯的正常PPT課件如何保護(hù)？物理：災(zāi)害和意外、電磁干擾等人員：管理技術(shù)：系統(tǒng)補(bǔ)丁、防火墻、入侵檢測、身份認(rèn)證、訪問控制、數(shù)據(jù)脫敏、加密技術(shù)、安全多方計算、差分隱私、聯(lián)邦學(xué)習(xí)、可信執(zhí)行環(huán)境、網(wǎng)絡(luò)安全態(tài)勢感知、可搜索加密和抗量子密碼算法等。?本課件是可編輯的正常PPT課件我們能做的保護(hù)好自己的身份證號碼、各類銀行卡號、支付及取現(xiàn)密碼、手機(jī)號碼、家庭住址等等，不要輕易地將這些信息透露給別人；即使需要復(fù)印一些有關(guān)個人資料的復(fù)印件，記得在上面寫上“本復(fù)印件僅用于做xxx，如有他用一律非法無效”等類似的字樣。本課件是可編輯的正常PPT課件我們能做的及時清理各種紙質(zhì)的銀行賬單、信用卡報表、基金報表、快遞單等含有個人信息的文件，對文件上出現(xiàn)的個人信息進(jìn)行清除。對自己的電腦和手機(jī)等電子產(chǎn)品，安裝防火墻或殺毒軟件等能提高安全性的軟件，有效防止入侵者的攻擊，當(dāng)然對這些軟件進(jìn)行更新。本課件是可編輯的正常PPT課件我們能做的電腦及手機(jī)上各種軟件的登錄或支付密碼使用復(fù)雜的組合，提高安全性，最好開通短信認(rèn)證及短信通知；不用電腦時，一定要關(guān)機(jī)。定期對電腦和手機(jī)上的信息進(jìn)行清理；從安全渠道進(jìn)行軟件的下載?！菊n件是可編輯的正常PPT課件相關(guān)技術(shù)云計算物聯(lián)網(wǎng)人工智能?本課件是可編輯的正常PPT課件云計算云計算概念：通過網(wǎng)絡(luò)、以服務(wù)的方式，為用戶提供非常廉價的IT資源（存儲、網(wǎng)絡(luò)資源、計算能力）云計算特點(diǎn)：超大規(guī)模計算、虛擬化、高可靠性和安全性、通用性、動態(tài)擴(kuò)展性、按需服務(wù)、降低成本…本課件是可編輯的正常PPT課件水資源獲取方式打井取水（1）初期成本高，周期長（2）后期需要自己維護(hù)（3）供水量有限自來水（1）初期零成本，瞬時可獲得（2）后期免維護(hù)，使用成本低（3）在供水量方面“予取予求”本課件是可編輯的正常PPT課件IT資源獲取傳統(tǒng)方式：自建機(jī)房（1）初期成本高，周期長（2）后期需要自己維護(hù)，使用成本高（3）IT資源供應(yīng)量有限云計算（1）初期零成本，瞬時可獲得（2）后期免維護(hù)，使用成本低（3）在供應(yīng)IT資源量方面“予取予求”本課件是可編輯的正常PPT課件云計算服務(wù)模式和類型…本課件是可編輯的正常PPT課件云計算關(guān)鍵技術(shù)分布式存儲分布式處理虛擬化多租戶本課件是可編輯的正常PPT課件虛擬化大數(shù)據(jù)實(shí)驗(yàn)環(huán)境VPN本課件是可編輯的正常PPT課件虛擬化被虛擬化的對象，是各種計算資源，如CPU，磁盤，內(nèi)存，網(wǎng)絡(luò)等物理資源被虛擬化成邏輯資源后，對用戶隱藏了不必要的細(xì)節(jié)用戶在虛擬環(huán)境中可實(shí)現(xiàn)物理環(huán)境中的部分或全部功能本課件是可編輯的正常PPT課件多租戶云計算不是為單個用戶服務(wù)云計算同時為多個用戶提供服務(wù)百度云/云計算主要有私有云、社區(qū)云、公有云和混合云4種部署模式本課件是可編輯的正常PPT課件互聯(lián)網(wǎng)Internet始于1969

年的美國ARPAnet，用于軍事。1986

年將美國西南部的加利福尼亞大學(xué)洛杉磯分校、斯坦福大學(xué)研究學(xué)院、加利福尼亞大學(xué)圣巴巴拉分校和猶他大學(xué)的四臺主要的計算機(jī)連接起來。…本課件是可編輯的正常PPT課件互聯(lián)網(wǎng)1990

年11月28日錢天白教授代表中國在國際互聯(lián)網(wǎng)絡(luò)信息中心正式注冊登記了頂級域名CN，從此中國的網(wǎng)絡(luò)有了自己的身份標(biāo)識。中國互聯(lián)網(wǎng)之父1994

年4月20日，中國正式接入因特網(wǎng)——是一根64K的國際專線，成為國際上第77

個正式真正擁有全功能Internet的國家。一個月后，中國國家頂級域名“CN”的根服務(wù)器也“搬”回中國，結(jié)束了頂級域名服務(wù)器由國外代管的歷史。這一代表中國互聯(lián)網(wǎng)身份標(biāo)識的服務(wù)器一直放在德國的卡爾斯魯厄大學(xué)。…本課件是可編輯的正常PPT課件物聯(lián)網(wǎng)InternetofThings物聯(lián)網(wǎng)是物物相連的互聯(lián)網(wǎng)，是互聯(lián)網(wǎng)的延伸，它利用局部網(wǎng)絡(luò)或互聯(lián)網(wǎng)等通信技術(shù)把傳感器、控制器、機(jī)器、人員和物等通過新的方式聯(lián)在一起，形成人與物、物與物相聯(lián)，實(shí)現(xiàn)信息化和遠(yuǎn)程管理控制。…本課件是可編輯的正常PPT課件物聯(lián)網(wǎng)發(fā)展1991年英國劍橋大學(xué)“特洛伊”咖啡壺1995年，比爾蓋茨《未來之路》1998年春英國工程師凱文·艾什頓（KevinAshton）在寶潔公司的一次演講中首次提出…本課件是可編輯的正常PPT課件物聯(lián)網(wǎng)通過感知設(shè)備，按照既定協(xié)議，連接物、人、系統(tǒng)和信息資源，實(shí)現(xiàn)對物理和虛擬世界的信息進(jìn)行處理并做出反應(yīng)的智能服務(wù)系統(tǒng)。主要技術(shù)包括識別技術(shù)，傳感技術(shù)，網(wǎng)絡(luò)與通信技術(shù)和數(shù)據(jù)挖掘與融合等。本課件是可編輯的正常PPT課件物聯(lián)網(wǎng)關(guān)鍵技術(shù)識別和感知技術(shù)（二維碼、RFID、傳感器等）矩陣式二維碼采用RFID芯片的公交卡本課件是可編輯的正常PPT課件物聯(lián)網(wǎng)關(guān)鍵技術(shù)近距離無線通信如人們熟悉的WiFi、藍(lán)牙(Bluetooth)、NFC(nearfieldcommunication)和ZigBee等遠(yuǎn)距離無線通信有LoRa(longrangeradio)、NB-IoT(narrowbandinternetofthings)等本課件是可編輯的正常PPT課件物聯(lián)網(wǎng)應(yīng)用智能交通、智慧醫(yī)療、智能家居、環(huán)保監(jiān)測、智能安防、智能物流、智能電網(wǎng)、智慧農(nóng)業(yè)、智能工業(yè)等領(lǐng)域，對國民經(jīng)濟(jì)與社會發(fā)展起到了重要的推動作用?！菊n件是可編輯的正常PPT課件大數(shù)據(jù)與云計算、物聯(lián)網(wǎng)大數(shù)據(jù)：側(cè)重對海量數(shù)據(jù)的存儲、處理和分析，從數(shù)據(jù)中發(fā)現(xiàn)價值并服務(wù)于生活和生產(chǎn)云計算：本質(zhì)上是整合和優(yōu)化IT資源，通過網(wǎng)絡(luò)以服務(wù)的方式提供給用戶物聯(lián)網(wǎng)：目標(biāo)是實(shí)現(xiàn)物物相連本課件是可編輯的正常PPT課件大數(shù)據(jù)與云計算、物聯(lián)網(wǎng)的關(guān)系本課件是可編輯的正常PPT課件人工智能人工智能（ArtificialIntelligence）是研究人類智能活動的規(guī)律并用人工方法在機(jī)器、計算機(jī)、軟件、網(wǎng)絡(luò)等一系列非生物載體中模擬、實(shí)現(xiàn)、替代和擴(kuò)展人類智慧的一門技術(shù)科學(xué)。…?本課件是可編輯的正常PPT課件圖靈測試1950年，圖靈的論文《計算機(jī)械與人工智能》（ComputingMachineryandIntelligence）發(fā)表在哲學(xué)期刊《Mind》上，文章中首次提到了影響至今的“圖靈測試”一個人與一臺計算機(jī)分別在兩個密封的房間里，房間里的人與機(jī)器要通過鍵盤文字努力向外界的詢問者證明自己才是真正的“人”。如果機(jī)器成功地讓外界的詢問者相信自己是人，那么就相當(dāng)于他騙過了人類，也就稱它擁有了智能?！菊n件是可編輯的正常PPT課件圖靈“計算機(jī)科學(xué)之父”和“人工智能之父”二戰(zhàn)期間解密Enigma，挽救2000萬人ACMA.MTuringAward，是由計算機(jī)協(xié)會（ACM）于1966年設(shè)立的計算機(jī)獎項，被譽(yù)為“計算機(jī)界的諾貝爾獎”。1954年6月7日，圖靈吃下含有氰化物的蘋果中毒身亡，41歲?！菊n件是可編輯的正常PPT課件人工智能分類分類：弱人工智能、強(qiáng)人工智能和超人工智能弱人工智能，ArtificialNarrowIntelligence，簡稱為ANI，弱人工智能是擅長于單個方面的人工智能。比如戰(zhàn)勝圍棋世界冠軍的阿爾法狗，但是它只會下圍棋?！菊n件是可編輯的正常PPT課件強(qiáng)人工智能強(qiáng)人工智能，ArtificialGeneralIntelligence，簡稱AGI，這是一種類似于人類級別的人工智能。強(qiáng)人工智能是指在各方面都能和人類比肩的人工智能，人類能干的腦力活它都能干。創(chuàng)造強(qiáng)人工智能比創(chuàng)造弱人工智能難得多，我們現(xiàn)在還做不到?！菊n件是可編輯的正常PPT課件超人工智能超人工智能，ArtificialSuperintelligence，簡稱ASI，科學(xué)家把超人工智能定義為在幾乎所有領(lǐng)域都比最聰明的人類大腦都聰明很多，包括科學(xué)創(chuàng)新、通識和社交技能。超人工智能可以是各方面都比人類強(qiáng)一點(diǎn)，也可以是各方面都比人類強(qiáng)萬億倍的。…本課件是可編輯的正常PPT課件人工智能技術(shù)三大核心要素：數(shù)據(jù)、算法、算力通用技術(shù)：機(jī)器學(xué)習(xí)、知識圖譜、類腦智能、量子智能、模式識別領(lǐng)域技術(shù)：自然語言處理、智能語音、計算機(jī)視覺、生物特征識別、虛擬現(xiàn)實(shí)/增強(qiáng)現(xiàn)實(shí)、人機(jī)交互等本課件是可編輯的正常PPT課件人工智能關(guān)鍵技術(shù)機(jī)器學(xué)習(xí)知識圖譜自然語言處理計算機(jī)視覺生物特征識別AR/VR人機(jī)交互本課件是可編輯的正常PPT課件機(jī)器學(xué)習(xí)研究計算機(jī)怎樣模擬或者實(shí)現(xiàn)人類的學(xué)習(xí)行為以獲取新的知識和技能，重新組織已有知識結(jié)構(gòu)，不斷改善自身性能基于數(shù)據(jù)的機(jī)器學(xué)習(xí)從觀測數(shù)據(jù)出發(fā)尋找規(guī)律，并且利用這些規(guī)律預(yù)測數(shù)據(jù)…本課件是可編輯的正常PPT課件本課件是可編輯的正常PPT課件知識圖譜百度百科視頻：知識圖譜——找關(guān)系建圖譜知識圖譜（KnowledgeGraph）又稱為科學(xué)知識圖譜，在圖書情報界稱為知識域可視化或知識領(lǐng)域映射地圖，是顯示知識發(fā)展進(jìn)程與結(jié)構(gòu)關(guān)系的一系列各種不同的圖形，用可視化技術(shù)描述知識資源及其載體，挖掘、分析、構(gòu)建、繪制和顯示知識及它們之間的相互聯(lián)系。本課件是可編輯的正常PPT課件知識圖譜本課件是可編輯的正常PPT課件自然語言處理自然語言處理是計算機(jī)科學(xué)領(lǐng)域與人工智能領(lǐng)域中的一個重要方向。它研究能實(shí)現(xiàn)人與計算機(jī)之間用自然語言進(jìn)行有效通信的各種理論和方法。自然語言處理的應(yīng)用包羅萬象，例如：機(jī)器翻譯、手寫體和印刷體字符識別、語音識別、信息檢索、信息抽取與過濾、文本分類與聚類、輿情分析和觀點(diǎn)挖掘等?！菊n件是可編輯的正常PPT課件計算機(jī)視覺計算機(jī)視覺是一門研究如何使機(jī)器“看”的科學(xué)，更進(jìn)一步地說，是指用攝影機(jī)和電腦代替人眼對目標(biāo)進(jìn)行識別、跟蹤和測量的機(jī)器視覺，并進(jìn)一步做圖形處理，成為更適合人眼觀察或傳送給儀器檢測的圖像。人臉識別…本課件是可編輯的正常PPT課件計算機(jī)視覺…本課件是可編輯的正常PPT課件生物特征識別生物特征識別技術(shù)涉及的內(nèi)容十分廣泛，包括指紋、掌紋、人臉、虹膜、指靜脈、聲紋、步態(tài)等多種生物特征，其識別過程涉及到圖像處理、計算機(jī)視覺、語音識別、機(jī)器學(xué)習(xí)等多項技術(shù)。生理特征和行為特征本課件是可編輯的正常PPT課件VR/AR虛擬現(xiàn)實(shí)（VR）/增強(qiáng)現(xiàn)實(shí)（AR）是以計算機(jī)為核心的新型視聽技術(shù)。結(jié)合相關(guān)科學(xué)技術(shù)，在一定范圍內(nèi)生成與真實(shí)環(huán)境在視覺、聽覺、觸感等方面高度近似的數(shù)字化環(huán)境?！菊n件是可編輯的正常PPT課件VR/AR利用TiltBrush在虛擬三維空間里繪畫采用虛擬現(xiàn)實(shí)技術(shù)的虛擬弓箭…本課件是可編輯的正常PPT課件人機(jī)交互人機(jī)交互是一門研究系統(tǒng)與用戶之間的交互關(guān)系的學(xué)科。系統(tǒng)可以是各種各樣的機(jī)器，也可以是計算機(jī)化的系統(tǒng)和軟件。人機(jī)交互方式主要包括觸控交互、聲控交互、動作交互、眼動交互、虛擬現(xiàn)實(shí)輸入、多模態(tài)交互。本課件是可編輯的正常PPT課件人機(jī)交互日本：通過意念控制家用電器，頭部佩戴裝置，讀取腦部信號變化，判斷準(zhǔn)確率70%-80%…本課件是可編輯的正常PPT課件大數(shù)據(jù)與人工智能的關(guān)系人工智能與大數(shù)據(jù)的聯(lián)系人工智能需要數(shù)據(jù)來建立其智能，特別是機(jī)器學(xué)習(xí)大數(shù)據(jù)技術(shù)為人工智能提供了強(qiáng)大的存儲能力和計算能力本課件是可編輯的正常PPT課件大數(shù)據(jù)與人工智能的關(guān)系人工智能與大數(shù)據(jù)的區(qū)別人工智能與大數(shù)據(jù)也存在著明顯的區(qū)別，人工智能是一種計算形式，允許機(jī)器執(zhí)行認(rèn)知功能；而大數(shù)據(jù)是一種傳統(tǒng)計算，它不會根據(jù)結(jié)果采取行動，只是尋找結(jié)果二者要達(dá)成的目標(biāo)和實(shí)現(xiàn)目標(biāo)的手段不同，人工智能是輔助代替人類完成任務(wù)做出決定；大數(shù)據(jù)是通過對比分析推出更優(yōu)方案…本課件是可編輯的正常PPT課件總結(jié)了解大數(shù)據(jù)技術(shù)、案例、個人隱私與數(shù)據(jù)安全等基本概念云計算、物聯(lián)網(wǎng)、人工智能作業(yè)：自學(xué)教材“模式識別、生物特征識別”。本課件是可編輯的正常PPT課件ThanksAnyquestionaboutthecourse?…本課件是可編輯的正常PPT課件大數(shù)據(jù)基礎(chǔ)2-數(shù)據(jù)本章內(nèi)容數(shù)據(jù)定義數(shù)據(jù)存儲數(shù)據(jù)庫MySQL編程本課件是可編輯的正常PPT課件什么是數(shù)據(jù)？3.1415926Mary小明圖像音頻視頻在計算機(jī)中如何存儲？二進(jìn)制形式…本課件是可編輯的正常PPT課件數(shù)據(jù)概念數(shù)據(jù)的類型有數(shù)值、文本、語音、圖形、圖像、視頻、動畫等。數(shù)據(jù)可以簡單理解為在計算機(jī)中存儲、運(yùn)算、交換和管理的所有的0和1。本課件是可編輯的正常PPT課件如何存儲0和1數(shù)據(jù)在內(nèi)存中以二進(jìn)制方式存儲，事實(shí)上是通過對小電容器的充放電來完成的。電容器，是一種能容納電荷的容器。與普通的電池不同的是，它的充電速度很快，并且因?yàn)椴粫D(zhuǎn)化為化學(xué)能所以電量流失的也很快。本課件是可編輯的正常PPT課件Whybinary(notdecimal)使用二進(jìn)制是由計算機(jī)的實(shí)現(xiàn)原理決定的，數(shù)據(jù)在計算機(jī)中以器件的物理狀態(tài)表示，高電平是用1表示，低電平用0表示。閾值本課件是可編輯的正常PPT課件二進(jìn)制的優(yōu)點(diǎn)(1)技術(shù)實(shí)現(xiàn)簡單，計算機(jī)是由邏輯電路組成，邏輯電路通常只有兩個狀態(tài)，開關(guān)的接通與斷開，這兩種狀態(tài)正好可以用“1”和“0”表示。(2)簡化運(yùn)算規(guī)則：兩個二進(jìn)制數(shù)和、積運(yùn)算組合各有三種，運(yùn)算規(guī)則簡單，有利于簡化計算機(jī)內(nèi)部結(jié)構(gòu)，提高運(yùn)算速度。0+0=0 0+1=1 1+0=1 1+1=100*0=0 0*1=0 1*0=0 1*1=1本課件是可編輯的正常PPT課件二進(jìn)制的優(yōu)點(diǎn)(3)適合邏輯運(yùn)算：邏輯代數(shù)是邏輯運(yùn)算的理論依據(jù)，二進(jìn)制只有兩個數(shù)碼，正好與邏輯代數(shù)中的“真”和“假”相吻合。(4)易于轉(zhuǎn)換，二進(jìn)制與十進(jìn)制數(shù)易于互相轉(zhuǎn)換。(5)用二進(jìn)制表示數(shù)據(jù)具有抗干擾能力強(qiáng)，可靠性高等優(yōu)點(diǎn)。因?yàn)槊课粩?shù)據(jù)只有高低兩個狀態(tài)，當(dāng)受到一定程度的干擾時，仍能可靠地分辨出它是高還是低。本課件是可編輯的正常PPT課件數(shù)制數(shù)制（NumberSystem）也被稱為“計數(shù)體制”，是指多位數(shù)中每一位的構(gòu)成方法以及實(shí)現(xiàn)從低位到高位的進(jìn)位規(guī)則，也叫進(jìn)制。十進(jìn)制、二進(jìn)制、八進(jìn)制、十六進(jìn)制為什么要有八進(jìn)制和十六進(jìn)制？本課件是可編輯的正常PPT課件十進(jìn)制十進(jìn)制（DecimalSystem），0－9共10個數(shù)碼符號381.32=3×102+8×101+1×100+3×10-1+2×10-20,1,2,3,4,5,6,7,8,910,11……99100,101……999,1000……本課件是可編輯的正常PPT課件數(shù)制多項式表示，權(quán)系數(shù)表示法R基數(shù)，R進(jìn)制Ai，數(shù)符（碼），i位數(shù)Ri，權(quán)系數(shù)，權(quán)重-m－-1，小數(shù)部分0－n-1，整數(shù)部分R進(jìn)制：逢R進(jìn)1本課件是可編輯的正常PPT課件二進(jìn)制二進(jìn)制（BinarySystem），有0、1兩個數(shù)碼符號二進(jìn)制的位（bit，比特），逢2進(jìn)110101101.11012=1×27+0×26+1×25+0×24+1×23+1×22+0×21+1×20+1×2-1+

1×2-2+0×2-3+1×2-4本課件是可編輯的正常PPT課件八進(jìn)制八進(jìn)制（OctalSystem），0－7共8個數(shù)碼37.218=3×81+7×80+2×8-1+1×8-2本課件是可編輯的正常PPT課件十六進(jìn)制十六進(jìn)制(HexadecimalSystem)，0－9，A、B、C、D、E、F，共16個數(shù)碼2D.1A16=2×161+13×160+1×16-1+10×16-2本課件是可編輯的正常PPT課件十進(jìn)制二進(jìn)制八進(jìn)制十六進(jìn)制000011112102231133410044510155611066711177810001089100111910101012A11101113B12110014C13110115D14111016E15111117F16100002010本課件是可編輯的正常PPT課件數(shù)值數(shù)據(jù)存儲轉(zhuǎn)換為二進(jìn)制3710=10010120.7510=0.112本課件是可編輯的正常PPT課件進(jìn)制轉(zhuǎn)換10→2十進(jìn)制整數(shù)轉(zhuǎn)換成二進(jìn)制整數(shù)：除2取余，直到商為零止，倒排例：將十進(jìn)制數(shù)253轉(zhuǎn)換成對應(yīng)二進(jìn)制數(shù)本課件是可編輯的正常PPT課件十進(jìn)制數(shù)(D)余數(shù)253└21261└

2630└

2311└

2151└

271└

231└

211└201轉(zhuǎn)換結(jié)果的最高位轉(zhuǎn)換結(jié)果的最低位轉(zhuǎn)換結(jié)果為：(253)10=(11111101)2本課件是可編輯的正常PPT課件進(jìn)制轉(zhuǎn)換10→2十進(jìn)制小數(shù)轉(zhuǎn)換為二進(jìn)制小數(shù)：乘2取整，直到小數(shù)部分為零或給定的精度為止，順排例：將十進(jìn)制數(shù)0.45轉(zhuǎn)換成二進(jìn)制小數(shù)（取4位）本課件是可編輯的正常PPT課件十進(jìn)制數(shù)(D)乘2取整數(shù)部分0.45×2＝0.900.9×2＝1.810.8×2＝1.610.6×2＝1.21轉(zhuǎn)換結(jié)果的最高位轉(zhuǎn)換結(jié)果的最低位轉(zhuǎn)換結(jié)果為：(0.45)10=(0.0111)2

取4位的近似值(0.0111)2=(0.25+0.125+0.0625)10=(0.4375)10？本課件是可編輯的正常PPT課件練習(xí)將十進(jìn)制19，0.875轉(zhuǎn)化為二進(jìn)制19D=10011B0.875D=0.111B將十進(jìn)制19.875轉(zhuǎn)化為二進(jìn)制19.875D=10011.111B本課件是可編輯的正常PPT課件文本數(shù)據(jù)存儲ASCII碼漢字編碼Unicode本課件是可編輯的正常PPT課件ASCII碼AmericanStandardCodeforInformationInterchange，美國標(biāo)準(zhǔn)信息交換碼，7位二進(jìn)制編碼文本字符數(shù)據(jù)：英文字母、數(shù)字和常用符號?本課件是可編輯的正常PPT課件本課件是可編輯的正常PPT課件漢字編碼如何存儲中文？《說文解字》共收錄9353

個漢字《康熙字典》有47035

個漢字

《新華字典》第十一版2011年7月出版發(fā)行，共收錄

10998

個漢字本課件是可編輯的正常PPT課件漢字個數(shù)漢字的數(shù)量是91251

個，但是常用字只有3000

個左右，其他都是生僻字。朗讀者：漢字叔叔7’29/video/BV1yL411s7v4/本課件是可編輯的正常PPT課件漢字編碼中文系統(tǒng)擴(kuò)展了ASCII，國家強(qiáng)制標(biāo)準(zhǔn)GB2312-1980：簡化字6763個，總計7445個字符1993年的GBK：2.1萬多個漢字GB18030編碼：超大型中文編碼字符集，漢字和字符7萬余個可變4字節(jié)編碼：常用字符字節(jié)數(shù)少本課件是可編輯的正常PPT課件編碼類型等長編碼：ASCII碼，7位/8位不等長編碼：數(shù)據(jù)壓縮本課件是可編輯的正常PPT課件霍夫曼編碼*頻率相關(guān)編碼（Frequency-dependentencoding）出現(xiàn)次數(shù)高的碼較短，出現(xiàn)少的碼較長數(shù)據(jù)的總長度變小，占用存儲空間小，傳輸快本課件是可編輯的正常PPT課件霍夫曼編碼ABCED56119201232250101011001011011111110A:0B:10C:110D:1111E:1110本課件是可編輯的正常PPT課件霍夫曼解碼ABCED0000111110111001001011111110BBEABABDE本課件是可編輯的正常PPT課件對比等長碼的每個字符需要3位，所需總碼位為171，霍夫曼編碼需要的總碼位為120，與等長碼相比，壓縮比約為0.7171120本課件是可編輯的正常PPT課件亂碼？本課件是可編輯的正常PPT課件UnicodeUnicode統(tǒng)一碼、單一碼、萬國碼Unicode字符集將全球文字統(tǒng)一到一個表里面，包括中日韓文字、藏文、盲文、楔形文字、顏文字Apple公司發(fā)起，Unicode協(xié)會開發(fā)，表示幾乎世界上所有書寫語言的字符編碼標(biāo)準(zhǔn)本課件是可編輯的正常PPT課件Unicode實(shí)現(xiàn)多字節(jié)編碼：字節(jié)順序問題，例如字符A，單字節(jié)41（hex），雙字節(jié)Unicode0041或4100UTF（UnicodeTransformationFormat），解決不同系統(tǒng)的編碼順序問題本課件是可編輯的正常PPT課件圖像存儲-位圖Bitmap圖像是通過像素拼接而成的，分辨率指的就是圖像像素的數(shù)量每個像素點(diǎn)在計算機(jī)中存儲的信息是它的RGB數(shù)值，將這些RGB（紅、綠、藍(lán)，組成圖像的三原色，范圍是0－225）以二進(jìn)制方式存儲本課件是可編輯的正常PPT課件圖像存儲-矢量圖Vector矢量圖是根據(jù)幾何特性來繪制圖形。矢量文件中的圖形元素稱為對象。每個對象都是一個實(shí)體，它具有顏色、形狀、輪廓、大小和屏幕位置等屬性。它的特點(diǎn)是放大后圖像不會失真，和分辨率無關(guān)，適用于圖形設(shè)計、文字設(shè)計和一些標(biāo)志設(shè)計等。本課件是可編輯的正常PPT課件音頻文件由模擬聲音經(jīng)采樣、量化和編碼后得到的。音頻信號是連續(xù)的模擬電信號，音頻數(shù)據(jù)是離散的ADC（AnalogtoDigitalConverter，模擬數(shù)字轉(zhuǎn)換）完成將模擬的信號轉(zhuǎn)換為數(shù)據(jù)的功能本課件是可編輯的正常PPT課件ADC采樣Sample：以相同時間間隔測量模擬信號的幅值本課件是可編輯的正常PPT課件ADC量化Quantify：對采樣值四舍五入取整本課件是可編輯的正常PPT課件ADC編碼：將量化值用二進(jìn)制表示本課件是可編輯的正常PPT課件視頻文件視覺暫留現(xiàn)象(persistenceofvision)

幀就是指“畫面”，1幅畫就叫做“1幀”，幀數(shù)就是在1秒鐘時間里傳輸?shù)膱D片的量，也可以理解為圖形處理器每秒鐘能夠刷新幾次，通常用fps(FramesPerSecond)表示。每秒鐘幀數(shù)

(fps)愈多，所顯示的動作就會愈流暢?！菊n件是可編輯的正常PPT課件視頻文件幀數(shù)并不是越高越好電影采用的是每秒24幀，中國的電視播放每秒25幀1080p4k高清本課件是可編輯的正常PPT課件文件類型.TXT,.DOC.JPG,.BMP.MP3,.WAV.MP4,.AVI,.RM本課件是可編輯的正常PPT課件文本文件舉例Whatisthefilesizeoftext?本課件是可編輯的正常PPT課件文本文件舉例/Whatisthefilesizeoftextthatis200characters?TXT文件大小與字?jǐn)?shù)的換算關(guān)系/p/25981002本課件是可編輯的正常PPT課件數(shù)據(jù)管理數(shù)據(jù)管理指對數(shù)據(jù)的分類、組織、編碼、存儲、檢索和維護(hù)的技術(shù)。人工管理階段文件系統(tǒng)階段數(shù)據(jù)庫系統(tǒng)階段分布式數(shù)據(jù)庫系統(tǒng)階段數(shù)據(jù)管理技術(shù)的發(fā)展本課件是可編輯的正常PPT課件人工管理階段1.硬件背景：無大容量外存2.軟件背景：無操作系統(tǒng)3.應(yīng)用背景：科學(xué)計算4.數(shù)據(jù)管理特點(diǎn)數(shù)據(jù)與程序不具有獨(dú)立性，一組數(shù)據(jù)對應(yīng)一組程序數(shù)據(jù)不長期保存系統(tǒng)中沒有對數(shù)據(jù)進(jìn)行管理的軟件，由程序設(shè)計人員自負(fù)其責(zé)本課件是可編輯的正常PPT課件文件管理階段1.硬件背景：出現(xiàn)大容量外存2.軟件背景：出現(xiàn)操作系統(tǒng)3.應(yīng)用背景：科學(xué)計算，數(shù)據(jù)處理4.數(shù)據(jù)管理特點(diǎn)數(shù)據(jù)以文件形式存儲，可長期存儲在外存上程序和數(shù)據(jù)有一定的獨(dú)立性數(shù)據(jù)冗余、程序與數(shù)據(jù)還是相互依賴、缺少數(shù)據(jù)控制手段…本課件是可編輯的正常PPT課件數(shù)據(jù)庫系統(tǒng)階段1.硬件背景：大容量磁盤 2.軟件背景：有數(shù)據(jù)庫管理系統(tǒng)3.應(yīng)用背景：大規(guī)模管理4.數(shù)據(jù)庫管理的特點(diǎn)實(shí)現(xiàn)數(shù)據(jù)共享，減少數(shù)據(jù)冗余采用特定的數(shù)據(jù)模型具有較高的數(shù)據(jù)獨(dú)立性有統(tǒng)一的數(shù)據(jù)控制功能分布式數(shù)據(jù)庫系統(tǒng)階段…本課件是可編輯的正常PPT課件數(shù)據(jù)庫Database，實(shí)際上就是一個文件集合，是一個存儲數(shù)據(jù)的倉庫。本質(zhì)是一個文件系統(tǒng)，數(shù)據(jù)庫是按照特定的格式把數(shù)據(jù)存儲起來，用戶可以對存儲的數(shù)據(jù)進(jìn)行增刪查改等操作。本課件是可編輯的正常PPT課件數(shù)據(jù)庫簡介Adatabaseisanorganizedcollectionofdata,generallystoredandaccessedelectronicallyfromacomputersystem.Wheredatabasesaremorecomplextheyareoftendevelopedusingformaldesignandmodelingtechniques.－－FromWikipedia本課件是可編輯的正常PPT課件關(guān)系型數(shù)據(jù)庫最常用的數(shù)據(jù)庫模型主要是兩種：關(guān)系型數(shù)據(jù)庫和非關(guān)系型數(shù)據(jù)庫。關(guān)系型數(shù)據(jù)庫模型是把復(fù)雜的數(shù)據(jù)結(jié)構(gòu)歸結(jié)為簡單的二元關(guān)系（即二維表格形式）。本課件是可編輯的正常PPT課件RelationaldatabaseArelationaldatabaseisproposedbyE.F.Codd（英國計算機(jī)科學(xué)家）in1970Thismodelorganizesdataintooneormoretables(or"relations")ofcolumnsandrows,withauniquekeyidentifyingeachrow.Rowsarealsocalledrecordsortuples.Columnsarealsocalledattributes.本課件是可編輯的正常PPT課件關(guān)系型數(shù)據(jù)庫關(guān)系數(shù)據(jù)庫的表采用二維表格來存儲數(shù)據(jù)，是一種按行與列排列的具有相關(guān)信息的邏輯組，它類似于Excel工作表。一個數(shù)據(jù)庫可以包含任意多個數(shù)據(jù)表。在用戶看來，一個關(guān)系模型的邏輯結(jié)構(gòu)是一張二維表，由行和列組成。這個二維表就叫關(guān)系，一個關(guān)系對應(yīng)一張表。本課件是可編輯的正常PPT課件基本概念用二維表來表示實(shí)體本身及其相互之間的聯(lián)系，一個二維表table由行row與列column構(gòu)成。元組tuple：表中的一行（一條記錄record）屬性attribute：表中的一列（字段field、數(shù)據(jù)項item）本課件是可編輯的正常PPT課件元組屬性屬性元組本課件是可編輯的正常PPT課件基本概念創(chuàng)建數(shù)據(jù)表時，為每個屬性分配一個數(shù)據(jù)類型，定義它們的數(shù)據(jù)長度和其他屬性。屬性值，行和列的交叉位置表示某個屬性值。域指屬性的取值范圍。主鍵，也稱主碼或主關(guān)鍵字，是表中用于唯一確定一個元組的數(shù)據(jù)。關(guān)鍵字用來確保表中記錄的唯一性，可以是一個字段或多個字段，常用作一個表的索引字段。本課件是可編輯的正常PPT課件數(shù)據(jù)庫管理系統(tǒng)（DBMS）DataBaseManagementSystem：位于用戶和操作系統(tǒng)之間的數(shù)據(jù)管理軟件，負(fù)責(zé)對數(shù)據(jù)的存儲、檢索、修改以及安全保護(hù)等。目前流行的數(shù)據(jù)庫管理系統(tǒng)多為關(guān)系型數(shù)據(jù)庫系統(tǒng)，如Oracle、SQLServer、MySQL等。本課件是可編輯的正常PPT課件SQLSQL（結(jié)構(gòu)化查詢語言）是用于與關(guān)系數(shù)據(jù)庫通信的主要接口。SQL于1986年成為美國國家標(biāo)準(zhǔn)協(xié)會（ANSI）

的標(biāo)準(zhǔn)。流行的所有關(guān)系數(shù)據(jù)庫引擎都支持標(biāo)準(zhǔn)的ANSISQL，其中一些引擎還對ANSISQL進(jìn)行了擴(kuò)展。SQL可用于添加、更新或刪除數(shù)據(jù)行，檢索事務(wù)處理和分析應(yīng)用程序的數(shù)據(jù)子集，以及管理數(shù)據(jù)庫的所有方面。StructuredQueryLanguage本課件是可編輯的正常PPT課件SQLorStructuredQueryLanguageistheprimaryinterfaceusedtocommunicatewithRelationalDatabases.SQLbecameastandardoftheAmericanNationalStandardsInstitute(ANSI)in1986.ThestandardANSISQLissupportedbyallpopularrelationaldatabaseengines,andsomeoftheseenginesalsohaveextensiontoANSISQLtosupportfunctionalitywhichisspecifictothatengine.SQLisusedtoadd,updateordeleterowsofdata,retrievingsubsetsofdatafortransactionprocessingandanalyticsapplications,andtomanageallaspectsofthedatabase.本課件是可編輯的正常PPT課件事務(wù)處理數(shù)據(jù)庫事務(wù)是作為構(gòu)成單個邏輯工作單元的操作序列執(zhí)行的一個或多個SQL語句。事務(wù)提供了一個“全是或全否”命題，這意味著整個事務(wù)必須作為一個單元完成并寫入數(shù)據(jù)庫，否則事務(wù)的各個組成部分都不應(yīng)執(zhí)行。在關(guān)系數(shù)據(jù)庫術(shù)語中，事務(wù)會導(dǎo)致COMMIT或ROLLBACK。每個事務(wù)以連貫和可靠的方式獨(dú)立于其他事務(wù)進(jìn)行處理。…本課件是可編輯的正常PPT課件AdatabasetransactionisoneormoreSQLstatementsthatareexecutedasasequenceofoperationsthatformasinglelogicalunitofwork.Transactionsprovidean"all-or-nothing"proposition,meaningthattheentiretransactionmustcompleteasasingleunitandbewrittentothedatabaseornoneoftheindividualcomponentsofthetransactionshouldgothrough.Intherelationdatabaseterminology,atransactionresultsinaCOMMIToraROLLBACK.Eachtransactionistreatedinacoherentandreliablewayindependentofothertransactions.本課件是可編輯的正常PPT課件MySQL數(shù)據(jù)庫開源，瑞典公司MySQLAB公司開發(fā)，屬于Oracle產(chǎn)品。DB-EnginesRanking/en/ranking本課件是可編輯的正常PPT課件本課件是可編輯的正常PPT課件MySQL基本操作MySQL數(shù)據(jù)庫實(shí)驗(yàn)步驟.doc本課件是可編輯的正常PPT課件MySQL基本操作建庫mysql>createdatabasestudent;QueryOK,1rowaffected(0.02sec)mysql>usestudentDatabasechanged本課件是可編輯的正常PPT課件MySQL基本操作建表mysql>createtablescore(->idint(10),->namechar(20),->markfloat(5,2)->);QueryOK,0rowsaffected(0.05sec)本課件是可編輯的正常PPT課件MySQL基本操作增mysql>insertintoscore(id,name,mark)values->(201901,'wang',99);本課件是可編輯的正常PPT課件MySQL基本操作查mysql>select*fromscore;本課件是可編輯的正常PPT課件MySQL基本操作改mysql>select*fromscore;mysql>updatescoresetmark=77wherename='zhang';本課件是可編輯的正常PPT課件MySQL基本操作刪mysql>deletefromInfowhereid='201902';本課件是可編輯的正常PPT課件本章作業(yè)預(yù)習(xí)MySQL實(shí)驗(yàn)本課件是可編輯的正常PPT課件ThanksAnyquestionaboutthecourse?本課件是可編輯的正常PPT課件大數(shù)據(jù)基礎(chǔ)概論3-

數(shù)據(jù)采集與預(yù)處理本章內(nèi)容數(shù)據(jù)類型數(shù)據(jù)采集數(shù)據(jù)預(yù)處理預(yù)處理案例本課件是可編輯的正常PPT課件數(shù)據(jù)類型結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化：文本、圖片、音頻和視頻等類型的文件數(shù)據(jù)半結(jié)構(gòu)化數(shù)據(jù)：如XML文件和JSON文件本課件是可編輯的正常PPT課件XML…本課件是可編輯的正常PPT課件JSON…本課件是可編輯的正常PPT課件數(shù)據(jù)源傳感器系統(tǒng)日志企業(yè)業(yè)務(wù)系統(tǒng)數(shù)據(jù)互聯(lián)網(wǎng)數(shù)據(jù)本課件是可編輯的正常PPT課件傳感器一種檢測裝置，能感受到被測量的信息，并能將感受到的信息，按一定規(guī)律變換成為電信號，或其它所需形式的信息輸出，以滿足信息的傳輸、處理、存儲、顯示、記錄和控制等要求。壓力傳感器、溫度傳感器、流量傳感器、聲音傳感器、電參數(shù)傳感器。溫度計、麥克風(fēng)、DV錄像、手機(jī)拍照等。本課件是可編輯的正常PPT課件…本課件是可編輯的正常PPT課件本課件是可編輯的正常PPT課件思考&討論：手機(jī)計步器原理？本課件是可編輯的正常PPT課件企業(yè)業(yè)務(wù)系統(tǒng)數(shù)據(jù)一些企業(yè)會使用傳統(tǒng)的關(guān)系型數(shù)據(jù)庫MySQL和Oracle

等來存儲業(yè)務(wù)系統(tǒng)數(shù)據(jù)，除此之外，Redis

和MongoDB這樣的NoSQL數(shù)據(jù)庫也常用于數(shù)據(jù)的存儲。企業(yè)每時每刻產(chǎn)生的業(yè)務(wù)數(shù)據(jù)，以數(shù)據(jù)庫一行記錄的形式，被直接寫入到數(shù)據(jù)庫中。本課件是可編輯的正常PPT課件日志文件日志文件用于記錄數(shù)據(jù)源的執(zhí)行的各種操作活動，比如網(wǎng)絡(luò)監(jiān)控的流量管理、金融應(yīng)用的股票記賬和Web服務(wù)器記錄的用戶訪問行為。通過對這些日志信息進(jìn)行采集和數(shù)據(jù)分析，可以挖掘得到具有潛在價值的信息，為公司決策和公司后臺服務(wù)器平臺性能評估，提供可靠的數(shù)據(jù)保證。日志采集系統(tǒng)可以收集日志數(shù)據(jù)，提供離線和在線的實(shí)時分析使用。本課件是可編輯的正常PPT課件互聯(lián)網(wǎng)數(shù)據(jù)

互聯(lián)網(wǎng)數(shù)據(jù)采集是借助于網(wǎng)絡(luò)爬蟲來完成的。所謂“網(wǎng)絡(luò)爬蟲”，就是一個在網(wǎng)上到處或定向抓取網(wǎng)頁數(shù)據(jù)的程序。爬蟲可以將非結(jié)構(gòu)化數(shù)據(jù)從網(wǎng)頁中抽取出來，將其存儲為統(tǒng)一的本地數(shù)據(jù)文件，并以結(jié)構(gòu)化的方式存儲。它支持圖片、音頻、視頻等文件或附件的采集。本課件是可編輯的正常PPT課件網(wǎng)絡(luò)爬蟲按照一定的規(guī)則自動瀏覽、檢索網(wǎng)頁內(nèi)容的程序分類使用場景，通用爬蟲和聚焦爬蟲爬取形式，累積式爬蟲和增量式爬蟲網(wǎng)頁類型，表層爬蟲和深層爬蟲…本課件是可編輯的正常PPT課件爬行策略大站優(yōu)先反鏈爬行深度優(yōu)先廣度優(yōu)先A→B1→C1→C2→B2→B3→C3A→B1→B2→B3→C1→C2→C3本課件是可編輯的正常PPT課件本課件是可編輯的正常PPT課件爬蟲案例①發(fā)送請求，獲取網(wǎng)頁②解析網(wǎng)頁，提取數(shù)據(jù)③保存數(shù)據(jù)…本課件是可編輯的正常PPT課件數(shù)據(jù)預(yù)處理數(shù)據(jù)清洗數(shù)據(jù)脫敏數(shù)據(jù)清洗是指去除原始數(shù)據(jù)中的無效數(shù)據(jù)、無關(guān)項、偶然數(shù)據(jù)和“臟”數(shù)據(jù)。本課件是可編輯的正常PPT課件原始數(shù)據(jù)含噪聲的、不完整的和不一致的。噪聲數(shù)據(jù)是指數(shù)據(jù)中存在著錯誤或異常（偏離期望值）的數(shù)據(jù)不完整數(shù)據(jù)是指數(shù)據(jù)的屬性值丟失或不確定不一致性是指數(shù)據(jù)之間出現(xiàn)互相矛盾、不相容本課件是可編輯的正常PPT課件數(shù)據(jù)清洗本課件是可編輯的正常PPT課件數(shù)據(jù)清洗檢查數(shù)據(jù)一致性，處理無效值和缺失值一致性檢查是根據(jù)每個變量的合理取值范圍和相互關(guān)系，檢查數(shù)據(jù)是否合乎要求，發(fā)現(xiàn)超出正常范圍、邏輯上不合理或者相互矛盾的數(shù)據(jù)。本課件是可編輯的正常PPT課件數(shù)據(jù)清洗缺失值、重復(fù)值、異常值缺失值：數(shù)據(jù)刪除，估算填充整例刪除、變量刪除和成對刪除樣本均值、中位數(shù)或眾數(shù)進(jìn)行估算重復(fù)值：刪除

相似度計算異常值：偏離期望值…本課件是可編輯的正常PPT課件異常值處理

…本課件是可編輯的正常PPT課件…本課件是可編輯的正常PPT課件箱形圖法n數(shù)據(jù)個數(shù)Q1的位置1*(n+1)/4=(n+1)/4Q2的位置2*(n+1)/4=(n+1)/2Q3的位置3*(n+1)/4IQR=Q3-Q1InterquartileRange四分位距

上界=上四分位數(shù)+1.5*IQR=Q3+1.5*IQR

下界=下四分位數(shù)-1.5*IQR=Q1-1.5*IQR本課件是可編輯的正常PPT課件【例3-1】11個數(shù)23、23.6、23.8、23.9、26、26.6、26.8、28、28.6、28.8、28.9，則三個四分位數(shù)的位置：Q1的位置(n+1)/4=(11+1)/4=3Q2的位置(n+1)/2=(11+1)/2=6Q3的位置3*(n+1)/4=3*(11+1)/4=9即數(shù)列中的第三個、第六個、第九個數(shù)分別為下四分位數(shù)、中位數(shù)和上四分位數(shù)。即Q1=23.8、Q2=26.6、Q3=28.6本課件是可編輯的正常PPT課件【例3-2】10個數(shù)23、23.6、23.8、23.9、26、26.6、26.8、28、28.6、28.8，則三個四分位數(shù)為：Q1的位置(n+1)/4=(10+1)/4=2.75Q2的位置(n+1)/2=(10+1)/2=5.5Q3的位置3*(n+1)/4=3*(10+1)/4=8.25即數(shù)列的第2.75項、第5.5項、第8.25項數(shù)值分別為下四分位數(shù)、中位數(shù)和上四分位數(shù)。本課件是可編輯的正常PPT課件【例3-2】使用加權(quán)計算四分位數(shù)，如下：第2.75項Q1=0.25*第二項+0.75*第三項=0.25*23.6+0.75*23.8=23.75第5.5

項Q2=0.5*第五項+0.5*第六項=0.5*26+0.5*26.6=26.3第8.25

項Q3=0.75*第八項+0.25*第九項=0.75*28+0.25*28.6=28.15本課件是可編輯的正常PPT課件數(shù)據(jù)脫敏替換無效化置亂均值化隨機(jī)化…本課件是可編輯的正常PPT課件數(shù)據(jù)標(biāo)準(zhǔn)化0-1標(biāo)準(zhǔn)化Z-Score標(biāo)準(zhǔn)化本課件是可編輯的正常PPT課件上機(jī)實(shí)驗(yàn)缺失值、重復(fù)值、異常值Excel實(shí)現(xiàn)預(yù)處理Python實(shí)現(xiàn)預(yù)處理本課件是可編輯的正常PPT課件Excel-身份證號得到年齡和性別本課件是可編輯的正常PPT課件Excel-缺失值本課件是可編輯的正常PPT課件Excel-重復(fù)值本課件是可編輯的正常PPT課件Excel-異常值本課件是可編輯的正常PPT課件Python-缺失值本課件是可編輯的正常PPT課件Python-重復(fù)值本課件是可編輯的正常PPT課件Python-異常值本課件是可編輯的正常PPT課件ThanksAnyquestionaboutthecourse?本課件是可編輯的正常PPT課件大數(shù)據(jù)基礎(chǔ)概論4-

數(shù)據(jù)存儲與計算本章內(nèi)容Hadoop簡介數(shù)據(jù)存儲大數(shù)據(jù)計算大數(shù)據(jù)生態(tài)本課件是可編輯的正常PPT課件引例住吃上課體檢本課件是可編輯的正常PPT課件Hadoop簡介Hadoop是Java編寫的實(shí)現(xiàn)分布式存儲和分布式計算的開源項目①HadoopCommon：支持其他Hadoop模塊的通用工具。②HadoopHDFS：大數(shù)據(jù)分布式存儲。③HadoopYARN：資源管理器④HadoopMapReduce：大數(shù)據(jù)分布式計算本課件是可編輯的正常PPT課件Hadoop架構(gòu)本課件是可編輯的正常PPT課件Hadoop特性高可靠性高效性高可擴(kuò)展性高容錯性成本低支持多種編程語言…本課件是可編輯的正常PPT課件數(shù)據(jù)存儲文件系統(tǒng)數(shù)據(jù)庫數(shù)據(jù)倉庫本課件是可編輯的正常PPT課件文件系統(tǒng)文件系統(tǒng)是操作系統(tǒng)用于確定存儲設(shè)備（常見的是磁盤）或分區(qū)上的文件的方法和數(shù)據(jù)結(jié)構(gòu)，即在存儲設(shè)備上組織文件的方法。本課件是可編輯的正常PPT課件數(shù)據(jù)庫數(shù)據(jù)庫指的是以一定方式儲存在一起、能為多個用戶共享、具有盡可能小的冗余度、與應(yīng)用程序彼此獨(dú)立的數(shù)據(jù)集合。在數(shù)據(jù)庫的發(fā)展歷史上，先后出現(xiàn)過網(wǎng)狀數(shù)據(jù)庫、層次數(shù)據(jù)庫、關(guān)系數(shù)據(jù)庫、非關(guān)系型數(shù)據(jù)庫等不同類型的數(shù)據(jù)庫。目前比較主流的數(shù)據(jù)庫是關(guān)系數(shù)據(jù)庫，它采用了關(guān)系數(shù)據(jù)模型來組織和管理數(shù)據(jù)。本課件是可編輯的正常PPT課件關(guān)系數(shù)據(jù)庫一個關(guān)系數(shù)據(jù)庫可以看成是許多關(guān)系表的集合，每個關(guān)系可以看成一張二維表格。學(xué)號姓名性別年齡考試成績2023001小明男21882023002小小男22982023003小紅女22892023004小朵女2196本課件是可編輯的正常PPT課件數(shù)據(jù)倉庫一個面向主題的、集成的、不可修改的、與時間相關(guān)的數(shù)據(jù)集合，專門用于支持管理決策傳統(tǒng)的關(guān)系型數(shù)據(jù)庫的主要應(yīng)用是基本的、日常的事務(wù)處理OLTP，例如銀行交易。數(shù)據(jù)倉庫系統(tǒng)的主要應(yīng)用主要是OLAP，支持復(fù)雜的分析操作，側(cè)重決策支持，優(yōu)化業(yè)務(wù)流程，并且提供直觀易懂的查詢結(jié)果?！菊n件是可編輯的正常PPT課件為什么數(shù)據(jù)變大了？數(shù)據(jù)從哪里來？數(shù)據(jù)如何產(chǎn)生的？第一階段運(yùn)營式系統(tǒng)階段第二階段用戶原創(chuàng)內(nèi)容階段第三階段感知式系統(tǒng)階段如超市銀行、電信被動方式

主動方式

自動方式本課件是可編輯的正常PPT課件Howbigisbig？1Byte=8Bit(01000001A的ASCII碼值)1KB=1024

Byte=210Byte1MB=1024KB=210KB1GB=1024MB=210MB1TB=1024GB=210GBPB、EB、ZB、YB、DB、NB本課件是可編輯的正常PPT課件大數(shù)據(jù)時代的技術(shù)支撐存儲設(shè)備容量CPU計算能力網(wǎng)絡(luò)帶寬技術(shù)支撐…本課件是可編輯的正常PPT課件大數(shù)據(jù)存儲分布式文件系統(tǒng)非關(guān)系型數(shù)據(jù)庫NoSQL和NewSQL本課件是可編輯的正常PPT課件分布式文件系統(tǒng)吞吐能力、響應(yīng)時間、并發(fā)能力、可伸縮性、可靠性和可用性GFS：發(fā)生故障是常態(tài)、目標(biāo)是大文件、追加方式、高吞吐優(yōu)先于低延遲本課件是可編輯的正常PPT課件NoSQL數(shù)據(jù)庫“NotonlySQL”鍵值數(shù)據(jù)庫(key-valuedatabase)文檔數(shù)據(jù)庫(document-orienteddatabase)列式數(shù)據(jù)庫(column-familydatabase)圖數(shù)據(jù)庫(graphdatabase)本課件是可編輯的正常PPT課件鍵值數(shù)據(jù)庫本課件是可編輯的正常PPT課件文檔數(shù)據(jù)庫本課件是可編輯的正常PPT課件列式數(shù)據(jù)庫本課件是可編輯的正常PPT課件圖數(shù)據(jù)庫本課件是可編輯的正常PPT課件NewSQLNewSQL是一種新型的數(shù)據(jù)庫系統(tǒng)，它吸收了傳統(tǒng)關(guān)系型數(shù)據(jù)庫和分布式數(shù)據(jù)庫的優(yōu)點(diǎn)，同時克服了它們的缺點(diǎn)。這類數(shù)據(jù)庫不僅具有NoSQL對海量數(shù)據(jù)的存儲管理能力，還保持了傳統(tǒng)數(shù)據(jù)庫支持SQL等特性。本課件是可編輯的正常PPT課件分布式文件系統(tǒng)HDFS分布式文件系統(tǒng)在物理結(jié)構(gòu)上是由計算機(jī)集群中的多個節(jié)點(diǎn)構(gòu)成的。節(jié)點(diǎn)分為兩類，一類叫“主節(jié)點(diǎn)”MasterNode或者“名稱結(jié)點(diǎn)”NameNode，也稱元數(shù)據(jù)節(jié)點(diǎn)，是系統(tǒng)唯一的管理者。負(fù)責(zé)元數(shù)據(jù)的管理（名稱空間和數(shù)據(jù)塊映射信息）；配置副本策略；處理客戶端請求。另一類叫“從節(jié)點(diǎn)”SlaveNode或者“數(shù)據(jù)節(jié)點(diǎn)”DataNode，DataNode存儲實(shí)際的數(shù)據(jù)；執(zhí)行數(shù)據(jù)塊的讀寫；匯報存儲信息給NameNode。本課件是可編輯的正常PPT課件塊Block在HDFS中，每個文件都是采用的分塊Block的方式存儲，每個分塊放在不同的DataNode上。HDFS默認(rèn)一個塊大小為64/128MB，一個文件被分成多個塊，以塊作為存儲單位。本課件是可編輯的正常PPT課件塊概念的好處支持大規(guī)模文件存儲：文件以塊為單位進(jìn)行存儲，一個大規(guī)模文件可以被分拆成若干個文件塊，不同的文件塊可以被分發(fā)到不同的節(jié)點(diǎn)上，因此，一個文件的大小不會受到單個節(jié)點(diǎn)的存儲容量的限制，可以遠(yuǎn)遠(yuǎn)大于網(wǎng)絡(luò)中任意節(jié)點(diǎn)的存儲容量。適合數(shù)據(jù)備份：每個文件塊都可以冗余存儲到多個節(jié)點(diǎn)上，大大提高了系統(tǒng)的容錯性和可用性。本課件是可編輯的正常PPT課件塊概念的好處簡化系統(tǒng)設(shè)計首先，大大簡化了存儲管理，因?yàn)槲募K大小是固定的，這樣就可以很容易計算出一個節(jié)點(diǎn)可以存儲多少文件塊；其次，方便了元數(shù)據(jù)的管理，元數(shù)據(jù)不需要和文件塊一起存儲，可以由其他系統(tǒng)負(fù)責(zé)管理元數(shù)據(jù)。本課件是可編輯的正常PPT課件元數(shù)據(jù)文件是什么文件被分成多少塊每個塊和文件如何映射每個塊被存儲在哪個服務(wù)器上本課件是可編輯的正常PPT課件HDFS本課件是可編輯的正常PPT課件本課件是可編輯的正常PPT課件HDFS架構(gòu)HDFSClientNameNodeDataNodeSecondaryNameNode本課件是可編輯的正常PPT課件ClientClient：客戶端? 文件切分。文件上傳HDFS的時候，Client將文件切分成一個一個的Block，然后進(jìn)行存儲。? 與NameNode交互，獲取文件的位置信息。?