內(nèi)容提綱課程介紹講課內(nèi)容1.1數(shù)據(jù)和大數(shù)據(jù)1.2數(shù)據(jù)科學(xué)理論基礎(chǔ)1.3數(shù)據(jù)科學(xué)應(yīng)用實(shí)踐課程安排和要求重點(diǎn)難點(diǎn)理解數(shù)據(jù)科學(xué)的基本概念和意義了解數(shù)據(jù)科學(xué)的實(shí)踐過程北京郵電大學(xué)計(jì)算機(jī)學(xué)院石川編課程介紹北京郵電大學(xué)計(jì)算機(jī)學(xué)院石川編課程背景數(shù)據(jù)中蘊(yùn)藏著價(jià)值，對數(shù)據(jù)科學(xué)的研究幫助我們應(yīng)對大數(shù)據(jù)時(shí)代的機(jī)遇與挑戰(zhàn)。IDC發(fā)布的報(bào)告《數(shù)據(jù)時(shí)代2025》中預(yù)測，到2025年，全球數(shù)據(jù)圈將擴(kuò)展至163ZB(1ZB等于1萬億GB)，相當(dāng)于2016年所產(chǎn)生16.1ZB數(shù)據(jù)的十倍。圖1-1數(shù)據(jù)中心與計(jì)算的發(fā)展課程介紹北京郵電大學(xué)計(jì)算機(jī)學(xué)院石川編課程定位一門導(dǎo)論性質(zhì)的課程，在基礎(chǔ)課程和專業(yè)課程之間起到銜接的作用包含基礎(chǔ)的理論知識和豐富的案例分析，幫助培養(yǎng)學(xué)生的思維和實(shí)踐能力，為后續(xù)課程的學(xué)習(xí)奠定基礎(chǔ)先修基礎(chǔ)課程高等數(shù)學(xué)，線性代數(shù)，概率論，數(shù)據(jù)結(jié)構(gòu)，算法導(dǎo)論，計(jì)算機(jī)組成原理等后續(xù)專業(yè)課程數(shù)據(jù)挖掘，數(shù)據(jù)庫、機(jī)器學(xué)習(xí)，深度學(xué)習(xí)，大數(shù)據(jù)分析等1.1數(shù)據(jù)和大數(shù)據(jù)1.1數(shù)據(jù)和大數(shù)據(jù)1.1.1數(shù)據(jù)1.1.2數(shù)據(jù)化進(jìn)程1.1.3大數(shù)據(jù)北京郵電大學(xué)計(jì)算機(jī)學(xué)院石川編1.1.1數(shù)據(jù)北京郵電大學(xué)計(jì)算機(jī)學(xué)院石川編數(shù)據(jù)的定義統(tǒng)計(jì)學(xué)：為了找出問題背后的規(guī)律而需要的，與問題相關(guān)的變量的觀測值，是對客觀現(xiàn)象進(jìn)行計(jì)量的結(jié)果。計(jì)算機(jī)科學(xué)：所有能輸入到計(jì)算機(jī)，并被計(jì)算機(jī)程序處理的符號總稱，是用于輸入電子計(jì)算機(jī)進(jìn)行處理，具有一定意義的數(shù)字、字母、符號和模擬量等的通稱。數(shù)據(jù)科學(xué)：在一定背景下有意義的對于現(xiàn)實(shí)世界中的事物定性或定量的記錄。1.1.1數(shù)據(jù)北京郵電大學(xué)計(jì)算機(jī)學(xué)院石川編數(shù)據(jù)的類型依據(jù)結(jié)構(gòu)分類，可分為結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。比如，數(shù)字、

字符、日期等等屬于結(jié)構(gòu)化數(shù)據(jù)類型，而文字、圖片、視頻、音頻都屬于非結(jié)構(gòu)化數(shù)據(jù)。依據(jù)形式分類，可分為文本數(shù)據(jù)、屬性數(shù)據(jù)、聲音數(shù)據(jù)、圖片數(shù)據(jù)、視頻數(shù)據(jù)等等。依據(jù)來源分類，可分為觀測數(shù)據(jù)和實(shí)驗(yàn)數(shù)據(jù)。如何分類，取決于我們想要用數(shù)據(jù)解決什么樣的問題。1.1.1數(shù)據(jù)北京郵電大學(xué)計(jì)算機(jī)學(xué)院石川編數(shù)據(jù)、信息、知識與智慧（DIKW模型）圖1-2DIKW模型圖1.1.2數(shù)據(jù)化進(jìn)程北京郵電大學(xué)計(jì)算機(jī)學(xué)院石川編人類數(shù)據(jù)記錄類型日漸豐富化，計(jì)算水平不斷進(jìn)步圖1-3數(shù)據(jù)化進(jìn)程圖1.1.3大數(shù)據(jù)“大數(shù)據(jù)”概念的演化1998年的USENIX大會上，美國硅圖公司的首席科學(xué)家JohnR.Mashey首次提出了“大數(shù)據(jù)”這一概念，發(fā)表了名為《大數(shù)據(jù)與下一次基礎(chǔ)設(shè)施壓力的浪潮》的報(bào)告。2000年，賓夕法尼亞大學(xué)的經(jīng)濟(jì)學(xué)家FrancisX.Diebold發(fā)布了報(bào)告《宏觀經(jīng)濟(jì)評估與預(yù)測的大數(shù)據(jù)動能因素模型》，再次提及了這一概念。2011年，牛津大學(xué)客座教授ViktorMayer-Sch?nberger開始在經(jīng)濟(jì)學(xué)人雜志上發(fā)布一系列大數(shù)據(jù)專欄文章，并出版了《大數(shù)據(jù)時(shí)代》。至此，這一概念逐漸走進(jìn)人們視野，并迅速占據(jù)了人們的注意力。北京郵電大學(xué)計(jì)算機(jī)學(xué)院石川編1.1.3大數(shù)據(jù)大數(shù)據(jù)的定義數(shù)據(jù)科學(xué)家JohnRauser：任何超過了一臺計(jì)算機(jī)處理能力的數(shù)據(jù)。咨詢公司麥肯錫：無法在一定時(shí)間內(nèi)用傳統(tǒng)數(shù)據(jù)庫軟件工具對其進(jìn)行抓取、管理和處理的數(shù)據(jù)集合。咨詢公司高德納：大量、高速、或多變的信息資產(chǎn)，它需要新型的處理方式去促成更強(qiáng)的決策能力、洞察力與最優(yōu)化處理。以上的定義都指出，首先，大數(shù)據(jù)依舊是數(shù)據(jù)，或數(shù)據(jù)相關(guān)的過程，其次，大數(shù)據(jù)的規(guī)模并非一定要達(dá)到某一確切的數(shù)值，關(guān)鍵在于，是否超過了實(shí)際情況下的數(shù)據(jù)存儲能力和數(shù)據(jù)計(jì)算能力。北京郵電大學(xué)計(jì)算機(jī)學(xué)院石川編1.1.3大數(shù)據(jù)大數(shù)據(jù)的定理與模型5V模型圖1-3大數(shù)據(jù)特征的5V模型北京郵電大學(xué)計(jì)算機(jī)學(xué)院石川編1.1.3大數(shù)據(jù)5R模型通過以數(shù)據(jù)管理的角度，認(rèn)識從大數(shù)據(jù)中獲取有用信息的過程得到。模型包括大數(shù)據(jù)的相關(guān)特性(Relevant)，實(shí)時(shí)特性(Real-time)，真實(shí)特性(Realistic)，可靠特性(Reliable)，以及投資回報(bào)特征(Returnoninvestment,ROI)。4P醫(yī)療模型4P醫(yī)療模型基于醫(yī)療大數(shù)據(jù)，包含了預(yù)測性(Predictive)，預(yù)防性(Preventive)，個(gè)體化(Personalized)，參與性(Participatory)。該醫(yī)療模型基于大數(shù)據(jù)，對疾病做出預(yù)測，并基于個(gè)人數(shù)據(jù)對病人做出個(gè)性化的服務(wù)，同時(shí)，診療過程中的數(shù)據(jù)將再次被記錄到數(shù)據(jù)庫中，從而為病人提供基于大數(shù)據(jù)的健康建議。北京郵電大學(xué)計(jì)算機(jī)學(xué)院石川編1.1.3大數(shù)據(jù)HACE定理HACE定理將大數(shù)據(jù)描述為，始于異構(gòu)（Heterogeneous），自治（Autonomous）的多源海量數(shù)據(jù)，旨在尋求探索復(fù)雜的（Complex）和演化的（Evolving）數(shù)據(jù)關(guān)聯(lián)的方法和途徑。圖1-4基于HACE定理的大數(shù)據(jù)處理三層架構(gòu)[1]北京郵電大學(xué)計(jì)算機(jī)學(xué)院石川編[1].

吳信東，何進(jìn)，陸汝鈐等.從大數(shù)據(jù)到大知識：HACE+BigKE[J].自動化學(xué)報(bào).2016，42(7)：965-982.1.2數(shù)據(jù)科學(xué)理論基礎(chǔ)1.2數(shù)據(jù)科學(xué)理論基礎(chǔ)1.2.1數(shù)據(jù)科學(xué)發(fā)展歷程1.2.2數(shù)據(jù)科學(xué)的概念1.2.3數(shù)據(jù)科學(xué)的主要內(nèi)容北京郵電大學(xué)計(jì)算機(jī)學(xué)院石川編1.2.1數(shù)據(jù)科學(xué)發(fā)展歷程北京郵電大學(xué)計(jì)算機(jī)學(xué)院石川編1974年，圖靈獎(jiǎng)獲得者PeterNaur在美國和瑞典出版《計(jì)算機(jī)方法簡明調(diào)查》，書中首次提到了“數(shù)據(jù)科學(xué)”的概念。1996年，IFCS（InternationalFederationofClassificationSocieties）的成員召開名為“數(shù)據(jù)科學(xué)，分類和相關(guān)方法”的會議，“數(shù)據(jù)科學(xué)”首次在會議的主題中出現(xiàn)。圖1-5《計(jì)算機(jī)方法簡明調(diào)查》圖1-6《數(shù)據(jù)科學(xué)，分類和相關(guān)方法》1.2.1數(shù)據(jù)科學(xué)發(fā)展歷程北京郵電大學(xué)計(jì)算機(jī)學(xué)院石川編2001年WilliamS.Cleveland發(fā)表文章《數(shù)據(jù)科學(xué)：一個(gè)用來擴(kuò)大統(tǒng)計(jì)學(xué)領(lǐng)域技術(shù)范疇的行動計(jì)劃》。作者指出，這種對統(tǒng)計(jì)學(xué)領(lǐng)域中技術(shù)工作的擴(kuò)展是實(shí)質(zhì)性的，能夠給該領(lǐng)域帶來的變化，因此，新的領(lǐng)域應(yīng)該有新的名字，叫做數(shù)據(jù)科學(xué)。2002年4月，CODATA創(chuàng)立了學(xué)術(shù)期刊DataScienceJournal，這是首個(gè)關(guān)于數(shù)據(jù)科學(xué)的學(xué)術(shù)期刊。圖1-7datasciencejournal1.2.1數(shù)據(jù)科學(xué)發(fā)展歷程北京郵電大學(xué)計(jì)算機(jī)學(xué)院石川編2007年，復(fù)旦大學(xué)成立數(shù)據(jù)學(xué)和數(shù)據(jù)科學(xué)研究中心，中心成立后，每年都會舉辦關(guān)于數(shù)據(jù)學(xué)和數(shù)據(jù)科學(xué)的研討會。2012年9月，TomDavenport和DJPatil在《哈佛商業(yè)評論》上發(fā)表文章，名為《數(shù)據(jù)科學(xué)家：21世紀(jì)最有魅力的工作》。圖1-8HarvardBusinessReviewaboutdatascience2015年2月18日，美國白宮宣布DJ

Patil成為白宮首位數(shù)據(jù)政策副首席技術(shù)官兼首席數(shù)據(jù)科學(xué)家。圖1-9DJPatil1.2.2數(shù)據(jù)科學(xué)的概念北京郵電大學(xué)計(jì)算機(jī)學(xué)院石川編什么是數(shù)據(jù)科學(xué)？最早提出數(shù)據(jù)科學(xué)概念的PeterNaur將數(shù)據(jù)科學(xué)定義為

“研究處理數(shù)據(jù)的科學(xué)”。美國計(jì)算機(jī)科學(xué)家WilliamS.Cleveland認(rèn)為，隨著計(jì)算機(jī)科學(xué)的發(fā)展而擴(kuò)展的，統(tǒng)計(jì)學(xué)中數(shù)據(jù)分析的技術(shù)領(lǐng)域，叫做數(shù)據(jù)科學(xué)。JournalofDataScience雜志將數(shù)據(jù)科學(xué)定位為，所有與數(shù)據(jù)有關(guān)的東西，如數(shù)據(jù)收集，數(shù)據(jù)處理，數(shù)據(jù)建模，數(shù)據(jù)分析等等，但其重點(diǎn)應(yīng)該為數(shù)據(jù)應(yīng)用。李國杰院士認(rèn)為，“數(shù)據(jù)科學(xué)是數(shù)學(xué)（統(tǒng)計(jì)、代數(shù)、拓?fù)涞龋?、?jì)算機(jī)科學(xué)、基礎(chǔ)科學(xué)和各種應(yīng)用科學(xué)融合的科學(xué)，類似錢學(xué)森先生提出的‘大成智慧學(xué)’”。復(fù)旦大學(xué)數(shù)據(jù)科學(xué)研究中心把數(shù)據(jù)科學(xué)定義為，關(guān)于數(shù)據(jù)的科學(xué)，或者研究數(shù)據(jù)的科學(xué)，是用來研究探索Cyberspace中數(shù)據(jù)奧秘的理論、方法和技術(shù)。1.2.2數(shù)據(jù)科學(xué)的概念北京郵電大學(xué)計(jì)算機(jī)學(xué)院石川編數(shù)據(jù)科學(xué)的定義從數(shù)據(jù)科學(xué)發(fā)展史，和對數(shù)據(jù)科學(xué)概念的梳理中可以看出：數(shù)據(jù)科學(xué)并非一個(gè)全新的領(lǐng)域，而是起源于統(tǒng)計(jì)學(xué)的，為了探索當(dāng)前學(xué)術(shù)界和工業(yè)界中產(chǎn)生的大量數(shù)據(jù)中蘊(yùn)含的信息與知識，結(jié)合了諸如大數(shù)據(jù)，計(jì)算機(jī)科學(xué)，機(jī)器學(xué)習(xí)，數(shù)據(jù)挖掘等新的技術(shù)和理論的一門新興交叉學(xué)科。1.2.3數(shù)據(jù)科學(xué)的主要內(nèi)容北京郵電大學(xué)計(jì)算機(jī)學(xué)院石川編數(shù)據(jù)科學(xué)的研究內(nèi)容數(shù)據(jù)科學(xué)通過一系列科學(xué)的流程，研究現(xiàn)實(shí)世界方方面面產(chǎn)生的數(shù)據(jù)，從而完成從數(shù)據(jù)中抽取出信息和知識的任務(wù)，發(fā)現(xiàn)事物背后隱藏的規(guī)律，最終使數(shù)據(jù)的集成度更高，價(jià)值密度更大。數(shù)據(jù)科學(xué)研究對象現(xiàn)實(shí)世界中來源不同、類型不同的數(shù)據(jù)1.2.3數(shù)據(jù)科學(xué)的主要內(nèi)容北京郵電大學(xué)計(jì)算機(jī)學(xué)院石川編理論體系數(shù)據(jù)科學(xué)作為支撐大數(shù)據(jù)研究與應(yīng)用的新興交叉學(xué)科，理論基礎(chǔ)來自多個(gè)不同的學(xué)科領(lǐng)域。2010年9月，美國數(shù)據(jù)科學(xué)家DrewConway第一次使用韋恩圖定義了數(shù)據(jù)科學(xué)的理論體系。圖1-10DrewConway提出的數(shù)據(jù)科學(xué)韋恩圖黑客技能（Hackingskill）指，在收集數(shù)據(jù)，清理數(shù)據(jù)，處理數(shù)據(jù)，分析數(shù)據(jù)等一系列流程中，需要用到的計(jì)算機(jī)科學(xué)，人工智能等方面的方法與技術(shù)。數(shù)學(xué)和統(tǒng)計(jì)學(xué)知識（Math&StatisticsKnowledge）指，在對數(shù)據(jù)進(jìn)行分析處理的過程中，需要用到的數(shù)學(xué)和統(tǒng)計(jì)學(xué)方法理論。實(shí)質(zhì)性專業(yè)知識（Subs

tantiveExpertise）指，數(shù)據(jù)科學(xué)工作中涉及到的實(shí)質(zhì)性領(lǐng)域知識；發(fā)現(xiàn)問題是一種重要的能力，而實(shí)質(zhì)性專業(yè)知識的掌握對這種能力至關(guān)重要。1.2.3數(shù)據(jù)科學(xué)的主要內(nèi)容北京郵電大學(xué)計(jì)算機(jī)學(xué)院石川編由數(shù)據(jù)科學(xué)家和KDD會議的聯(lián)合創(chuàng)始人GregoryPiatetsky-Shapiro提出，由MatthewMayo于2016年在KDnuggets上發(fā)布數(shù)據(jù)科學(xué)韋恩圖。圖1-11GregoryPiatetsky-Shapiro數(shù)據(jù)科學(xué)韋恩圖1.2.3數(shù)據(jù)科學(xué)的主要內(nèi)容北京郵電大學(xué)計(jì)算機(jī)學(xué)院石川編2007年1月，圖靈獎(jiǎng)得主JimGray，在演講中提出了“指數(shù)級增長的科學(xué)數(shù)據(jù)”背景下的數(shù)據(jù)密集型科學(xué)研究的第四范式。數(shù)據(jù)科學(xué)和第四范式是大數(shù)據(jù)研究的兩大理論基礎(chǔ)。對大數(shù)據(jù)的研究同樣推動數(shù)據(jù)科學(xué)的發(fā)展。圖1-12微軟出版《第四范式：數(shù)據(jù)密集型科學(xué)發(fā)現(xiàn)》1.3數(shù)據(jù)科學(xué)應(yīng)用實(shí)踐1.3數(shù)據(jù)科學(xué)應(yīng)用實(shí)踐1.3.1數(shù)據(jù)科學(xué)家1.3.2數(shù)據(jù)科學(xué)工作流程1.3.3數(shù)據(jù)科學(xué)實(shí)踐案例北京郵電大學(xué)計(jì)算機(jī)學(xué)院石川編1.3.1數(shù)據(jù)科學(xué)家北京郵電大學(xué)計(jì)算機(jī)學(xué)院石川編什么是數(shù)據(jù)科學(xué)家？2005年9月，美國國家科學(xué)委員會發(fā)布名為《Long-livedDigitalDataCollections:EnablingResearchandEducationinthe21stCentury》的報(bào)告。這一報(bào)告將數(shù)據(jù)科學(xué)家定義為計(jì)算機(jī)科學(xué)家，數(shù)據(jù)庫和軟件工程程序員，專業(yè)領(lǐng)域?qū)＜?，專家評論員，圖書管理員，以及其他人的組合。圖1-13Long-livedDigitalDataCollections:EnablingResearchandEducationinthe21stCentury1.3.1數(shù)據(jù)科學(xué)家北京郵電大學(xué)計(jì)算機(jī)學(xué)院石川編2010年DrewConway發(fā)布了數(shù)據(jù)科學(xué)韋恩圖后，人們在此基礎(chǔ)上把數(shù)據(jù)科學(xué)家定義為具有計(jì)算機(jī)科學(xué)技術(shù)，數(shù)學(xué)和統(tǒng)計(jì)學(xué)知識基礎(chǔ)和實(shí)質(zhì)性專業(yè)理論知識的人。從數(shù)據(jù)科學(xué)家所做的工作方面考慮，我們可以把數(shù)據(jù)科學(xué)家定義為能夠發(fā)現(xiàn)現(xiàn)實(shí)世界的問題，收集問題相關(guān)的數(shù)據(jù)，抽取數(shù)據(jù)中的信息，并解釋數(shù)據(jù)背后的規(guī)律意義的人。圖1-14數(shù)據(jù)科學(xué)家1.3.1數(shù)據(jù)科學(xué)家北京郵電大學(xué)計(jì)算機(jī)學(xué)院石川編數(shù)據(jù)科學(xué)家需要具備哪些技能？2015年SAP公司的數(shù)據(jù)科學(xué)家StephanKolassa發(fā)布了一個(gè)數(shù)據(jù)科學(xué)家韋恩圖，以此來說明數(shù)據(jù)科學(xué)家需要具備的技能。圖1-15datascientist的技能1.3.1數(shù)據(jù)科學(xué)家北京郵電大學(xué)計(jì)算機(jī)學(xué)院石川編通用技能：數(shù)據(jù)分析、數(shù)學(xué)、統(tǒng)計(jì)學(xué)、人工智能、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、自然語言處理、工程管理、軟件工程、計(jì)算機(jī)科學(xué)、溝通能力等。技術(shù)技能：Python，R，SQL，Hadoop，Spark，Java，SAS，C++，TensorFlow等語言、庫或是工具。圖1-16generalskillindatascientistjoblistings1.3.2數(shù)據(jù)科學(xué)工作流程北京郵電大學(xué)計(jì)算機(jī)學(xué)院石川編數(shù)據(jù)科學(xué)工作有一套完整的工作流程，但這套工作流程并非一成不變，根據(jù)實(shí)際情況的不同，可以不必按照完整的流程進(jìn)行工作，而只完成工作的一部分或者重復(fù)進(jìn)行某些工作。圖1-17數(shù)據(jù)科學(xué)工作流程1.3.3數(shù)據(jù)科學(xué)實(shí)踐案例北京郵電大學(xué)計(jì)算機(jī)學(xué)院石川編案例1醫(yī)療健康大數(shù)據(jù)圖1-18醫(yī)療大數(shù)據(jù)系統(tǒng)2017年十項(xiàng)年度大數(shù)據(jù)應(yīng)用最佳實(shí)踐：醫(yī)療大數(shù)據(jù)應(yīng)用系統(tǒng)醫(yī)療大數(shù)據(jù)系統(tǒng)將人工智能引入診療環(huán)節(jié)，可完成病人的一整套診療流程。系統(tǒng)通過連接分導(dǎo)診、臨床檢查與臨床知識，提高臨床決策精準(zhǔn)度，提升臨床效率，減少醫(yī)院和患者的開支，是國家衛(wèi)生系統(tǒng)、分級診療制度的有益重要補(bǔ)充。1.3.3數(shù)據(jù)科學(xué)實(shí)踐案例北京郵電大學(xué)計(jì)算機(jī)學(xué)院石川編案例2沃爾瑪與社交大數(shù)據(jù)2011年，沃爾瑪成立大數(shù)據(jù)公司W(wǎng)almartlabs，旨在通過深度挖掘消費(fèi)者在社交網(wǎng)站上產(chǎn)生的峰值數(shù)據(jù)預(yù)測商品和消費(fèi)需求。通過對Twitter、Facebook上的時(shí)事熱點(diǎn)挖掘，工程師們分析消費(fèi)者在社交網(wǎng)絡(luò)上展現(xiàn)的興趣，預(yù)測他們下一個(gè)可能購買的產(chǎn)品，實(shí)施精準(zhǔn)推送。從而將大數(shù)據(jù)時(shí)代的挑戰(zhàn)轉(zhuǎn)化機(jī)遇，獲得了更好的發(fā)展。圖1-17Walmartlabs1.3.3數(shù)據(jù)科學(xué)實(shí)踐案例北京郵電大學(xué)計(jì)算機(jī)學(xué)院石川編案例3大數(shù)據(jù)與智慧城市智慧城市(smartcity)這一概念發(fā)端于20世紀(jì)80年代的信息城市(informationcity)，2009年，IBM公司首次提出了智慧城市愿景，使得智慧城市理念與實(shí)踐在全球范圍內(nèi)迅速傳播。圖1-18智慧城市的發(fā)展歷程