1、 計(jì)算機(jī)與數(shù)據(jù)科學(xué)學(xué)院2019 年 12 月 17 日目錄12 2 3p451 1.1 開發(fā)目的隨著計(jì)算機(jī)技術(shù)以及互聯(lián)網(wǎng)的快速發(fā)展特別是網(wǎng)絡(luò)的普及，金融、通信等大眾行業(yè)對信息的需求越來越高，待處理的數(shù)據(jù)量也越來越大。與此同時，人們對復(fù)雜查詢操作能力的需求以及高性能聯(lián)機(jī)事務(wù)處理能力也在不斷提高,分析核心數(shù)據(jù)成為了公司發(fā)展的關(guān)鍵點(diǎn)，但是公司內(nèi)部的核心數(shù)據(jù)原始文件龐大，目前大部分是通過人工分析得出結(jié)論，因此分析處理海量數(shù)據(jù)成為待解決的問題。由于公司內(nèi)部的許多核心數(shù)據(jù)是必須要產(chǎn)生并且加以分析的，而眾多的公司系統(tǒng)則對產(chǎn)生和分析數(shù)據(jù)造成了相當(dāng)大的困難，一方面，大規(guī)模的數(shù)據(jù)需要強(qiáng)大的運(yùn)算能力才能夠加以分析，

2、傳統(tǒng)的單機(jī)處理已經(jīng)不能夠滿足當(dāng)前業(yè)務(wù)發(fā)展的需求，另一方面，眾多的業(yè)務(wù)系統(tǒng)，使得眾多數(shù)據(jù)的處理和分析更加困難，公司內(nèi)部存在著手工分析分布式系統(tǒng)數(shù)據(jù)結(jié)果的現(xiàn)狀不能夠得到改善，工作效率嚴(yán)重受到影響。因此，企業(yè)迫切的需要一個可以大規(guī)模集中處理和分析展現(xiàn)數(shù)據(jù)的系統(tǒng)模式，統(tǒng)籌規(guī)劃龐大的數(shù)據(jù)，實(shí)現(xiàn)高效處理。解決問題：此設(shè)計(jì)使用 Hadoop的相關(guān)技術(shù)和 HDFS文件系統(tǒng)，分析京東的需求，將海量原始數(shù)據(jù)通過 Windows下的 Mysql和 Linux Mysql轉(zhuǎn)換成 HDFS數(shù)據(jù)，通過 Hive據(jù)進(jìn)行可視化，可視化通過交互式視覺表現(xiàn)的方式來幫助企業(yè)探索和理解復(fù)雜的數(shù)據(jù)?？梢暬c可視分析能夠迅速和有效地簡化

3、與提煉數(shù)據(jù)流，有助于使用者更快更好地從復(fù)雜數(shù)據(jù)中得到新的發(fā)現(xiàn)，成為用戶了解復(fù)雜數(shù)據(jù)、開展深入分析不可或缺的手段。1.2 開發(fā)語言表編程語言文本標(biāo)記語言數(shù)據(jù)庫語言Mysql SQLHiveQL11.3 開發(fā)環(huán)境表文件管理系統(tǒng)HDFS22 2.1 數(shù)據(jù)處理數(shù)據(jù)處理把數(shù)據(jù)轉(zhuǎn)換成便于觀察分析、傳送或進(jìn)一步處理的形式。以便從大量的原始數(shù)據(jù)中抽取部分?jǐn)?shù)據(jù)，推導(dǎo)出對人們有價值的信息以作為行動和決策的依據(jù)。利用計(jì)算機(jī)科學(xué)地保存和管理經(jīng)過處理(如校驗(yàn)、整理等)的大量數(shù)據(jù)，以便人們能方便而充分地利用這些寶貴的信息資源。導(dǎo)入復(fù)制導(dǎo)入 入圖2.2 數(shù)據(jù)可視化數(shù)據(jù)信息會員占比京東銷售數(shù)據(jù)總計(jì)平臺分類用戶印象印象榜TOP

4、5圖 22.2.1數(shù)據(jù)信息商品類型手機(jī)型號手機(jī)網(wǎng)絡(luò)圖2.2.2會員占比企業(yè)會員鉆石會員金牌會員銀牌會員銅牌會員注冊會員圖2.2.3京東銷售數(shù)據(jù)總計(jì)云南江蘇北京上海重慶河北河南遼寧湖南黑龍江圖32.2.4平臺分類安卓手機(jī)微信購物京東PC 端QQ購物Iphone圖2.2.5用戶印象系統(tǒng)流暢外觀漂亮電池耐用待機(jī)時間照相不錯分辨率高國民手機(jī)能齊全價比高圖2.2.6印象榜TOP5功能齊全性價比高系統(tǒng)流暢外觀漂亮圖43 在本次的系統(tǒng)中主要用到了 EclipseMySQLHive Sqoop 傳輸數(shù)據(jù)；用Java API 連接數(shù)據(jù)庫；用Eclipse 寫 Java 代碼，操作Hive 數(shù)據(jù)庫，導(dǎo)出數(shù)據(jù)；用獲

5、得的數(shù)據(jù)，利用 Echarts 平臺進(jìn)行展示數(shù)據(jù)可視化。相關(guān)技術(shù)與原理介紹如下：3.1 HadoopHadoop 是一個由 Apache 基金會所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)。用戶可以在不了解分布式底層細(xì)節(jié)的情況下，開發(fā)分布式程序。充分利用集群的威力進(jìn)行高速運(yùn)算和存儲。Hadoop 的框架最核心的設(shè)計(jì)就是：HDFS 和 MapReduceHDFS 為海量的數(shù)據(jù)提供了存儲，則 MapReduce 為海量的數(shù)據(jù)提供了計(jì)算。Hadoop原本來自于谷歌一款名為MapReduceMapReduce框架可以把一個應(yīng)用程序分解為許多并行計(jì)算指令，跨大量的計(jì)算節(jié)點(diǎn)運(yùn)行非常巨大的數(shù)據(jù)集。使用該框架的一個典型例子就是

6、在網(wǎng)絡(luò)數(shù)據(jù)上運(yùn)行的搜索算法。Hadoop 最初只與網(wǎng)頁索引有關(guān)，迅速發(fā)展成為分析大數(shù)據(jù)的領(lǐng)先平臺。目前有很多公司開始提供基于 Hadoop 的商業(yè)軟件、支持、服務(wù)以及培訓(xùn)。Cloudera 2008 年開始提供基于 Hadoop 的軟件和服務(wù)。GoGrid 2012 Cloudera合作加速了企業(yè)采納基于 Hadoop 應(yīng)用的步伐。Dataguise 公司是一家數(shù)據(jù)安全公司，同樣在 2012 年該公司推出了一款針對 Hadoop 的數(shù)據(jù)保護(hù)和風(fēng)險(xiǎn)評估。Hadoop 地在 Hadoop 性、高效性、高容錯性、低成本優(yōu)點(diǎn)。Hadoop 得以在大數(shù)據(jù)處理應(yīng)用中廣泛應(yīng)用得益于其自身在數(shù)據(jù)提取、變形和加

7、載(ETL)方面上的天然優(yōu)勢。Hadoop 的分布式架構(gòu)，將大數(shù)據(jù)處理引擎盡可能的靠近存儲，對例如像 ETL 這樣的批處理操作相對合適，因?yàn)轭愃七@樣操作的批處理結(jié)果可以直接走向存儲。Hadoop 的MapReduce 功能實(shí)現(xiàn)了將單個任務(wù)打碎，并將碎片任務(wù)(Map)發(fā)送到多個節(jié)點(diǎn)上，之后再以單個數(shù)據(jù)集的形式加載(Reduce)到數(shù)據(jù)倉庫里。3.2 SqoopSqoop 是一個用來將 Hadoop 5MySQL,Oracle,Postgres Hadoop（Hive）的 HDFS中，也可以將 HDFS的數(shù)據(jù)導(dǎo)進(jìn)到關(guān)系型數(shù)據(jù)庫中。Sqoop項(xiàng)目開始于 2009年，最早是作為 Hadoop的一個第三

8、方模塊存在，后來為了讓使用者能夠快速部署，也為了讓開發(fā)人員能夠更快速的迭代開發(fā)，Sqoop獨(dú)立成為一個Apache項(xiàng)目。3.3 MySQLMySQL MySQLAB 公司開發(fā)，目前屬于Oracle 旗下產(chǎn)品。MySQL 是最流行的關(guān)系型數(shù)據(jù)庫管理系統(tǒng)之一，在 WEB 應(yīng)用方面，MySQL是最好的 RDBMS (Relational Database Management System，關(guān)系數(shù)據(jù)庫管理系統(tǒng)) 應(yīng)用軟件之一。MySQL 是一種關(guān)系數(shù)據(jù)庫管理系統(tǒng)，關(guān)系數(shù)據(jù)庫將數(shù)據(jù)保存在不同的表中，而不是將所有數(shù)據(jù)放在一個大倉庫內(nèi)，這樣就增加了速度并提高了靈活性。MySQL所使用的 SQL語言是用于訪

9、問數(shù)據(jù)庫的最常用標(biāo)準(zhǔn)化語言。MySQL 軟件采用了雙授權(quán)政策，分為社區(qū)版和商業(yè)版，由于其體積小、速度快、總體擁有成本低，尤其是開放源碼這一特點(diǎn)，一般中小型網(wǎng)站的開發(fā)都選擇 MySQL作為網(wǎng)站數(shù)據(jù)庫。3.4 HiveHive是一種數(shù)據(jù)倉庫架構(gòu)，建立在 Hadoop之上。主要作用：存儲、查詢、分析存放在 HDFS/HBase中的大規(guī)模數(shù)據(jù)。Hive有自己的類 SQL，即HQL，它將SQL解析為 M/RJob，然后在Hadoop 上執(zhí)行。允許開發(fā)自定義 Mapper 和 Reducer 來處理內(nèi)建的 Mapper 和ReducerUDF）。而啟動MapReduce是一個高延遲的一件事，每次提交任務(wù)和

10、執(zhí)行任務(wù)都需要消耗很多時間，這也就決定 Hive只能處理一些高延遲的應(yīng)用。存儲原理：Hive的數(shù)據(jù)存儲在 HDFS上，Hive的表其實(shí)就是 HDFS的目錄，Hive沒有自己的數(shù)據(jù)存儲格式，存儲結(jié)構(gòu)主要包括：數(shù)據(jù)庫、文件、表、視圖、索引。Hive默認(rèn)可以直接加載 textHive的數(shù)據(jù)的列分隔符與行分隔符，Hive即可解析數(shù)據(jù)。所以，往 Hive表里面導(dǎo)入數(shù)據(jù)只是簡單的 HDFS系統(tǒng)中，那么是將數(shù)據(jù)復(fù)制到表所在的目錄中）。6Hive中主要包含：Table（表），ExternalTable（外部表），Partition（分區(qū)），Bucket（桶）幾種數(shù)據(jù)模型。Hive和 hadoop的集群關(guān)系：H

11、ive相當(dāng)于是Hadoop的客戶端工具，部署時不一定放在集群管理節(jié)點(diǎn)上。系統(tǒng)架構(gòu)：用戶接口包括 CLI（即 shell）、JDBC/ODBC、WebUI。Hive 是一種數(shù)據(jù)倉庫（DataWarehouse），數(shù)據(jù)倉庫將不同的數(shù)據(jù)庫中的數(shù)據(jù)源整合到一起進(jìn)行數(shù)據(jù)分析。數(shù)據(jù)倉庫的輸入方是各種各樣的數(shù)據(jù)源，最終的所以靠的是 ETLExtractTransform，數(shù)據(jù)轉(zhuǎn)換，把原始數(shù)據(jù)轉(zhuǎn)換成期望的格式和維度。如果用在數(shù)據(jù)倉庫的場景下，Transform 也包含數(shù)據(jù)清洗，清洗掉噪音數(shù)據(jù)。Load，數(shù)據(jù)加載，把處理后的數(shù)據(jù)加載到目標(biāo)處，比如數(shù)據(jù)倉庫。Hive的使用：(1)命令行方式 CLIshell腳本文

12、件方式：實(shí)際生產(chǎn)中用的最多的方式。(3)JDBC方式：HiveServer。(4)web GUI接口：hwi方式3.5 EchartsECharts 是一個使用 JavaScript 實(shí)現(xiàn)的開源可視化庫，涵蓋各行業(yè)圖表，滿足各種需求。遵循 Apache-2.0 開源協(xié)議，免費(fèi)商用。ECharts 兼容當(dāng)前絕大IE8/9/10/11ChromeFirefoxSafari等）及兼容多種設(shè)備，可隨時隨地任性展示。ECharts 1）豐富的可視化類型: 提供了常規(guī)的折線圖、柱狀圖、散點(diǎn)圖、餅圖、K 線圖，用于統(tǒng)計(jì)的盒形圖，用于地理數(shù)據(jù)可視化的地圖、熱力圖、線圖，用于關(guān)系數(shù)據(jù)可視化的關(guān)系圖、treema

13、p、旭日圖，多維數(shù)據(jù)可視 BI2）多種數(shù)據(jù)格式無需轉(zhuǎn)換直接使用:內(nèi)置的 dataset4.0+二維表，key-value 等多種格式的數(shù)據(jù)源，此外還支持輸入 TypedArray 格式的3: 4.0+），配合各種細(xì)致的優(yōu)化，ECharts 能夠展現(xiàn)千萬級的數(shù)據(jù)量。（4）移動端優(yōu)化:針對移動端交互做PC端5）多渲染方案，跨平臺使用:支持以 Canvas、SVG（4.0+）、VML 的形式渲染圖表。（6）深度的交互式數(shù)據(jù)探索:提供了 tooltip、數(shù)據(jù)刷選等開箱即用的交互組件，可以對數(shù)據(jù)進(jìn)行多維度數(shù)據(jù)篩取、視圖縮放、展示細(xì)節(jié)等交互77）多維數(shù)據(jù)的支持以及豐富的視覺編碼手段: 對于傳統(tǒng)的散點(diǎn)圖等，

14、傳8:數(shù)據(jù)的改變驅(qū)動圖表展現(xiàn)的改變。（9）絢麗的特效:針對線數(shù)據(jù)，點(diǎn)數(shù)據(jù)等地理數(shù)據(jù)的可視化提供了吸引眼球的特10）通過GL實(shí)現(xiàn)更多更強(qiáng)大絢麗的三維可視化:在 VR，大屏場景里實(shí)現(xiàn)三11）無障礙訪問（4.0+:支持自動根據(jù)圖表配置項(xiàng)智能生成描述，使得盲人可以在朗讀設(shè)備的幫助下了解圖表內(nèi)容，讓圖表可以被更多人群訪問！3.6 JDBCJDBC（Java數(shù)據(jù)庫連接）是一種用于執(zhí)行SQL語句的 JavaAPI，可以為多種 Java語言編寫的類和接口組成.JDBC提供了一種基準(zhǔn)，據(jù)此可以構(gòu)建更高級的工具和接口，使數(shù)據(jù)庫開發(fā)人員能夠編寫數(shù)據(jù)庫應(yīng)用程序，JDBC實(shí)現(xiàn)了所有這些面向標(biāo)準(zhǔn)的目標(biāo)并且具有簡單，嚴(yán)格類

15、型定義且高性能實(shí)現(xiàn)的接口。流程原理：12、在Java程序中加載驅(qū)動程序。3 DriverManager類創(chuàng)建數(shù)據(jù)庫連接對象 Connection。DriverManager類作用于 Java程序和 JDBC驅(qū)動程序之間，用于檢查所加載的驅(qū)動程序是否可以建立連接，然后通過它的 getConnection方法，根據(jù)數(shù)據(jù)庫的 URL、用戶名和密碼，創(chuàng)建一個 JDBC Connection 對象。4、創(chuàng)建Statement對象：Statement 類的主要是用于執(zhí)行靜態(tài) SQL語句并返回它所生成結(jié)果的對象。通過 Connection 對象的 createStatement()方法可以創(chuàng)建一個State

16、ment對象。5、調(diào)用 Statement對象的相關(guān)方法執(zhí)行相對應(yīng)的 SQL 語句：通過 execuUpdate()方法用來數(shù)據(jù)的更新，包括插入和刪除等操作。6、關(guān)閉數(shù)據(jù)Connection的 close()方法及時關(guān)閉數(shù)據(jù)連接。主要用途：簡單地說，JDBC 可做三件事：與數(shù)據(jù)庫建立連接、發(fā)送 操作數(shù)據(jù)庫的語句并處理結(jié)果。3.7 HDFSHadoop 由許多元素構(gòu)成。其最底部是 Hadoop Distributed File System（HDFS），它存儲 Hadoop 集群中所有存儲節(jié)點(diǎn)上的文件。HDFS（對于本文）的8上一層是 MapReduce JobTrackers 和 TaskTr

17、ackers 對 Hadoop分布式計(jì)算平臺最核心的分布式文件系統(tǒng) HDFS、MapReduce處理過程，以及數(shù)據(jù)倉庫工具 Hive和分布式數(shù)據(jù)庫 Hbase的介紹，基本涵蓋了 Hadoop分布式平臺的所有技術(shù)核心。對外部客戶機(jī)而言，HDFS就像一個傳統(tǒng)的分級文件系統(tǒng)?？梢詣?chuàng)建、刪除、移動或重命名文件，等等。但是 HDFS 的架構(gòu)是基于一組特定的節(jié)點(diǎn)構(gòu)建的，這是由它自身的特點(diǎn)決定的。這些節(jié)點(diǎn)包括 NameNode（僅一個），它在 HDFS內(nèi)部提供元數(shù)據(jù)服務(wù)；DataNode HDFS NameNode，因此這是 HDFS 的一個缺點(diǎn)（單點(diǎn)失?。４鎯υ?HDFS 中的文件被分成塊，然后將這些塊

18、復(fù)制到多個計(jì)算機(jī)中（DataNode）。這與傳統(tǒng)的 RAID 架構(gòu)大不相同。塊的大?。ㄍǔ?64MB）和復(fù)制的塊數(shù)量在創(chuàng)建文件時由客戶機(jī)決定。NameNode 可以控制所有文件操作。HDFS內(nèi)部的所有通信都基于標(biāo)準(zhǔn)的 TCP/IP協(xié)議。94 4.1 數(shù)據(jù)處理實(shí)現(xiàn)1、將海量數(shù)據(jù)（）導(dǎo)入到 Window Mysql(表 new1)，然后導(dǎo)出為 sql 文件；2、復(fù)制到 Linux 共享文件夾里（以防虛擬機(jī)卡死）然后啟動 Mysql 服務(wù)： 進(jìn)入 Mysql 命令行： sql 文件導(dǎo)入數(shù)據(jù)到 Linux Mysql 中：查看數(shù)據(jù)庫中是否成功導(dǎo)入： 3、利用 Sqoop 上傳 Mysql 數(shù)據(jù)到 H

19、DFS(input2 文件夾不能存在： 1查看 HDFS 數(shù)據(jù)是否導(dǎo)入成功： 啟動 Hive 的兩個服務(wù)使用默認(rèn)數(shù)據(jù)庫 default 創(chuàng)建表 HDFS 數(shù)據(jù)導(dǎo)入 Hive： 104.2Java代碼設(shè)計(jì)實(shí)現(xiàn)由于數(shù)據(jù)源龐大，對數(shù)據(jù)分析造成很大困難。利用 Eclipse Jee Oxygen 工具查詢對可視化分析有價值的數(shù)據(jù)，本設(shè)計(jì)共定義五個 Java 類，如下：Area.javaDatanum.javaMember.javaUserimpression.javaUserplat.java。它們分別對應(yīng)可視化各省或直轄市銷售數(shù)據(jù)總計(jì)、京東銷售數(shù)據(jù)總計(jì)、會員占比、用戶印象、平臺分類這五模塊內(nèi)容。 =

20、 11= = = + =12= =13= = = = +/4、Userimpression.java（數(shù)據(jù)部分省略） =14= = = = = = = = =;15= *了= 東 =16= 東 = = = = + 4.3 可視化實(shí)現(xiàn)工作中，無論是哪一種場景，都要接觸數(shù)據(jù)，接觸表達(dá)。數(shù)據(jù)可視化就是表+多數(shù)企業(yè)正逐漸從傳統(tǒng)的流程式管理方式過渡到基于數(shù)據(jù)的管理方式。這是一種必然趨勢，數(shù)據(jù)可視化能夠幫助分析的人對數(shù)據(jù)有更全面的認(rèn)識，獲得更有商業(yè)價值的洞見和價值。對于本課設(shè)數(shù)據(jù)可視化，使用圖表類插件：Echarts。JavaScript 是一種高級的、多范式、解釋型的編程語言，是一門基于原型、JavaS

21、cript是一種基于對象和事件驅(qū)動并具有相對安全性的客戶端腳本語言。同時也是一種17廣泛用于客戶端 Web HTML JavaScript 是一種動態(tài)、弱類型、基于原型的語言，內(nèi)置支持類。CSS(層疊樣式表），控制HTML 語句樣式。例如，可以改變字符的大小，背景的顏色，圖像的排列等。 /* /* 3 /*18 19 ; ; 20 215 5.1 數(shù)據(jù)處理頁面圖圖圖圖22圖5.2 數(shù)據(jù)庫頁面圖圖23圖圖圖245.3 可視化頁面5.3.1 數(shù)據(jù)信息模塊每件商品的來源、性能皆不相同，其基本信息能幫助眾多消費(fèi)者了解商品，根據(jù)自身需求購買產(chǎn)品。本系統(tǒng)是在京東銷售的一款華為 4G 智能手機(jī)展開研究的。圖

22、5.3.2 會員占比模塊購買產(chǎn)品的消費(fèi)者階層不同，決定著產(chǎn)品以后主要的面向?qū)ο螅崆盀椴煌髽I(yè)會員、鉆石會員、金牌會員、銀牌會員、銅牌會員、注冊會員。圖255.3.3 京東銷售數(shù)據(jù)總計(jì)模塊對各省份及直轄市銷售情況進(jìn)行統(tǒng)計(jì)和排名，可以直觀觀察出各地消費(fèi)水平和此產(chǎn)品在不同地區(qū)的受歡迎程度。此分析有利于京東預(yù)測下期重點(diǎn)在哪些地區(qū)投放產(chǎn)品，銷售量大的地方提前在節(jié)日前存儲物資。圖5.3.4 平臺分類模塊通過對消費(fèi)者購買途徑分析可以直觀看出大眾消費(fèi)的主要平臺，從而加大對此途徑的宣傳力度，提高銷售量。圖5.3.5 用戶印象模塊對用戶印象進(jìn)行統(tǒng)計(jì)分析可以直觀反映出產(chǎn)品的性能，對產(chǎn)品性能不足的地方加以改善，進(jìn)行

23、優(yōu)化，使得產(chǎn)品受到更多消費(fèi)者的青睞。26圖5.3.6 印象榜模塊對消費(fèi)者使用產(chǎn)品的印象進(jìn)行排名反映出消費(fèi)者對此產(chǎn)品的滿意程度，使用本產(chǎn)品的重點(diǎn)關(guān)心方面，顯示出此商品的優(yōu)點(diǎn)，商家可以通過分析結(jié)果在銷售宣傳時突出優(yōu)點(diǎn)來提升銷售量。圖5.3.7 可視化整體界面對海量數(shù)據(jù)進(jìn)行處理、篩選，對有用信息進(jìn)行分析和可視化。此可視化界面可以直觀看出商品銷售總量和各地區(qū)消費(fèi)能力、消費(fèi)者購買途徑、用戶評價和產(chǎn)品主要銷售對象。通過直觀顯示方便商家企業(yè)對各種情況進(jìn)行預(yù)測，根據(jù)實(shí)際情況實(shí)時調(diào)整銷售手段。圖27此次課程設(shè)計(jì)從最初的茫然，到慢慢的進(jìn)入狀態(tài)，再到對思路逐漸的清晰，整個寫作過程難以用語言來表達(dá)。歷經(jīng)兩周的奮戰(zhàn)，緊張而又充實(shí)的課程設(shè)計(jì)終于落下了帷幕?；叵脒@段日子的經(jīng)歷和感受，我感慨萬千，在這次課程設(shè)計(jì)的過程中，我擁有了無數(shù)難忘的回憶和收獲。本文對海量數(shù)據(jù)分析系統(tǒng)的代碼架構(gòu)進(jìn)