1、南京第五十五所技術(shù)開發(fā)先電云計(jì)算軟件服務(wù)-大數(shù)據(jù)開發(fā)JavaEE 環(huán)境部署手冊(cè)版本：先電 Cloud-saas-bigdata development -v2.2.0發(fā)布日期：2018 年 2 月 11 日南京第五十五所技術(shù)開發(fā)1南京第五十五所技術(shù)開發(fā)版本修訂說明2修訂版本修訂時(shí)間修訂說明V1.02017.4.25第一次發(fā)布V1.12017.4.27調(diào)整相應(yīng)文字描述，及截圖工具類部分增加相應(yīng)功能代碼V2.12017.4.28糾正部分截圖和對(duì)應(yīng)的文字說明V2.1.12017.5.3增加了hadoop 開發(fā)環(huán)境配置，修改了鏡像版本:XianDian-BigData-Mahout-v0.3.ovaV

2、2.2.02017.12.15增加 2.1.5 中sql 文件路徑描述V2.2.12018.2.11軟件版本變更，文檔修改南京第五十五所技術(shù)開發(fā)目 錄1.開發(fā)環(huán)境安裝51.1.安裝配置 JDK51.2.eclipse 安裝81.3.Tomcat 安裝91.4.Mysql Server 安裝111.5.Mysql 客戶端安裝201.6.配置 eclipse Server221.7.MongoDB 安裝281.7.1.Window 下安裝 MongoDB281.7.2.Window 下配置 MongoDB322.示例工程導(dǎo)入362.1.數(shù)據(jù)導(dǎo)入362.1.1.導(dǎo)入 mysql 數(shù)據(jù)庫(kù)362.1.2

3、.導(dǎo)入 mongodb 數(shù)據(jù)庫(kù)392.1.3.Hbase 的建表過程412.2.導(dǎo)入工程422.3.系統(tǒng)配置462.3.1.xueqing-client462.3.2.xueqing-server483.工程說明493.1.功能需求503.1.1.崗位分析503.1.2.就業(yè)分析523.2.程序架構(gòu)543.2.1.xueqing-client543.2.2.xueqing-server553.2.3.xueqing-web563南京第五十五所技術(shù)開發(fā)3.2.4.主要工作流程564.技術(shù)支持564南京第五十五所技術(shù)開發(fā)1. 開發(fā)環(huán)境安裝大數(shù)據(jù)JavaEE 網(wǎng)絡(luò)應(yīng)用開發(fā)采用java 技術(shù)平臺(tái)，在W

4、in7 下搭建開發(fā)環(huán)境需要安裝JDK，Mysql 數(shù)據(jù)庫(kù)，Eclipse。所有的安裝軟件都在發(fā)布的軟件包內(nèi)，無(wú)須。具體步驟如下：1.1. 安裝配置 JDK（1）獲取 JDK 安裝程序可在 Orcale 官網(wǎng)地址需要的 JavaSE 安裝文件，地址如下：。（2）打開 JDK 安裝程序，彈出框，如圖 6-1 所示：圖 6-1 開始安裝 JavaSDK（3）設(shè)置安裝路徑，如圖 6-2 所示：5南京第五十五所技術(shù)開發(fā)圖 6-2 設(shè)置安裝路徑單擊“更改”按鈕，可以修改安裝路徑。單擊“下一步”按鈕，安裝 JDK。在這個(gè)步驟中可以在可選安裝列表框中選擇要安裝的內(nèi)容。（4）安裝 JRE在安裝完 JDK 后會(huì)彈

5、出 JRE 安裝窗口（此處需要注意，修改安裝路徑必須和 jdk 在同一目錄下，而不是安裝在 jdk 目錄下），單擊“下一步”按鈕進(jìn)行安裝，如圖 6-3 所示。6南京第五十五所技術(shù)開發(fā)圖 6-3JRE 安裝窗口（5）驗(yàn)證安裝是否安裝完成后需要驗(yàn)證 Java 環(huán)境是否安裝。驗(yàn)證方式有多種，可以編寫一個(gè)最簡(jiǎn)單的Java 程序文件然后編譯執(zhí)行它，也可以通過在 CMD 窗口輸入“java version”指令進(jìn)行驗(yàn)證，如圖 6-4 所示。圖 6-4 驗(yàn)證 java 環(huán)境安裝情況7南京第五十五所技術(shù)開發(fā)1.2.eclipse 安裝1)解壓文件：解壓“eclipse-jee-kepler-SR2-win32

6、-x86_64”壓縮包即可，解壓的目錄路徑不要包含中文，解壓后進(jìn)入 eclipse 目錄，運(yùn)行 eclipse.exe 程序可以運(yùn)行 eclipse。如下圖。2)選擇工作目錄，項(xiàng)目工程目錄也不要有中文路徑，如下：3)選擇菜單 Window/Preference，選擇 General>Workspace,選擇 Text file encoding的 Other，設(shè)置工作空間的代碼編碼語(yǔ)言“UTF-8”，如下：8南京第五十五所技術(shù)開發(fā)Eclipse IDE 安裝完成。1.3.Tomcat 安裝1)直接解壓 Tomcat 軟件包“apache-tomcat-7.0.67.zip”，注意路徑不要

7、包含中文，如下：2)運(yùn)行 Tomcat，進(jìn)入 apache-tomcat-7.0.67 目錄bin，點(diǎn)擊啟動(dòng) startup.bat，彈出臺(tái)，正9南京第五十五所技術(shù)開發(fā)常啟動(dòng)。如下：3)啟動(dòng)后進(jìn)入瀏覽器，輸入：，端在參考以上臺(tái)“http-bio-8080”輸出。Tomcat 運(yùn)行。4)測(cè)試以后，關(guān)閉 tomcat。10南京第五十五所技術(shù)開發(fā)1.4. Mysql Server 安裝網(wǎng)盤用戶表使用數(shù)據(jù)庫(kù)管理，數(shù)據(jù)庫(kù)采用 mysql。1)點(diǎn)擊 mysql5.0 安裝程序“mysqlSetup.exe”，點(diǎn)擊Next，執(zhí)行下一步。2)在出現(xiàn)選擇安裝類型的窗口中，有“typical（默認(rèn)）”、“Comp

8、lete（完全）”、“Custom（用戶自定義）”三個(gè)選項(xiàng)，我們選擇“Custom”，單擊“next”繼續(xù)安裝，：11南京第五十五所技術(shù)開發(fā)3)在出現(xiàn)自定義安裝界面中選擇 mysql 數(shù)據(jù)庫(kù)的安裝路徑”這里我設(shè)置的是“d:ProgramFileMySQL”，在“Developer Components（開發(fā)者部分）”上左鍵單擊，選擇“This featureand all subfeatures will be installed on local hard drive.”，完成上述操作后單擊“next”繼續(xù)安裝，：4)接下來進(jìn)入到準(zhǔn)備安裝的界面，首先確認(rèn)一下先前的設(shè)置，如果有誤，按“back

9、”返回，沒有錯(cuò)誤，單擊“Install”按鈕繼續(xù)安裝，：12南京第五十五所技術(shù)開發(fā)5)單擊“Install”按鈕之后出現(xiàn)如下正在安裝的界面，：6)安裝完成后出現(xiàn)界面，選擇 skip sign-Up 單擊“next”就行。13南京第五十五所技術(shù)開發(fā)7)點(diǎn)擊“finish”。8)MySQL 數(shù)據(jù)庫(kù)完成之后出現(xiàn)如下的配置界面向?qū)?，單擊“next”進(jìn)行配置，：14南京第五十五所技術(shù)開發(fā)9)在打開的配置類型窗口中選擇配置的方式“Detailed Configuration（詳細(xì)配置）”，單擊“next”繼續(xù)。：10)在出現(xiàn)的窗口中，選擇服務(wù)器的類型，“Developer Machine（開發(fā)測(cè)試類）”，

10、單擊“next”繼續(xù)，：15南京第五十五所技術(shù)開發(fā)11)在出現(xiàn)的配置界面中選擇 mysql 數(shù)據(jù)庫(kù)的用途，選擇“Multifunctional Database（通用多功能型）”，單擊“next”繼續(xù)配置，：12)在出現(xiàn)的界面中，對(duì) InnoDB Tablespace 進(jìn)行配置，選擇 InnoDB數(shù)據(jù)庫(kù)文件位置，默認(rèn)安裝目錄“Installation Path”，點(diǎn)擊“Next”：16南京第五十五所技術(shù)開發(fā)13)在打開的頁(yè)面中，選擇 mysql 的并發(fā)設(shè)置，選擇“Manual Setting（手動(dòng)設(shè)置）”，單擊“next”繼續(xù)，：14)在打開的頁(yè)面中設(shè)置選擇啟用 TCP/IP，“Enable

11、TCP/IP Networking”，默認(rèn)的端口是“3306”，并啟用嚴(yán)格的語(yǔ)法設(shè)置“Enable Strict Mode”，單擊“next”繼續(xù)，如圖所示：17南京第五十五所技術(shù)開發(fā)15)在打開的字符編碼的頁(yè)面中，選擇“Manual Selected Default Character Set / Collation”，“Character Set”選擇“uft-8”接下來單擊“next”，：16)在打開的頁(yè)面中選擇是否將 mysql 安裝為 windows 服務(wù)選擇，“Install As WindowsService”和“Include Bin Direction In Windows

12、PATH”選項(xiàng)全部選擇，單擊“next”繼續(xù)配置，：18南京第五十五所技術(shù)開發(fā)17)在打開的頁(yè)面中設(shè)置是否要修改默認(rèn) root 用戶（超級(jí)管理員）的默認(rèn)為空），“Newroot password”，如果要修改，就在此填入新，并啟用 root的功能，不要?jiǎng)?chuàng)建用戶，設(shè)置為“123456”，單擊“next”繼續(xù)配置，：18)到這里所有的配置操作都已經(jīng)完成，單擊 Execute 按鈕執(zhí)行配置，：19南京第五十五所技術(shù)開發(fā)19)安裝后，出現(xiàn)如下界面。1.5.Mysql 客戶端安裝使用 Navicat 試用版（30 天試用）作為 Mysql 的客戶端，安裝步驟如下：1)運(yùn)行 Navicat 8.0.22.

13、exe 安裝程序。20南京第五十五所技術(shù)開發(fā)2)選中協(xié)議“同意”，點(diǎn)擊“下一步”。3)選擇安裝目錄，選擇可以安裝的目錄，點(diǎn)擊“下一步”。21南京第五十五所技術(shù)開發(fā)4)確認(rèn)后，點(diǎn)擊安裝，直至安裝完成，如下圖所示。1.6.配置 eclipse Server以下通過 eclipse 配置運(yùn)行庫(kù)和 tomcat server。1)配置 JDK：在主界面工具欄上找到 window -> preferences 選項(xiàng)，。22南京第五十五所技術(shù)開發(fā)2)在新彈出界面選擇 Java -> Installed JREs，選擇“Add”。3)選擇 standard VM，然后點(diǎn)擊 next。23南京第五

14、十五所技術(shù)開發(fā)4)在新彈出框中，這里就要用到 JRE home 和 JRE name，選擇你安裝 Java JDK 的位置，點(diǎn)擊“finish”即可。5)這時(shí)就可以看到已經(jīng)添加了 JRE，選擇 JRE 版本，同時(shí)設(shè)置 Eclipse 所使用 java 虛擬機(jī)大小。完成后點(diǎn)擊 OK。24南京第五十五所技術(shù)開發(fā)勾選添加的“VM”后，點(diǎn)擊“Edit”，25南京第五十五所技術(shù)開發(fā)在 Default VMargument 一欄可根據(jù)電腦配置設(shè)置內(nèi)存，比如“-Xms2048m -Xmx4096m”。點(diǎn)擊“Finish”完成。26南京第五十五所技術(shù)開發(fā)6)下面我們來配置 Ecplise 的服務(wù)器端軟件。首先

15、我們打開 eclipse，進(jìn)入偏好設(shè)置window/perference，如下圖所示。7)進(jìn)入偏好設(shè)置（perference），在偏好設(shè)置里找到 Server 下的 Runtime Environment，如下圖所示：27南京第五十五所技術(shù)開發(fā)8)在這里我們點(diǎn)擊 add 進(jìn)入，點(diǎn)擊 Apache Tomcat v7.0，并且鉤選 Create a new local server：9)點(diǎn)擊 Next 然后將安裝目錄添加進(jìn)去，JRE 選擇已安裝的 jdk 點(diǎn)擊 Finish。1.7.MongoDB 安裝1.7.1. Window 下安裝 MongoDB1） 直接打開軟件“mongodb-win3

16、2-x86_64-2008plus-ssl-v3.4-latest-signed.msi”,如下：28南京第五十五所技術(shù)開發(fā)2） 出現(xiàn)如下頁(yè)面，點(diǎn)擊“next”：3）勾選“I accept the tems in the License Agreement”，點(diǎn)擊“next”4）然后選擇“Custom”，點(diǎn)擊“next”：29南京第五十五所技術(shù)開發(fā)5）選擇安裝在 D:MongoDB，然后選擇安裝的組件（這里直接選擇默認(rèn)）6）點(diǎn)擊 Install30南京第五十五所技術(shù)開發(fā)7）選擇“Do not close applicationcontexts，A reboot will be required

17、”，然后點(diǎn)擊“ok”:8）安裝完成31南京第五十五所技術(shù)開發(fā)9）重啟一下計(jì)算機(jī)，然后再去配置環(huán)境1.7.2. Window 下配置 MongoDB1）創(chuàng)建文件夾 d:mongodbdatadb、d:mongodbdatalog，分別用來安裝 db 和日志文件，在 log 文件夾下創(chuàng)建一個(gè)日志文件 MongoDB.log，即 d:mongodbdatalogMongoDB.log2）在 D:MongoDBbin 文件處打開命令行窗口（按住 shift 點(diǎn)擊鼠標(biāo)右鍵，選擇打開）32南京第五十五所技術(shù)開發(fā)3）輸入：mongod -dbpath "d:mongodbdatadb"看

18、到如圖信息則說明啟動(dòng)，默認(rèn) MongoDB的端口是 27017，mysql 的是 33064）測(cè)試連接33南京第五十五所技術(shù)開發(fā)開一個(gè) cmd 窗口，進(jìn)入 mongodb 的bin 目錄，輸入 mongo 或者 mongo.exe，出現(xiàn)如下信息說明測(cè)試通過，此時(shí)我們已經(jīng)進(jìn)入了 test 這個(gè)數(shù)據(jù)庫(kù)。（輸入 exit 或者 ctrl+C 可）出現(xiàn) connecting to：mongodb:/:27017則表示測(cè)試通過5）當(dāng) mongod.exe 被關(guān)閉時(shí)，mongo.exe 就無(wú)法連接到數(shù)據(jù)庫(kù)了，因此每次想使用mongodb 數(shù)據(jù)庫(kù)都要開啟 mongod.exe 程序，所以比

19、較麻煩，此時(shí)我們可以將 MongoDB 安裝為 windows 服務(wù)還是運(yùn)行 cmd，進(jìn)入 bin 文件夾，執(zhí)行下列命令d:mongodbbin>mongod -dbpath "d:mongodbdatadb" -logpath "d:mongodbdatalogMongoDB.log"-install -serviceName "MongoDB"這里 MongoDB.log 就是開始建立的日志文件，-serviceName "MongoDB" 服務(wù)名為MongoDB34南京第五十五所技術(shù)開發(fā)出現(xiàn)以下：6）接

20、著啟動(dòng)mongodb 服務(wù)> d:mongodbbin>NET START MongoDB7）關(guān)閉服務(wù)和刪除進(jìn)程> d:mongodbbin>NET stop MongoDB(關(guān)閉服務(wù))> d:mongodbbin>mongod -dbpath "d:mongodbdatadb" -logpath"d:mongodbdatalogMongoDB.log" -remove -serviceName "MongoDB"(刪除，注意不是-install 了）35南京第五十五所技術(shù)開發(fā)2. 示例工程導(dǎo)入示例

21、工程導(dǎo)入包括系統(tǒng)的用戶表導(dǎo)入數(shù)據(jù)庫(kù)，cloudrecomm 工程導(dǎo)入 eclipse。導(dǎo)入完成后配置運(yùn)行環(huán)境。2.1. 數(shù)據(jù)導(dǎo)入2.1.1. 導(dǎo)入 mysql 數(shù)據(jù)庫(kù)導(dǎo)入用戶表數(shù)據(jù)庫(kù)文件 xueqing-client.sql1)點(diǎn)擊“文件”，創(chuàng)建連接。2)對(duì)照下圖輸入相應(yīng)信息。36南京第五十五所技術(shù)開發(fā)3)連接后看到如下界面。4)選中 localhost，右擊，選中“運(yùn)行批次任務(wù)文件”。37南京第五十五所技術(shù)開發(fā)38南京第五十五所技術(shù)開發(fā)5)解壓 cloudrecomm.zip 文件，選擇 xueqing-client.sql 文件，點(diǎn)擊開始導(dǎo)入。6)后顯示如下界面。2.1.2.導(dǎo)入 mong

22、odb 數(shù)據(jù)庫(kù)打開 mongoDB 安裝目錄的 bin 文件夾下，輸入“cmd”39南京第五十五所技術(shù)開發(fā)輸入命令：mongorestore -h -d employ -dir D:dbbackup employ 40南京第五十五所技術(shù)開發(fā)導(dǎo)入 employ , job_skill,question_survey 這三張表注：在 job_internet 與job_cloud,中包含聚類之后的崗位數(shù)據(jù)信息，用戶可以自行導(dǎo)入到數(shù)據(jù)庫(kù)之中2.1.3. Hbase 的建表過程Hbase 建表執(zhí)行”com.xiandian.douxue.insight.server.dao.HBa

23、seStorage.java”中的 main方法，在 Hbase 中國(guó)創(chuàng)建job_internet 與 job_cloud 表41南京第五十五所技術(shù)開發(fā)Hive 建表，需要在命令行之中輸入 hive，進(jìn)入到hive shell之中2.2. 導(dǎo)入工程1)打開 eclipse，找到菜單欄 fileImport，點(diǎn)擊 Import42public static void main(String args) HBaseStorage baseStorage = HBaseStorage.getInstance();baseStorage.setUp("10",

24、"2181", "/hbase-unsecure"); try baseStorage.createTable("job_internet", "RAW_DATA,TAG_DATA,PERCEPT_DATA"); baseStorage.createTable("job_cloud", "cloud"); catch (IOException e) / TODO Auto-generated catch block e.printStackTrace();南京第五十五所技術(shù)開

25、發(fā)43南京第五十五所技術(shù)開發(fā)2)選擇 General，雙擊“Existing Projects into Workspace”3)點(diǎn)擊"Browse"選擇導(dǎo)入的工程，點(diǎn)擊 Finish 即可。44南京第五十五所技術(shù)開發(fā)45南京第五十五所技術(shù)開發(fā)2.3. 系統(tǒng)配置2.3.1. xueqing-clientMysql 配置文件在 perties 中修改以下的參數(shù)：database.url=jdbc:mysql:/ <ip 地址>:3306/d<數(shù)據(jù)庫(kù)名稱>?autoReconnect=true&useUnicode=true&am

26、p;characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNulldatabase.username=<用戶名稱>database.password=<>46南京第五十五所技術(shù)開發(fā)MongoDB 配置文件在 perties 中配置文件如下：47#config database database.driverClassName=com.mysql.jdbc.Driver#database.url=jdbc:mysql:/8:3306/recomm?autoReconnect=t

27、rue&useUnicode=tr ue&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull#database.username=root #database.password=123456database.url=jdbc:mysql:/localhost:3306/xueqing-client?autoReconnect=true&useUnicode=t rue&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNul

28、ldatabase.username=root database.password=123456 #config collection pool pool.initialPoolSize=1 pool.minPoolSize=0 pool.maxPoolSize=2 pool.maxIdleTime=120 pool.acquireIncrement=1 #config hibernate propertieshibernate.dialect=org.hibernate.dialect.MySQL5InnoDBDialect #hibernate.dialect=org.hibernate.

29、dialect.MySQLMyISAMDialect hibernate.show_sql=falsehibernate.format_sql=false hibernate.jdbc.batch_size=50hibernate.hibernate.connection.SetBigStringTryClob=true hibernate.hibernate.archive.autodetection=class hibernate.hibernate.connection.charSet=UTF-8 hibernate.hibernate.cache.use_query_cache=fal

30、se hibernate.hibernate.cache.use_second_level_cache=falsehibernate.hibernate.ejb.naming_strategy=org.hibernate.cfg.ImprovedNamingStrategy南京第五十五所技術(shù)開發(fā)mongodb_url=<ip 地址>mongodb_port=27017(默認(rèn)端口)hdfs=hdfs:/6:8020(hdfs 地址)2.3.2. perties配置server_ip=10 （hbase

31、的服務(wù)地址）perties配置server_ip= （mongodb地址）server_port=27017 （mongodb端口）job_config.json中的配置"name": "云計(jì)算","url":（需要爬取數(shù)據(jù)的）"breakurl": "", （第一次爬取的地址，防止重復(fù)爬取）啟動(dòng)方式 :48server_ip= #search urlserver_port=27017server_ip=10 serv

32、er_port=2181parent_path=/hbase-unsecure#mongoDB 連接地址#mongodb_url=0 #mongodb_port=27017mongodb_url= mongodb_port=27017hdfs=hdfs:/6:8020南京第五十五所技術(shù)開發(fā)行” com.xiandian.douxue.insight.server”中的EduInsightServer.Java中的main啟動(dòng)程序們?cè)谶\(yùn)行服務(wù)的時(shí)候需要注意，爬取、與聚類需要運(yùn)行“com.xiandian.douxue.insight.serve

33、r.service.job”中的JobAnalysisService中運(yùn)行什么服務(wù)就將那項(xiàng)服務(wù)的代碼放開3. 工程說明本案例使用給定的招聘信息的數(shù)據(jù)集，分析和挖掘出云計(jì)算招聘最多需求的崗位，并通過 echarts.js 可視化框架展示該崗位展示變化曲線?；谄脚_(tái)大數(shù)據(jù)分析服務(wù)，使用給定的招聘信息的數(shù)據(jù)集和的技術(shù)技能點(diǎn)，推薦給該最佳匹配的崗位，并通過 echarts.js 可視化框架展示崗位和技能的匹配圖。本案例采用的崗位數(shù)據(jù)集是從 51job 官網(wǎng)的數(shù)據(jù)，參考，了您的權(quán)益請(qǐng)立即與我們！及時(shí)撤除！49Overridepublic ServiceState start() /1. 啟動(dòng)收集服務(wù)（蟲

34、）Service jobCollector = new JobCollectService(server, this); jobCollector.start();/ 2. 啟動(dòng)服務(wù)（）/Service jobCleaner = new JobCleanService(server, this);/jobCleaner.start();/ 3. 啟動(dòng)分析服務(wù)（聚類）/Service jobCluster = new JobClusterService(server, this);/jobCluster.start();return ServiceState.STATE_RUNNING;/* 啟動(dòng) main 函數(shù)* param args*/public static void main(String args) EduInsightServer vEduInsightServer = new EduInsightServer(); vEduInsightServer.start();南京第五十五所技術(shù)開發(fā)3.1. 功能需求1)崗位推薦的功能列表如下：3.1.1. 崗位分析.崗位統(tǒng)計(jì)50功