1、題 目：基于大數(shù)據(jù)的產(chǎn)業(yè)圈風險管控學院： 軟件學院 專業(yè)： 軟件工程 學生學號：1項目概述一、選題的來源與背景企業(yè)競爭競爭情報競爭情報源于軍事、政治領(lǐng)域。其含義就是的國家或政治，利用各種去收集、分析各種具有政事價值的情報為其服務(wù)，以取得對抗的主動性。隨著市場競爭的激化，該概念被于經(jīng)濟領(lǐng)域中，形成了企業(yè)競爭情報。企業(yè)競爭情報是指在經(jīng)濟活動中，企業(yè)為了戰(zhàn)勝對手，提高競爭能力而展開的對競爭對手、競爭環(huán)境的情報收集、分析，并作出相應(yīng)對策的情報活動。它是一個分析過程，它將原始的資料轉(zhuǎn)化為相關(guān)的、精確的、實用的知識，以滿足企業(yè)了解商業(yè)環(huán)境的需要，從而制定出爭取獲取競爭優(yōu)勢的或技術(shù)計劃。與普通的科技情報概念

2、相比，企業(yè)競爭情報更具針對性和智謀性，它是“關(guān)于競爭環(huán)境、競爭對手和競爭策略的情報”。競爭情報在企業(yè)發(fā)展中的作用企業(yè)智囊的決策作用：企業(yè)的決策者在制定決策時，往往需要一個過程，這個過程就是情報信息的收集、分析并做出實施方案的過程。2盡管這種過程是處于紙上談兵的思維、籌劃過程，但其對將要實施的方案具有舉足輕重的作用。在決策的過程中，其主要依據(jù)就是競爭情報。決策者通過對競爭情報的收集、分析、處理，減少或排除對客觀環(huán)境認識上的不定度、未知度、疑義度、混雜度，進而對客觀環(huán)境獲得正確認識，把握時機，看清形勢，的決策判斷。產(chǎn)品開發(fā)的導(dǎo)向作用：在的市場競爭中，單純依靠提高產(chǎn)品質(zhì)量是遠遠不夠的，還必須依靠技術(shù)

3、進步，不斷開發(fā)新產(chǎn)品，占領(lǐng)市場。在開發(fā)新產(chǎn)品的過程中，首先就應(yīng)以競爭情報作為向?qū)?，通過競爭情報去了解競爭對手的實力，去了解市場的需求，去確定產(chǎn)品開發(fā)的方向，做到“人無我有，人有我優(yōu)，人優(yōu)我廉，人廉我轉(zhuǎn)”。市場經(jīng)營的警示作用：處于競爭環(huán)境之中的企業(yè)，必須競爭情報對企業(yè)的警示作用。一個企業(yè)或企業(yè)生產(chǎn)的產(chǎn)品，無時不受到來自市場的壓力和 。而應(yīng)付 的良策之一就是“知己知彼”。對于正在暢銷或處于高速生長期的產(chǎn)品，也 著外部的競爭，隨時會進入滯銷或衰老期，要保持其暢銷不衰，必須依靠競爭情報。通過競爭情報，可以發(fā)現(xiàn)在市場需求、產(chǎn)品結(jié)構(gòu)、生產(chǎn)廠家等方面發(fā)生的一系列明顯或不明顯、宏觀或微觀的變化，可以充分掌握競

4、爭對手、競爭環(huán)境和有關(guān)信息，可以提前看到企業(yè) 的 。3二、選題開發(fā)意義與現(xiàn)實意義由上述分析的競爭情報在企業(yè)發(fā)展中的作用可以看出競爭情報的重要作用。產(chǎn)業(yè)圈風險管控 (bizbook)提供所關(guān)注的 信息，包含宏觀政策、行業(yè)動態(tài)、法律、競爭對手、合作伙伴及客戶等；覆蓋市場風險、法律風險、人事及組織變化風險、產(chǎn)品及 風險，以及行業(yè)參照等。應(yīng)用優(yōu)勢：多數(shù)據(jù)源整合：數(shù)據(jù)覆蓋范圍更廣。多樣化的展現(xiàn)方式：移動端、網(wǎng)頁，瀏覽、多種格式報告，并可與企業(yè)現(xiàn)有系統(tǒng)對接。低成本云數(shù)據(jù)：在上直接使用，無需本地安裝系統(tǒng)，低成本，高效率、實時信息更新。產(chǎn)品價值：市場風云變幻，掌握信息，決勝千里。企業(yè)競爭監(jiān)測服務(wù)，偵測市場和競

5、爭對手，尋找新商機，快人一步，確保競爭優(yōu)勢。監(jiān)測企業(yè)動態(tài)與風險、監(jiān)測競爭對手動態(tài)與風險、及時掌握宏觀行業(yè)政策與動態(tài)、全面掌控與。4三、項目與實習的關(guān)聯(lián)題目來源于本人在信科技實習所參與開發(fā)的 bizBook-產(chǎn)業(yè)圈風險管控項目信利用互聯(lián)網(wǎng)及大數(shù)據(jù)的前瞻技術(shù)，建立基于互聯(lián)網(wǎng)的信息。信對互聯(lián)網(wǎng)大數(shù)據(jù)有著獨到的見解，通過對行業(yè)市場信息和海量數(shù)據(jù)的整合、分析，幫助企業(yè)把握外部風險。在信科技實習期間，本人負責爬蟲算法的實現(xiàn)，相關(guān)數(shù)據(jù)爬取，數(shù)據(jù) etl算法實現(xiàn)，各種類型的數(shù)據(jù)，從 word、pdf、excel 等類型的文件中抽取文本數(shù)據(jù)以及消息推送模塊的開發(fā)等內(nèi)容。四、項目開發(fā)的內(nèi)容本項目面對企業(yè)用戶，發(fā)布

6、企業(yè)信用信息、商機、行業(yè)信息等，并提供、決策分析等信息推送服務(wù)?？筛鶕?jù)模糊搜索企業(yè)信息、監(jiān)測信息、行業(yè)信息、商機信息。 也可通過該系統(tǒng)查詢企業(yè)信用情況。系統(tǒng)發(fā)布企業(yè)信息、最新監(jiān)測、行業(yè)焦點、最新商機、企業(yè) 、。并通過這類信息為用戶推送風險信息。用戶設(shè)置個人資料、行業(yè)、競爭對手、合作伙伴、關(guān)注企業(yè)。系統(tǒng)通過這些資料獲取用戶感的信息范圍進行推送。5數(shù)據(jù)來源:1.用戶填寫企業(yè)相關(guān)信息，加入數(shù)據(jù)庫。2. 行業(yè)，數(shù)據(jù)庫接口提交。3. 第數(shù)據(jù)采購。4.相關(guān)信息數(shù)據(jù)爬取。目前主要的數(shù)據(jù)來源為網(wǎng)絡(luò)爬蟲獲取。我負責的內(nèi)容：數(shù)據(jù)抓取模塊完成企業(yè)信用信息公示系統(tǒng)份數(shù)據(jù)抓取（企業(yè)信用信息、經(jīng)營異常 、嚴重違法企業(yè)、

7、檢查公示、信息公告）。Etl(主要)對抓取的數(shù)據(jù)進行。數(shù)據(jù)。消息推送（兩部分。通知和。部分）包括的所有企業(yè)的N 個子模塊的內(nèi)容有新增時提醒如：1）企業(yè) 新增 1 條2）企業(yè)詳細信息有更新（企業(yè)信息變更）五、項目的重點與難點工作數(shù)據(jù)獲?。弘m然 web提供了成爬蟲框架，但針對不同類型的要使用不同的策略。最開始針對進行數(shù)據(jù)抓取，總結(jié)數(shù)據(jù)類型，后面修改為針對類型進行數(shù)據(jù)抓取，縮小代碼量。數(shù)據(jù)：etl 數(shù)據(jù)針對不同的數(shù)據(jù)類型進行，少數(shù)類型解決6百分之九十以上問題。采用枚舉的方式進行非表格類，避免無限枚舉，生成數(shù)據(jù)字典。Jsoup 進行表格類，迭發(fā)形成通用算法。各官網(wǎng)數(shù)據(jù)雜亂，涉及數(shù)據(jù)和模式識別。文件數(shù)據(jù)

8、抽?。豪?jar 包對 word、excel、pdf 等類型的文件抽取數(shù)據(jù)進行數(shù)據(jù)：多種分類方式，枚舉方式，避免清除需要的內(nèi)容，避免無限枚舉。六、特色工作最開始接收的是數(shù)據(jù)抓取工作，針對單個 單個類型設(shè)計抓取算法，做完十幾個省的數(shù)據(jù)抓取后開始考慮優(yōu)化總結(jié)，針對類型開始設(shè)計算法。使用少數(shù)類型解決絕大多數(shù)類型的抓取，特殊類型再進行單個設(shè)計。實習第二個月開始接手數(shù)據(jù) ，將抓取到的html 數(shù)據(jù) 為所需的格式化數(shù)據(jù)，主要面對的問題是 的準確性，格式，數(shù)據(jù) ，數(shù)據(jù)缺失等。后面開始總結(jié)通用于所有類型的 算法。從word、excel、pdf 等文件中抽取數(shù)據(jù)進行 。利用的PIO。七、參考文獻1，Maven

9、 3 in actionM,: 機械工業(yè)，2011,978-7-111-32154-5Computer Networks and ISDN Systems, 1995, Vol.27(6), pp.823-8297聯(lián)網(wǎng)多信息發(fā)布系統(tǒng)產(chǎn)品介紹消息推送系統(tǒng)-新浪Zhang Shuzhuang，Wu Zhigang，Luo Hao 一種高效的正則表達式匹配方法，2014, 24(6)一、項目背景簽約之前，您了解商業(yè)風險有多大嗎？市場風云變幻，掌握信息，才能決勝千里！企業(yè)競爭監(jiān)測服務(wù)，為您偵測市場和競爭對手，尋找新商機，快人一步，確保競爭優(yōu)勢。監(jiān)測企業(yè)動態(tài)與風險、監(jiān)測競爭對手動態(tài)與風險、及時掌握宏觀行

10、業(yè)政策與動態(tài)、全面掌控與。發(fā)現(xiàn)客戶潛在風險，減少潛在經(jīng)營損失。及時監(jiān)測相關(guān)的各種潛在風險，彌補信息盲點。二、理論基礎(chǔ)web爬蟲框架html 協(xié)議正則表達式、xpath、Hbase 數(shù)據(jù)庫Etl 數(shù)據(jù)maven 編程、java 語言、數(shù)據(jù)結(jié)構(gòu)、算法8三、解決問題的方法與步驟1步驟學習 web爬蟲框架、學習 html 協(xié)議、正則等基礎(chǔ)知識；現(xiàn)有的代碼怎樣進行的數(shù)據(jù)抓取和；嘗試自己進行設(shè)計抓取策略；驗證策略的正確性（實現(xiàn)）；對開發(fā)的結(jié)果進行單元測試。申請?zhí)釡y修改 bug。上線2系統(tǒng)運行的軟硬件環(huán)境軟件環(huán)境：eclipse，配置 maven，、hbase 數(shù)據(jù)庫、配置 host硬件環(huán)境：windows 系統(tǒng)3系統(tǒng)的部署企業(yè)的系統(tǒng)部署圖如下：9四、預(yù)期成果（效果）滿足逐步上線的新數(shù)據(jù)源工作，做到新的數(shù)據(jù)能用現(xiàn)有的代碼進行。Bug 量不超過三十個。貢獻的通用方法超過三十個。對已經(jīng)開發(fā)完成的代碼進行優(yōu)化，提高效率。畢業(yè)設(shè)計進度安排：序號畢業(yè)設(shè)計（）各階段內(nèi)容時間安排備注1實習。熟悉業(yè)務(wù)規(guī)則?？偨Y(jié)工作內(nèi)容。2016.2.14-2016.2.29完成2確定選題并撰寫開題和任務(wù)書2016.3.1-2016.3.8完成3開題答辯及實習中期檢查2016.3.8-2016.3.184準備畢業(yè)設(shè)計撰寫，畢業(yè)設(shè)計中期答辯2016.3.18-2016.4.155