1、網(wǎng)頁爬蟲解決方案1. 需求（質(zhì)量、性能）1. 對于復(fù)雜型文本（如：一個(gè)標(biāo)簽中包含多個(gè)要提取的詞或其他多余的詞）要進(jìn)行分詞處理。2. 對于無法處理的頁面或文件，需將整個(gè)頁面或文件以二進(jìn)制形式保存。3. 對于關(guān)鍵字段（如：處罰對象、處罰時(shí)間等），確保精確度在99%以上，要求去掉HTML標(biāo)簽、標(biāo)點(diǎn)符號和無關(guān)單詞。4. 提高爬蟲的性能，對于增量數(shù)據(jù)要求在一小時(shí)內(nèi)爬取完成。5. 針對現(xiàn)有爬蟲無法達(dá)到上述目標(biāo)，需調(diào)整項(xiàng)目方案。2. 開發(fā)方案2.1.分布式架構(gòu)整個(gè)爬取過程采用分布式架構(gòu)，對于90多個(gè)網(wǎng)站來說，將任務(wù)并行處理，可以有效的提高爬取效率。采用Linux+Hadoop進(jìn)行分布式架構(gòu)搭建，Hadoop

2、的框架最核心的設(shè)計(jì)就是：HDFS和MapReduce。HDFS為海量的數(shù)據(jù)提供了存儲，則MapReduce為海量的數(shù)據(jù)提供了計(jì)算。Hadoop是一個(gè)能夠讓用戶輕松架構(gòu)和使用的分布式計(jì)算平臺。用戶可以輕松地在Hadoop上開發(fā)和運(yùn)行處理海量數(shù)據(jù)的應(yīng)用程序。它主要有以下幾個(gè)優(yōu)點(diǎn)：1. 高可靠性。Hadoop按位存儲和處理數(shù)據(jù)的能力值得人們信賴。2. 高擴(kuò)展性。Hadoop是在可用的計(jì)算機(jī)集簇間分配數(shù)據(jù)并完成計(jì)算任務(wù)的，這些集簇可以方便地?cái)U(kuò)展到數(shù)以千計(jì)的節(jié)點(diǎn)中。3. 高效性。Hadoop能夠在節(jié)點(diǎn)之間動態(tài)地移動數(shù)據(jù)，并保證各個(gè)節(jié)點(diǎn)的動態(tài)平衡，因此處理速度非?？?。4. 高容錯(cuò)性。Hadoop能夠自動保

3、存數(shù)據(jù)的多個(gè)副本，并且能夠自動將失敗的任務(wù)重新分配。5. 低成本。與一體機(jī)、商用數(shù)據(jù)倉庫以及QlikView、Yonghong Z-Suite等數(shù)據(jù)集市相比，hadoop是開源的，項(xiàng)目的軟件成本因此會大大降低。 采用分布式架構(gòu)，實(shí)現(xiàn)爬蟲的并行計(jì)算，可以有效滿足對于該爬蟲的性能要求。多臺虛擬機(jī)可以并行的爬取網(wǎng)站的數(shù)據(jù)，并且可以并發(fā)的對數(shù)據(jù)庫進(jìn)行寫操作。2.2.熱詞詞庫與分詞引擎構(gòu)建行政處罰數(shù)據(jù)熱刺詞庫。分析行政處罰網(wǎng)站的文本語義以及組織結(jié)構(gòu)，采用人工分析或機(jī)器學(xué)習(xí)模型提取關(guān)鍵的、經(jīng)常使用的熱詞，構(gòu)建熱詞詞庫。中文分詞就是將一段中文的字序列切分成詞序列的過程，基于詞庫的分詞方法，它是按照一定的策略將待分析的漢字串與一個(gè)“充分大的”機(jī)器詞典中的詞條進(jìn)行匹配。若在詞庫中找到某個(gè)字符串，則匹配成功。該方法有三個(gè)要素，即分詞詞典、文本掃描順序和匹配原則。根據(jù)構(gòu)建的熱詞詞庫以及標(biāo)識符，對文本進(jìn)行中文分詞處理，切分包含該詞的最小子串作為需要爬取的內(nèi)容，提高從非結(jié)構(gòu)化數(shù)據(jù)中提取結(jié)構(gòu)化數(shù)據(jù)的質(zhì)量。由于絕大多數(shù)政府網(wǎng)站的數(shù)據(jù)不規(guī)范，建設(shè)熱詞詞庫以及分詞引擎也有利于后期維護(hù)，有更強(qiáng)的適應(yīng)性。3. 開發(fā)周期雖然開發(fā)工作是在原來的基礎(chǔ)上進(jìn)行的，但為了能滿足需