分詞算法優(yōu)化——局域網(wǎng)FTP搜索引擎設(shè)計(jì)與實(shí)現(xiàn)的中期報(bào)告一、背景傳統(tǒng)的文件搜索引擎大多是基于互聯(lián)網(wǎng)的，對(duì)于局域網(wǎng)內(nèi)部的文件搜索功能比較弱，尤其是在企業(yè)內(nèi)部，需要頻繁地在本地局域網(wǎng)內(nèi)尋找和共享文件。因此，我們開(kāi)發(fā)了一種基于局域網(wǎng)的FTP搜索引擎，該搜索引擎能夠快速找到本地網(wǎng)絡(luò)內(nèi)的FTP服務(wù)器并搜索其中的文件。二、簡(jiǎn)介該FTP搜索引擎是一種基于分詞算法的搜索引擎，主要通過(guò)對(duì)文件名和文件內(nèi)容進(jìn)行分詞，將所有文件信息存儲(chǔ)到數(shù)據(jù)庫(kù)中，并通過(guò)檢索，查詢?cè)摂?shù)據(jù)庫(kù)中的信息。三、分詞算法的優(yōu)化1.中文分詞對(duì)于中文的分詞，我們采用了結(jié)巴分詞器來(lái)進(jìn)行處理。結(jié)巴分詞器是業(yè)界比較優(yōu)秀的中文分詞器，具有分詞精度高、使用簡(jiǎn)單、速度快等特點(diǎn)。2.英文分詞對(duì)于英文的分詞，我們采用了NLTK工具包中的WordPunctTokenizer來(lái)進(jìn)行處理。相比于其他的英文分詞器，WordPunctTokenizer更加準(zhǔn)確地識(shí)別單詞。3.文件內(nèi)容分詞對(duì)于文件內(nèi)容的分詞，我們采用了jieba分詞器和NLTK工具包中的word_tokenize()方法相結(jié)合的方式進(jìn)行分詞。首先使用jieba分詞器進(jìn)行初始分詞，然后再根據(jù)WordPunctTokenizer對(duì)分詞結(jié)果進(jìn)行第二次分詞，這樣能夠減少分詞的誤差。四、局域網(wǎng)FTP搜索引擎的設(shè)計(jì)與實(shí)現(xiàn)1.設(shè)計(jì)局域網(wǎng)FTP搜索引擎的設(shè)計(jì)主要包括三部分：數(shù)據(jù)抓取、分詞處理和搜索檢索。（1）數(shù)據(jù)抓取數(shù)據(jù)抓取主要包括兩個(gè)步驟：一是獲取本地網(wǎng)絡(luò)內(nèi)的FTP服務(wù)器列表，二是對(duì)FTP服務(wù)器中的文件進(jìn)行掃描和抓取。具體實(shí)現(xiàn)方法為：通過(guò)調(diào)用系統(tǒng)API函數(shù)，獲取本地網(wǎng)絡(luò)內(nèi)的FTP服務(wù)器列表，并對(duì)每個(gè)FTP服務(wù)器進(jìn)行掃描和抓取。掃描和抓取的結(jié)果會(huì)被分類存儲(chǔ)到數(shù)據(jù)庫(kù)中。（2）分詞處理分詞處理主要包括對(duì)文件名和文件內(nèi)容進(jìn)行分詞，并將分詞結(jié)果存儲(chǔ)到數(shù)據(jù)庫(kù)中。具體實(shí)現(xiàn)方法為：使用上述所述的分詞算法對(duì)文件名和文件內(nèi)容進(jìn)行分詞，并將分詞結(jié)果存儲(chǔ)到數(shù)據(jù)庫(kù)的相應(yīng)表中。（3）搜索檢索搜索檢索主要包括以下步驟：用戶輸入關(guān)鍵詞進(jìn)行查詢后，搜索引擎會(huì)首先對(duì)關(guān)鍵詞進(jìn)行分詞，然后通過(guò)分詞結(jié)果匹配數(shù)據(jù)庫(kù)中的文件信息。搜索結(jié)果會(huì)根據(jù)相關(guān)性進(jìn)行排序后呈現(xiàn)給用戶。2.實(shí)現(xiàn)局域網(wǎng)FTP搜索引擎的實(shí)現(xiàn)主要包括以下幾個(gè)方面：（1）網(wǎng)絡(luò)掃描使用NetstatAPI函數(shù)獲取系統(tǒng)中的網(wǎng)絡(luò)連接信息，從而得到本地網(wǎng)絡(luò)內(nèi)所有的FTP服務(wù)器IP地址。（2）FTP訪問(wèn)使用FTPWebRequest類訪問(wèn)FTP服務(wù)器中的文件列表，并將結(jié)果存儲(chǔ)到數(shù)據(jù)庫(kù)中。（3）分詞算法實(shí)現(xiàn)使用jieba分詞器對(duì)中文文件名和內(nèi)容進(jìn)行分詞，使用WordPunctTokenizer對(duì)英文文件名和內(nèi)容進(jìn)行分詞，并將分詞結(jié)果存儲(chǔ)到數(shù)據(jù)庫(kù)中。（4）搜索算法實(shí)現(xiàn)將用戶輸入的關(guān)鍵詞分詞后，在數(shù)據(jù)庫(kù)中對(duì)分詞結(jié)果進(jìn)行匹配，獲取匹配結(jié)果的相關(guān)性，并排名后呈現(xiàn)給用戶。五、結(jié)論局域網(wǎng)FTP搜索引擎實(shí)現(xiàn)了對(duì)本地網(wǎng)絡(luò)內(nèi)的FTP服務(wù)器進(jìn)行搜索的功能。本搜索引擎在分詞算