1、搜索引擎,提綱,搜索引擎的發(fā)展簡(jiǎn)史 搜索引擎的分類 使用搜索引擎 搜索引擎的基本原理 第一次上機(jī)總結(jié) 搜索經(jīng)濟(jì) 搜索引擎的未來發(fā)展趨勢(shì),回顧,搜索引擎分類 搜索引擎使用 與 或 非 強(qiáng)制搜索,目錄搜索引擎,以人工方式或半自動(dòng)方式搜集信息 信息準(zhǔn)確、導(dǎo)航質(zhì)量 缺點(diǎn)是需要人工介入、維護(hù)量大、信息量少、信息更新不及時(shí),機(jī)器人搜索引擎,由一個(gè)稱為蜘蛛（Spider）的機(jī)器人程序自動(dòng)搜索信息 優(yōu)點(diǎn)：信息量大、更新及時(shí)、無需人工干預(yù) 缺點(diǎn)：返回信息過多，有很多無用信息。,元搜索引擎,利用其他搜索引擎返回統(tǒng)一的搜索結(jié)果。 返回信息量更大、更全。 缺點(diǎn)是不能充分使用所有搜索引擎的功能,Google基本搜索,基

2、本搜索方法邏輯“與”、“非”、“或”，即+,-,OR 1.與操作：搜索結(jié)果要求包括兩個(gè)及兩個(gè)以上關(guān)鍵字。 關(guān)鍵字之間用空格。 2.非操作：搜索結(jié)果要求不包含某些特定信息。在排除的關(guān)鍵詞前加-，英文字符，-號(hào)前空格，后面不能有空格。 3.或操作：搜索結(jié)果至少包含多個(gè)關(guān)鍵字中的任意一個(gè) 關(guān)鍵字之間用“OR”表示，OR必須用大寫。 GOOGLE不支持通配符，關(guān)鍵字中的“*”或“?”會(huì)被忽略。GOOGLE對(duì)英文字符大小寫不敏感。 GOOGLE用句子做關(guān)鍵字，必須加英文引號(hào)。,google強(qiáng)制搜索,Google對(duì)一些網(wǎng)路上出現(xiàn)頻率極高的英文單詞,如“i”、“com”、“www”等,以及一些符號(hào)如“*”、

3、“.”等,作忽略處理. 搜索:www的歷史 internet 結(jié)果:因?yàn)槭褂眠^于頻繁,沒有被列入搜索范圍: www 的 強(qiáng)制搜索的方法是把關(guān)鍵字用英文雙引號(hào)引起來. 搜索:“www的歷史 internet” 結(jié)果:已搜索有關(guān)www的歷史 internet的網(wǎng)頁(yè). 注意:大部分常用英文符號(hào)(如問號(hào),句號(hào),逗號(hào)等)無法成為搜索關(guān)鍵字,加強(qiáng)制也不行.,Google限定搜索,Site表示搜索結(jié)果局限于某個(gè)具體網(wǎng)站或者網(wǎng)站頻道 Link返回所有鏈接到某個(gè)URL地址的網(wǎng)頁(yè) Inurl返回的網(wǎng)頁(yè)鏈接中包含第一個(gè)關(guān)鍵字,后面的關(guān)鍵字則出現(xiàn)在鏈接中或者網(wǎng)頁(yè)文檔中。 Intitle語(yǔ)法返回的網(wǎng)頁(yè)標(biāo)題中包含第一個(gè)關(guān)

4、鍵詞，后面的關(guān)鍵詞則出現(xiàn)在鏈接中或者網(wǎng)頁(yè)文檔中。 filetype在某一類文件中查找信息。,作業(yè)情況,從用戶的角度看搜索引擎,搜的快，搜的全，搜的準(zhǔn) 功能多，好用，好看,搜的快，搜的全,功能多，好用，好看,北大天網(wǎng),4 搜索引擎的基本原理,-,搜索引擎工作原理,搜索引擎三段式工作流程,搜集 批量搜集，增量式搜集；搜集目標(biāo)，搜集策略 預(yù)處理 關(guān)鍵詞提??；重復(fù)網(wǎng)頁(yè)消除；鏈接分析；索引 服務(wù) 查詢方式和匹配；結(jié)果排序；文檔摘要,搜集,整理,服務(wù),搜索引擎系統(tǒng)的體系結(jié)構(gòu),網(wǎng)頁(yè)搜集,網(wǎng)頁(yè)數(shù)據(jù)庫(kù)的基本策略： 1）定期搜集： 2）增量搜集： 網(wǎng)頁(yè)的抓取策略： 1）“爬取”策略： 2）維護(hù)URL：,“爬取”策

5、略,將Web看作是一個(gè)有向圖，搜集過程從給定的起始url集合S開始，沿著網(wǎng)頁(yè)中的鏈接，按照一定的策略（先深/先寬/others）遍歷。 這個(gè)過程象蜘蛛（spider）在蜘蛛網(wǎng)（Web）上爬行,維護(hù)URL,系統(tǒng)進(jìn)行第一次全面的網(wǎng)頁(yè)搜集之后，維護(hù)相應(yīng)的URL集合，以后的搜索基于此集合。 每搜到一個(gè)網(wǎng)頁(yè)，如果它發(fā)生變化并有新的URL，就將新URL也放到集合中。,人工添加,網(wǎng)站擁有者主動(dòng)向搜索引擎提交自己的網(wǎng)址 系統(tǒng)在一定時(shí)間內(nèi)定向向那些網(wǎng)站派出“蜘蛛”程序，掃描并收集有關(guān)信息。,存儲(chǔ)網(wǎng)頁(yè),搜集到的網(wǎng)頁(yè)將存儲(chǔ)到知識(shí)庫(kù)（repository）中。 知識(shí)庫(kù)包含每個(gè)網(wǎng)頁(yè)的docID，長(zhǎng)度，URL以及網(wǎng)頁(yè)的全

6、部HTML。 由于網(wǎng)頁(yè)數(shù)量會(huì)很多，所以，網(wǎng)頁(yè)在存入知識(shí)庫(kù)時(shí)要進(jìn)行壓縮處理。,預(yù)處理,關(guān)鍵詞的提取 重復(fù)或轉(zhuǎn)載網(wǎng)頁(yè)的消除 鏈接分析 網(wǎng)頁(yè)重要程度的計(jì)算,關(guān)鍵詞的提取,什么是倒排文件（inverted file）？ 需要從網(wǎng)頁(yè)源文件中提取出能夠代表它的內(nèi)容的一些特征，而關(guān)鍵詞就是這種特征最好的代表。 其中涉及到英文的分詞和中文的分詞。 對(duì)一篇網(wǎng)頁(yè)來說，有效的詞語(yǔ)數(shù)量一般是200左右。,鏈接分析,鏈接是分析網(wǎng)頁(yè)重要的信息 1.鏈接描述文字準(zhǔn)確的反映了網(wǎng)頁(yè)的內(nèi)容 2.網(wǎng)頁(yè)之間的鏈接關(guān)系，反映了網(wǎng)頁(yè)的重要程度（PageRank Google）,網(wǎng)頁(yè)重要程度計(jì)算,PageRank（Google） 指向一個(gè)

7、網(wǎng)頁(yè)的鏈接越多，說明這個(gè)網(wǎng)頁(yè)越重要。 把整個(gè)web結(jié)構(gòu)看作一個(gè)矩陣。N個(gè)網(wǎng)頁(yè)就形成一個(gè)nn的矩陣。,查詢服務(wù),查詢方式和匹配 結(jié)果排序 文檔摘要,查詢方式和匹配,查詢方式指的是系統(tǒng)允許用戶提交查詢的方式。 查詢短語(yǔ) 分詞 對(duì)查詢短語(yǔ)進(jìn)行分詞 匹配 將查詢關(guān)鍵詞與倒排文件的索引詞進(jìn)行匹配,結(jié)果排序,按照某種評(píng)價(jià)方式，將搜索結(jié)果以某種順序顯示出來。 評(píng)價(jià)方式 相關(guān)性 早期采用基于詞匯出現(xiàn)頻度的方法 詞在不同文檔中出現(xiàn)的頻率 PageRank 在預(yù)處理階段形成重要性指標(biāo)，和查詢階段的相關(guān)性指標(biāo)相結(jié)合。,文檔摘要,靜態(tài)生成方式 預(yù)處理階段生成，如取網(wǎng)頁(yè)的前512個(gè)字節(jié)，或者取每一段的第一句話。 動(dòng)態(tài)生

8、成方式 在查詢時(shí)，根據(jù)查詢關(guān)鍵詞的位置動(dòng)態(tài)生成。,6 搜索經(jīng)濟(jì)的誕生,-,中國(guó)互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計(jì)報(bào)告,2010年7月 15日，中國(guó)互聯(lián)網(wǎng)絡(luò)信息中心（CNNIC）在京發(fā)布了第26次中國(guó)互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計(jì)報(bào)告（以下簡(jiǎn)稱報(bào)告）。報(bào)告顯示，截至2010年6 月底，我國(guó)網(wǎng)民規(guī)模達(dá)4.2億人，互聯(lián)網(wǎng)普及率持續(xù)上升增至31.8%。手機(jī)網(wǎng)民成為拉動(dòng)中國(guó)總體網(wǎng)民規(guī)模攀升的主要?jiǎng)恿?，半年?nèi)新增4334萬(wàn)，達(dá)到 2.77億人，增幅為18.6%。值得關(guān)注的是，互聯(lián)網(wǎng)商務(wù)化程度迅速提高，全國(guó)網(wǎng)絡(luò)購(gòu)物用戶達(dá)到1.4億，網(wǎng)上支付、網(wǎng)絡(luò)購(gòu)物和網(wǎng)上銀行半年用戶增長(zhǎng)率均在30%左右，遠(yuǎn)遠(yuǎn)超過其他類網(wǎng)絡(luò)應(yīng)用。,互聯(lián)網(wǎng)的重心發(fā)展

9、歷程,注意力經(jīng)濟(jì)（眼球經(jīng)濟(jì)）,提供網(wǎng)上圖片等各種信息 注重提供免費(fèi)信箱、聊天室等各種服務(wù) 吸引人來，注重會(huì)員數(shù)。,從眼球經(jīng)濟(jì)到拇指經(jīng)濟(jì),被動(dòng),主動(dòng),搜索力經(jīng)濟(jì),拇指變成了十指，被動(dòng)變成了主動(dòng) 搜索成了網(wǎng)絡(luò)經(jīng)濟(jì)的引擎和發(fā)動(dòng)機(jī),搜索引擎的盈利模式,搜索引擎最初并沒有顯示出價(jià)值，只是一個(gè)免費(fèi)的附加服務(wù)。 PageRank算法的誕生，使得網(wǎng)絡(luò)盈利成為可能 根據(jù)搜索結(jié)果顯示相應(yīng)的廣告，這是網(wǎng)絡(luò)廣告的真正創(chuàng)新,搜索引擎的盈利模式,競(jìng)價(jià)排名 1998年Overture推出收費(fèi)競(jìng)價(jià)排名服務(wù)，誰(shuí)出的錢多，誰(shuí)排前面，搜索引擎成了搖錢樹。 搜索與購(gòu)物網(wǎng)站綁定,時(shí)長(zhǎng)競(jìng)價(jià)排名,按天競(jìng)價(jià) 消除惡意點(diǎn)擊,搜索等于搜錢,20

10、07年中國(guó)搜索引擎市場(chǎng)規(guī)模達(dá)29.0億元，比上一年增長(zhǎng)108.3% 艾瑞咨詢,中國(guó)搜索引擎市場(chǎng)份額,中美日市場(chǎng)規(guī)模對(duì)比,重構(gòu)搜索力,2003年8月，搜索引擎重新回到Y(jié)ahoo首頁(yè)的突出位置。 并不完全是搜索引擎可以賺錢了 關(guān)鍵是它還可以整合其現(xiàn)有的業(yè)務(wù)資源 2004年8月，搜狐推出了搜索引擎搜狗。 2003年開始，微軟重組MSN部門，并希望在下一代操作系統(tǒng)中集成搜索。 亞馬遜推出了A9網(wǎng)站，專注于購(gòu)物搜索,搜索引擎大戰(zhàn),微軟數(shù)次提出要收購(gòu)Google. 結(jié)果被Google挖走李開復(fù) IBM也推出了自己的搜索技術(shù) 搜索引擎和門戶網(wǎng)站之爭(zhēng) 養(yǎng)虎為患 不得不養(yǎng) 復(fù)雜的競(jìng)爭(zhēng)合作關(guān)系,中國(guó)搜索用戶的首選

11、,中國(guó)高端搜索用戶的首選,群狼共舞,搜索鳥,網(wǎng)絡(luò)世界的未來統(tǒng)治者？,目前，Google是當(dāng)之無愧的世界老大？ 但是未來呢？ Google在中國(guó)呢？,搜索引擎的未來發(fā)展趨勢(shì),-,搜索引擎自身的發(fā)展趨勢(shì),專業(yè)化 主題化 垂直搜索引擎 個(gè)性化 搜索工具條 桌面搜索 智能化 本地化 基于位置的搜索服務(wù),技術(shù)更復(fù)雜，應(yīng)用更簡(jiǎn)單,搜索引擎所引發(fā)的互聯(lián)網(wǎng)變化,搜索引擎的革命引發(fā)互聯(lián)網(wǎng)應(yīng)用模式、商務(wù)模式和業(yè)務(wù)形態(tài)的革命 搜索將成為一個(gè)網(wǎng)站的必備配置 搜索引擎的綜合化 基于搜索引擎的信息增值業(yè)務(wù)競(jìng)爭(zhēng)情報(bào)系統(tǒng)、商務(wù)搜索、8848的購(gòu)物搜索、Google信箱,搜索引擎的重要性,從內(nèi)容為王到搜索為王 從搜索服務(wù)到搜索

12、平臺(tái) 基于搜索平臺(tái)的搜索增值服務(wù),Google 向 Microsoft 發(fā)出挑戰(zhàn),Microsoft PK Google PC時(shí)代 PK Internet時(shí)代,產(chǎn)品競(jìng)爭(zhēng),人才競(jìng)爭(zhēng),歷史事件回放： 2005年7月18日，微軟全球副總裁李開復(fù)跳槽Google，擔(dān)任中國(guó)區(qū)總裁,Microsoft 與 Google 的競(jìng)爭(zhēng),代表兩個(gè)時(shí)代的競(jìng)爭(zhēng) PC時(shí)代 vs 互聯(lián)網(wǎng)時(shí)代 李開復(fù)跳槽事件已經(jīng)超出了微軟與Google兩家公司對(duì)一位技術(shù)人才的爭(zhēng)奪本身。這是一場(chǎng)PC時(shí)代巨人和互聯(lián)網(wǎng)時(shí)代巨人對(duì)于未來霸主地位的爭(zhēng)奪 預(yù)言以微軟為代表的PC時(shí)代正在加速?zèng)]落，而Google正在顯示一個(gè)新時(shí)代引領(lǐng)者的形象,回首PC時(shí)代,美國(guó)Microsoft、IBM、Intel. 中國(guó)Lenovo、Founder.,面對(duì)機(jī)遇,展望Internet時(shí)代,美國(guó)Google、Yahoo、Ebay、. 中國(guó)Baidu、NetEase、Alibaba.,美國(guó)模式和中國(guó)模式,美國(guó)模式=技術(shù)