1、基于結(jié)構(gòu)與內(nèi)容的網(wǎng)頁主題信息提取研究,2006-7-21,主要內(nèi)容,前言 相關(guān)研究工作 系統(tǒng)分層流程圖 映射表 網(wǎng)頁結(jié)構(gòu)分析 網(wǎng)頁內(nèi)容分析 實驗結(jié)果 總結(jié),前言,導(dǎo)航區(qū),交互區(qū),主題標簽區(qū),主題文本區(qū),噪音區(qū),相關(guān)研究工作網(wǎng)頁結(jié)構(gòu)分析,* DOM網(wǎng)頁標記樹法,* 頁面顯示實體坐標位置法,* 基于映射表的網(wǎng)頁結(jié)構(gòu)內(nèi)容分析法,網(wǎng)頁主題信息提取分層流程圖,HTML文檔映射表主要是對頭部和主體部分中文本條映射，即 頭部映射、文本條內(nèi)容映射、文本條屬性（視覺、結(jié)構(gòu)、語義）映 射。對HTML文檔提取關(guān)鍵信息從而生成關(guān)于HTML文檔的內(nèi)容屬 性映射表，即：f(Di ，in)，其中Di為HTML文檔集 ，Ti

2、為對應(yīng)的每個文檔的內(nèi)容屬性映射表。,HTML網(wǎng)頁映射表,表1 HTML網(wǎng)頁映射表 Tab.1 Mapping table of HTML page,HTML網(wǎng)頁映射表,網(wǎng)頁結(jié)構(gòu)分析結(jié)構(gòu)生成,網(wǎng)頁結(jié)構(gòu)生成方法及表示形式,* 基于棧的網(wǎng)頁結(jié)構(gòu)生成方法,* 語義字符串分級表示,如A23123，其中A表示主體中第一個表格，如果網(wǎng)頁中還有其他同層次表格分別記為B，C，D等，2、3分別為第一個表格的內(nèi)嵌行標記、單元格標記；1表示第一個表格A的嵌套表格，2、3分別為嵌套表格行標記、單元格標記。,網(wǎng)頁結(jié)構(gòu)分析區(qū)域分割,網(wǎng)頁區(qū)域特征,根據(jù)網(wǎng)頁的區(qū)域結(jié)構(gòu)布局特征，設(shè)頁面P=（A1，A2An），其中網(wǎng)頁區(qū)域Ai=（

3、TextItemi1，TextItemi2 TextItemij），TextItemij=（TextAbttributeMap，TextContentMap），TextAbttributeMap為文本條的結(jié)構(gòu)、視覺和語義屬性映射，TextContentMap為文本條內(nèi)容映射。 在一個網(wǎng)頁內(nèi)，每個區(qū)域可以用5個變量來表達其語義特征： CountRatio：區(qū)域內(nèi)有鏈接與無鏈接文本條內(nèi)字符總個數(shù)的比值 LinkAvgCount：有鏈接文本條內(nèi)字符的平均個數(shù)（均值） FormalDegree：字符的方差（方差） AvgCountDiff：無鏈接與有鏈接文本條內(nèi)字符平均個數(shù)的差值 CharMaxCou

4、nt：區(qū)域內(nèi)文本條字符的最大個數(shù)。,啟發(fā)式規(guī)則,IF CountRatio2 AND LinkAvgCount=15 AND AvgCountDiff=5） THEN Ai為主題文本區(qū) ELSE Ai為主題標簽區(qū),啟發(fā)式規(guī)則設(shè)計如下（規(guī)則中的數(shù)據(jù)是通過大量不同網(wǎng)頁觀察與實驗得到）,網(wǎng)頁內(nèi)容分析區(qū)域內(nèi)容量化,區(qū)域內(nèi)容量化表示采用向量空間模型。向量空間模型（VSM）是一種較為常用的信息獲取模型。對于一個網(wǎng)頁各區(qū)域內(nèi)向量權(quán)重計算，采用TF方法，如公式（1），其中tfi是第i個關(guān)鍵詞在該區(qū)域中的出現(xiàn)頻率，n為區(qū)域內(nèi)關(guān)鍵詞的個數(shù)。假設(shè)兩個區(qū)域U，V，兩者的相似度可用向量之間的夾角來度量，相似度計算如公式

5、（2）。,Wi=,（1）,Sim(V,U)=cos(V,U) =,（2）,網(wǎng)頁標題與網(wǎng)頁的上一級鏈接文本，具有高度的主題概括性，將二者組成新的區(qū)域S，利用公式（1）計算S的特征向量的權(quán)重。 非主題相關(guān)標簽過濾：利用公式（2）分別計算每一個主題標簽區(qū)Ai與S的相似度，把高于相似度閾值的主題標簽區(qū)保留，其余濾除。 版權(quán)區(qū)過濾：最后一個區(qū)域一般為版權(quán)區(qū)，通過在此區(qū)域查詢 “版權(quán)所有”等文本向量，如果有，并且主題文本區(qū)不唯一，則將其濾除。 導(dǎo)航區(qū)過濾：判斷如果區(qū)域Ai為導(dǎo)航區(qū)，直接將其濾除。,網(wǎng)頁內(nèi)容分析濾除噪音,實驗,數(shù)據(jù)集：為了驗證我們方法的有效性，實驗時分別從新浪、搜狐、雅虎、齊魯熱線等大型門戶

6、網(wǎng)站中人工挑選了500個有著復(fù)雜結(jié)構(gòu)與分布的網(wǎng)頁作為測試數(shù)據(jù)進行測試 。,評價標準：采用人工判斷網(wǎng)頁區(qū)域分割與識別結(jié)果和網(wǎng)頁主題信息提取結(jié)果，其中500個網(wǎng)頁一共分割出4205個區(qū)域，平均每個網(wǎng)頁有8個區(qū)域。,網(wǎng)頁分割與識別結(jié)果 Result of web pages segmentation and identification,實驗結(jié)果,實驗結(jié)果,網(wǎng)頁主題信息提取結(jié)果 Result of web pages topical information extraction,實驗結(jié)果分析,實驗結(jié)果表明該方法對大多數(shù)網(wǎng)頁區(qū)域分割與識別結(jié)果和網(wǎng)頁 主題信息提取結(jié)果較好。區(qū)域分割與識別錯誤主要是由于網(wǎng)頁 HTML文檔中不含及其內(nèi)嵌標記，或者使用了此標記，但 是由于設(shè)計者安排的內(nèi)容有著特殊的作用，在主題文本區(qū)域內(nèi)會有 少量噪音。區(qū)域分割與識別結(jié)果決定了網(wǎng)頁主題信息提取結(jié)果的好 壞。,總結(jié),本文結(jié)合HTML網(wǎng)頁內(nèi)部特征與外部的結(jié)構(gòu)布局，嘗試了采用映 射表這種網(wǎng)頁映射模式對網(wǎng)頁視圖進行變換，基于結(jié)構(gòu)與啟發(fā)式規(guī) 則對網(wǎng)頁進行區(qū)域分割與識別，并利用向量空間模型對