摘 要： 針對網頁內容相似重復的特點，提出了一種改進算法對網頁進行去重處理。該方法能夠有效地對網頁進行去重，并能對網頁信息進行冗余識別處理。實驗結果表明，與原有網頁去重算法相比，該算法的執行效果提高了14.3％，對網頁去重有了很明顯的改善。
關鍵詞： 網頁去重； 特征提取； 特征表示
隨著互聯網的高速發展，Web已經成為最大的信息來源。但是如何獲取這些Web信息為我所用則是大家面臨的共同問題。網頁去重是Web網頁信息處理的重要環節，只有在對網頁的去重基礎上才可以準確處理網頁中的信息。本文介紹網頁的去重算法。
提取出來的網頁，有些內容可能很相似，對于這些內容相似的網頁沒必要保存。針對系統中的人才招聘網頁更是必要：一個公司的招聘信息很可能會在數十家招聘網站以及自己公司主頁同時發布，所以有必要對這些網頁去重。
對于網頁，ti就表示特征詞條，wi(d)就是文本d中ti的權值。用這個特征矢量來表示網頁文本。在網頁表示中，對任一特征而言有兩個因素影響特征的權值。一是詞在HTML文檔中出現的詞頻，另一個是該詞在該文檔中出現的位置。詞頻指的是某一詞條在文檔中出現的頻率， 頻率越高(當然不包括那些停用詞)則說明該詞越重要,越能代表該網頁的內容。對于網頁的主題包含在<title>和</title>之間的詞組比在<body>和</body>之間的詞組更具有代表性。因此本文提出了一種把該詞出現的頻率以及該詞出現的位置相結合的權重計算方法，能夠更有效地表示網頁。公式如下：
(3) 聯合特征提取方法
雖然X2統計量法是目前常用的特征提取方法之一，但該方法仍存在一些缺點，如它提高了在指定類中
在網絡訓練過程開始時，定義獲勝節點的鄰域節點是為了能使二維輸出平面上相鄰輸出節點對相近的輸入模式類做出特別反應。假設本次獲勝節點為Nj,它在t時刻的鄰域節點用NEj表示，NEj(t)是包含以Nj中心而距離不超過某一半徑的所有節點。隨著訓練過程的進行，NEj(t)的半徑逐漸減小，最后只包含獲勝節點Nj本身，也就是說在訓練的起始階段不僅對獲勝節點做權值調整，而且也對其較大范圍內的幾何鄰節點做相應的調整，隨著訓練過程的繼續進行，與輸出節點相連的權向量也越來越接近其代表的模式類。這時，在對獲勝節點的權值進行比較細微的調整時，只對其幾何鄰節點比較近的節點進行相應的調整，直到最后只對獲勝節點本身做細微的調整。在訓練過程結束后，幾何上相近的輸出節點所連接的權向量既有聯系又有區別，這樣，保證了對某一類輸入模式獲勝節點能夠做出最大“響應”，而相鄰節點做出“較大”響應。幾何上相鄰節點代表特征上相近的模式類別。
自組織特征映射學習過程包括描述最佳匹配神經元的選擇和描述權矢量的自適應變化過程兩部分。SOM輸出層通常由兩維m×m的網格節點組成，從輸入向量到網絡輸出層的每個節點j的權值向量定義為w，w和xi的維數是相同的，設為d，影射節點的數量從數十個到數千個決定SOM正確性和概化能力。
4 實驗結果
采用以上介紹的算法,對一批數量在50~100之間的網頁集合進行去重處理，集合中包含了一與此內容完全相同或部分相同的網頁，將實驗結果與人工判別的結果進了比較，發現重復網頁的正確率達到95%以上，出現錯誤的判斷的是由于網頁轉載時出現錯碼等現象，有的是兩個重復網頁的段落排列差異太大。測試結果如圖1所示。
本文將SOM的思想和方法引入中文Web文檔的聚類問題.探索向用戶提供高質量的網頁信息具有很強的理論意義和實際價值。但是，這種方法的不足之處是當網絡的連接過多、節點數目龐大時其計算量大，需要較長的學習時間。所以對于上述問題，筆者正在研究通過網絡剪枝技術，在不增加聚類錯誤的前提下，剪去多余的連接和節點，降低特征向量空間的維數從而減少計算工作量。
參考文獻
[1] LINSKER R. An application of the principle of maximum information preservation to linear systems[Z]. Adv. Neural Inform. Process Systems, 1989,1.
[2] JUTTEN C, HERAULT J. Blind separation of sources,Part1:An adaptive algorithm based on neuromimetic architecture [J]. Signal Processing, 1991,24:10.
[3] COMMON P. Independent component analysis,a new concept[J]. Signal Processing, 1994,36:287-314.
[4] TONAZZINI A, BEDINI L, KURUOGLU E E. Blind separation of auto-correlated images from noisy images using mrf models,. in 4th Int. Symp. on ICA and Blind Source Separation, Nara, Japan, 2003.
[5] SHULMAN D, HERVE J Y. Regularization of discontinuous flow fields. in Proc. Workshop on Visual Motion, 1989:81-86.
[6] BOUMAN C, SAUER K. A generalised gaussian image model for edge-preserving MAP estimation,. IEEE Trans. Image Processing, vol. 2, pp. 296-310,1993.2704.