
藁城有實力網(wǎng)站定制開發(fā)公司同一篇文章經(jīng)常會重復(fù)出現(xiàn)在不同網(wǎng)站及同一個網(wǎng)站的不同網(wǎng)址上,搜索引擎并不喜歡這種重復(fù)性的內(nèi)容。用戶搜索時,如果在前兩頁看到的都是來自不同網(wǎng)站的同一篇文章,用戶體驗就太差了,雖然都是內(nèi)容相關(guān)的。網(wǎng)站定制開發(fā)公司哪家好搜索引擎希望只返回相同文章中的一篇,所以在進(jìn)行索引前還需要識別和刪隙重復(fù)內(nèi)容,這個過程就稱為“去重”。去重的基本方法是對頁面特征關(guān)鍵詞計算指紋,也就是說從頁面主體內(nèi)容中選取Z有代表性的一部分關(guān)鍵詞(經(jīng)常是出現(xiàn)頻率Z高的關(guān)鍵詞),然后計算這些關(guān)鍵詞的數(shù)字指紋。

另外用戶輸入的查詢詞還可能包含一些高級搜索指令,如加號、減號等,搜索引擎都需要做出識別和相應(yīng)處理。有關(guān)高級搜索指令,后面還有詳細(xì)說明。有實力網(wǎng)站定制開發(fā)公司寫錯誤矯正。用戶如果輸入了明顯錯誤的字或英文單詞拼錯,搜索引擎會提示用戶正確的用字或拼法,輸入的錯拼、錯字矯正,整合搜索觸發(fā)。某些搜索詞會觸發(fā)整合搜索,比如明星姓名就經(jīng)常觸發(fā)圖片和視頻內(nèi)容,網(wǎng)站定制開發(fā)公司哪家好當(dāng)前的熱門話題又容易觸發(fā)資訊內(nèi)容。哪些詞觸發(fā)哪些整合搜索,也需要在搜索詞處理階段計算。

有實力網(wǎng)站定制開發(fā)公司搜索引擎蜘蛛抓取的原始頁面,并不能直接用于查詢排名處理。搜索引擎數(shù)據(jù)庫中的頁面數(shù)都在數(shù)萬億級別以上,用戶輸入搜索詞后,靠排名程序?qū)崟r對這么多頁面分析相關(guān)性,計算量太大,不可能在一兩秒內(nèi)返回排名結(jié)果。網(wǎng)站定制開發(fā)公司哪家好因此抓取來的頁面必須經(jīng)過預(yù)處理,為Z后的查詢排名做好準(zhǔn)備。和爬行抓取一樣,預(yù)處理也是在后臺提前完成的,用戶搜索時感覺不到這個過程。搜索引擎預(yù)處理首先要做的就是從HTML文件中去除標(biāo)簽、程序,提取出可以用于排名處理的網(wǎng)頁面文字內(nèi)容。

藁城有實力網(wǎng)站定制開發(fā)公司不同用戶搜索相同的關(guān)鍵詞,很可能是在尋找不同的東西。比如搜索“蘋果”,用戶到底是想了解蘋果這個水果,還是蘋果電腦?還是電影《蘋果》的信息?沒有上下文,沒有對用戶個人搜索習(xí)慣的了解,就完全無從判斷。網(wǎng)站定制開發(fā)公司哪家好搜索引擎目前正在致力于基于用戶搜索習(xí)慣及歷史數(shù)據(jù)的了解上,判斷搜索意圖,返回更相關(guān)的結(jié)果。今后搜索引擎是否能達(dá)到人工智能水平,真正了解用戶搜索詞的意義和目的,讓我們拭目以待。