搜索引擎每天處理著數(shù)以億計的查詢請求，每個查詢請求都代表了一個用戶對于某種資源的特定需求。多數(shù)時候，通過查詢返回的網(wǎng)頁結(jié)果，這些需求被滿足了，我們可以認(rèn)為結(jié)果中的某些頁面對特定用戶的特定需求產(chǎn)生了價值。那么對于搜索引擎而言，頁面的價值是指什么，我們?yōu)槭裁匆芯宽撁鎯r值，技術(shù)上怎樣判斷頁面的價值呢？本文將逐一回答這些問題。

一、什么頁面價值

前面我們說了，某個頁面滿足了某一用戶的特定需求，就體現(xiàn)了這個頁面對用戶的價值。那么對搜索引擎而言，價值體現(xiàn)在哪些方面呢？一個簡單的推論，所有可能會對用戶產(chǎn)生價值的頁面都是對搜索引擎有價值的，將這些頁面建入搜索引擎的索引中能夠滿足Z終檢索到它們用戶的需求，我們稱這種價值為檢索價值。只要是能解決某個用戶信息需求的，并且是可以通過某些正常檢索需求到達(dá)的，那么就是有檢索價值的。

小學(xué)生張三喜歡在qzone上寫日記，寫他前天吃了什么，今天玩了什么。這些內(nèi)容，是有價值的。它們對張三的家長、同學(xué)、老師，以及其他小學(xué)生，和對小學(xué)生日記感興趣的人來說，都是有價值的。對于這個信息體來說，“張三”這個名字是檢索的“key”。

有一些信息單元，只有“瀏覽”價值，而沒有到達(dá)該信息的檢索途徑，那么該資源可能是有價值的，但檢索價值就很低。比如一張百度大廈附近的地圖，從瀏覽角度，是有價值的；但是如果沒有任何周邊文字說明（或者link的anchor text），只有一張光禿禿的地圖，就沒有檢索價值。當(dāng)然，如果圖片的內(nèi)容識別技術(shù)，有朝一日能自動識別出這個是“百度大廈附近地圖”，或者能夠自動分析出地圖內(nèi)的各種大廈、街道、餐館等的名稱，那么這張圖一樣變得有檢索價值了。所以一個頁面是否有檢索價值，應(yīng)該取決于兩點：

1） 是否能解決某個特定的需求（價值）
2） 是否可以通過某個常規(guī)的搜索方式獲得該信息（檢索）

那么，沒有檢索價值的頁面，是否對搜索引擎就沒有價值了呢？仔細(xì)想想，答案是否定的。索引只是搜索引擎的一個環(huán)節(jié)，對于其他環(huán)節(jié)而言，沒有檢索價值的頁面有可能對我們更好的收錄那些檢索價值高的頁面有幫助。比如對負(fù)責(zé)抓取互聯(lián)網(wǎng)資源的spider而言，有一些頁面，本身沒有檢索價值，但通過這些頁面的抓取和分析，能夠更快的幫助我們掌握這一類頁面沒有檢索價值這一重要信息，從而節(jié)省更多的流量進(jìn)行更加有效的抓取。

考慮到這種價值可以算作一種“間接的”檢索價值，Z終還是立足于索引價值的，在本文中就不再展開論述，我們只關(guān)注“檢索價值”這一根本問題。下文中提到的“頁面價值”特指頁面的“檢索價值”。

二、為什么要研究頁面價值

首先，互聯(lián)網(wǎng)上的頁面是無窮盡的，而搜索引擎的硬件資源是有限的，想用有限的資源去覆蓋無窮盡的互聯(lián)網(wǎng)，我們就需要對頁面價值做出判斷，不收錄那些無檢索價值的頁面，少收錄那些檢索價值低的頁面。這是頁面價值在收錄控制方面的應(yīng)用。

第二，搜索引擎spider的抓取能力是有限的，出于訪問友好性的考慮，對于一個網(wǎng)站或一個IP抓取速率需要有一個抓取速率的上限。在這一限制下，抓取或頁面更新就需要有一個先后順序，而這一排序的主要參考依據(jù)就是頁面價值，或者說對頁面價值的預(yù)測（未抓取時）。這是頁面價值在spider調(diào)度方面的應(yīng)用。

第三，對于某些頁面，頁面內(nèi)容發(fā)生變化，導(dǎo)致它的檢索價值從有到無，典型的就是變?yōu)椤八梨湣�，或者“被黑”。對于這些頁面，好的搜索引擎會在第一時間將其排除出索引，或在檢索時對其進(jìn)行屏蔽，以保證返回給用戶的結(jié)果是更多檢索價值高的“好頁面”。對于另一些頁面，它不僅具有很高的檢索價值，而且有很強(qiáng)的“時效性”，能夠第一時間讓用戶檢索到這些頁面對搜索體驗有很大的提升。對搜索引擎而言，越快的收錄和索引頁面意味著越多的額外資源開銷，以多快的速度收錄和以多短的周期更新索引，需要通過頁面價值的分析來指導(dǎo)。這兩方面是頁面價值在死鏈率和時效性兩大搜索引擎指標(biāo)提升上的應(yīng)用。

Z后，普遍意義上的頁面價值高低對搜索引擎返回給用戶的結(jié)果排序上也存在著指導(dǎo)意義。理想情況下搜索引擎的結(jié)果是按照與查詢請求的相關(guān)性進(jìn)行排序的，在相關(guān)性大體相當(dāng)?shù)那闆r下，用戶更傾向與瀏覽普遍意義上頁面價值高的網(wǎng)頁。這是頁面價值在ranking方面的應(yīng)用。

可以說，頁面檢索價值的研究是搜索引擎中的一項較為基礎(chǔ)的工作，對頁面價值的認(rèn)識和判斷的準(zhǔn)確程度直接影響著搜索引擎的覆蓋率、死鏈率、時效性等幾大主要指標(biāo)。

三、如何判斷頁面價值

前文中提到過一個小學(xué)生張三qzone日記的例子。我們認(rèn)為這個頁面是有價值的，對張三的同學(xué)，朋友，家人都有價值。與此類似的，百度CEO李彥宏在i貼吧上發(fā)表一條十幾個字的i貼，也是有價值的，對李彥宏的上千萬粉絲都有價值。雖然李彥宏的i貼長度可能遠(yuǎn)小于張三的日記，但就這兩個頁面的價值來說，我們都會有一個共同的認(rèn)識，即從普遍意義上講，李彥宏的i貼價值遠(yuǎn)大于張三的日記。（當(dāng)然，對于張三的媽媽來說很可能這個價值的關(guān)系是相反的）

再舉個例子，搜索某個人的手機(jī)號碼，搜索引擎返回了一個結(jié)果，是這個人在某個論壇上的一個回復(fù)。雖然這個手機(jī)號碼關(guān)心的人不多，但因為資源是絕對稀缺的，對于關(guān)心這個手機(jī)號碼的查詢需求，這個頁面是完全不可替代的，因此具有極高的價值。

另外，頁面檢索價值，還受到頁面質(zhì)量的影響。相似的頁面，對于滿足用戶需求來說，往往會有很大差異，比如資源下載速度，頁面的布局，廣告的多寡。這類差異，姑且稱之為頁面質(zhì)量。

Z后，有些頁面具有明顯的公眾話題性質(zhì)，且這些資源往往在剛剛產(chǎn)生時有非常高的關(guān)注度，隨著時間的推移熱度顯著下降，有著“新聞”的特征。典型的像各種“門”事件，地震、火災(zāi)等大型的自然災(zāi)害。我們認(rèn)為這類資源具有“時效性”特征。

所以，一個頁面的檢索價值，大致受以下四個要素的影響：

  • 感興趣的受眾群大小
  • 該頁面的稀缺程度（可替代性）
  • 該頁面的質(zhì)量高低
  • 該頁面的時效性特征強(qiáng)弱

這四種要素，簡稱受眾，稀缺，質(zhì)量和時效性。

1. 受眾

受眾群體的大小，即代表了用戶檢索需求的大小。評價受眾的大小主要依據(jù)信息發(fā)布源的受眾和信息內(nèi)容本身受眾兩大方面。具體因素包括且不限于：

網(wǎng)站忠實用戶群大小

一般來說，擁有自己忠實用戶群的知名網(wǎng)站，他們的成功，在于他們的內(nèi)容和服務(wù)，比別人更能吸引和滿足用戶。從這個角度來說，我們可以推論，擁有更多忠實用戶群的網(wǎng)站上的內(nèi)容，會比忠實用戶群較少的網(wǎng)站上的內(nèi)容，有更多的既有和潛在受眾群。這樣的話，忠實用戶群大小，就可以變成對站點內(nèi)資源檢索價值的一種衡量指標(biāo)。忠實用戶群的好處在于，它是變動的。如果一個網(wǎng)站變差了，那么用戶就會用腳投票。超鏈有過期問題，作弊問題，而虛假用戶群作弊很難。一般所謂的網(wǎng)站知名度，會和忠實用戶群數(shù)量密切相關(guān)。