一個新的網(wǎng)站建好之后,只要搜索引擎蜘蛛抓取到的、網(wǎng)站內(nèi)容不是很差勁那么搜索引擎就很有可能收錄我們的網(wǎng)站,如果因?yàn)槟撤N原因不想讓搜索引擎收錄網(wǎng)站,要如何操作?
事實(shí)上拒絕搜索引擎收錄網(wǎng)站可以利用robots.txt屏蔽搜索引擎蜘蛛,僅供參考
Robots是搜索引擎都要遵守的國際互聯(lián)網(wǎng)協(xié)議,所以可以通過robots拒絕所有搜索引擎的收錄,代碼如下:
User-agent:*
Disallow:/
上面兩行代碼就是說禁止所有搜索引擎(User-agent:*)抓取所有內(nèi)容(Disallow:/)。
當(dāng)然你也可以使用以下代碼禁止百度收錄:(如果想拒絕其他搜索引擎,則將user-agent:后面的內(nèi)容替換成其他搜索引擎蜘蛛的名稱,各大搜索引擎蜘蛛的名稱可參照:
/term/124.html )
User-agent:baiduspider
Disallow:/
如果你不想讓搜索引擎建立快照可以這樣:
將這段代碼加入head中去。
如下想讓搜索引擎建立索引而禁止跟蹤網(wǎng)頁上的鏈接可以這樣:
所以我們要清楚是禁止搜索引擎收錄網(wǎng)站還是拒絕搜索引擎建立快照,然后選擇相應(yīng)的方法。