有的朋友會(huì)遇到這種問(wèn)題，網(wǎng)站某個(gè)頁(yè)面能打開(kāi)，但是蜘蛛返回碼是404，還有的朋友看到蜘蛛返回碼是404，直接robots屏蔽了，導(dǎo)致網(wǎng)站用大量的時(shí)間優(yōu)化不上去，沒(méi)有料想到這些都是假蜘蛛造成的。
那么假蜘蛛是怎么產(chǎn)生的呢？做seo我們都使用站長(zhǎng)工具，站長(zhǎng)工具會(huì)模擬百度蜘蛛對(duì)我們網(wǎng)站進(jìn)行抓取，還有一種情況是有人惡意利用爬取我們的網(wǎng)站。
假蜘蛛對(duì)網(wǎng)站的危害
1，假蜘蛛抓取網(wǎng)站內(nèi)容，導(dǎo)致占用我們的帶寬，增加網(wǎng)站額外的開(kāi)銷。
2，如果在有限帶寬的前提下，會(huì)阻礙真蜘蛛的正常抓取。
3，假蜘蛛返回來(lái)的信息，會(huì)誤導(dǎo)我們我們對(duì)網(wǎng)站的優(yōu)化思路。
4，部分的假蜘蛛是來(lái)采集我們網(wǎng)站的內(nèi)容。
東東總結(jié):
我們優(yōu)化網(wǎng)站的過(guò)程中，出現(xiàn)假蜘蛛是很正常的事情，我們要養(yǎng)成一個(gè)查看空間日志的好習(xí)慣。出現(xiàn)蜘蛛不正常的返回碼，我們要辨別真假之后，再去調(diào)整網(wǎng)站。蜘 蛛的來(lái)訪是很有規(guī)律的，如果我們和以往一樣優(yōu)化網(wǎng)站，蜘蛛的來(lái)訪暴增，這時(shí)候我們要查看真假蜘蛛了。如果在有限的帶寬下，假蜘蛛太多會(huì)影響真蜘蛛的正常抓 取，這時(shí)候我們就必須屏蔽該ip了。
那么如何檢測(cè)真假蜘蛛呢？請(qǐng)移步http://www.tangshanseo.net/57.html