搜搜引擎蜘蛛是一個(gè)自動(dòng)抓取互聯(lián)網(wǎng)上網(wǎng)頁(yè)內(nèi)容的程序,每個(gè)搜索引擎都有自己的蜘蛛。

  搜索引擎蜘蛛也叫搜索引擎爬蟲(chóng)、搜索引擎robot。

  國(guó)內(nèi)各大搜索引擎蜘蛛名稱:

  百度:百度spider

  谷歌:googlebot

  搜狗:sogou spider

  搜搜:Sosospider

  360搜索:360Spider

  有道:YodaoBot

  雅虎:Yahoo Slurp

  必應(yīng):msnbot

  Msn:msnbot

     以上是常見(jiàn)的搜索引擎蜘蛛(爬蟲(chóng)),如果你的網(wǎng)站不想讓讓某些蜘蛛抓取,那么可以通過(guò)robots.txt來(lái)限制爬蟲(chóng)的抓取。