蜘蛛不僅僅要對網(wǎng)頁進行抓取,同時也要發(fā)現(xiàn)新的url,那么蜘蛛是怎么來收集url的呢?搜索引擎抓取了A頁面信息,并且收集了A頁面上所有的url,去掉 url庫中已經(jīng)存在的鏈接,新的連接添加到帶抓去列隊。對這些新的url到底什么時候再去抓取,跟A頁面的權(quán)重有很大的關(guān)系。通常業(yè)內(nèi)人士經(jīng)常說的引蜘蛛便是便是到蜘蛛訪問高的頁面留下自己的網(wǎng)站鏈接,讓蜘蛛更快的發(fā)現(xiàn)該鏈接。
本文由金盾安防提供
網(wǎng)站優(yōu)化服務
云優(yōu)化專注搜索引擎優(yōu)化推廣服務。