Spider-Traps的爬行過程分析

    這張圖很形象的說明了搜索引擎的Spider在抓取網(wǎng)頁時(shí)，一些不友好的元素會對其形成較壞的影響（說明：本人離開英文環(huán)境已半年，如有解釋錯(cuò)誤，勿怪）： Orphan Pages；Spider是根據(jù)鏈接抓取網(wǎng)頁，沒有鏈接的網(wǎng)頁，自然使spider抓取困難。   Unfriendly SEO-CMS System；CMS對SEO不友好的話，會對spider形成一定的干擾，比如js、ajax、鏈接分布、frame結(jié)構(gòu)等等。   Bad server Configuration；如阻止搜索引擎spider訪問、302重定向、訪問權(quán)限等等，以及服務(wù)器的穩(wěn)定性，都有可能對spider造成致命的打擊。 Cloaking；比如隱藏文字、沒有任何內(nèi)外鏈的網(wǎng)頁，都會使spider出現(xiàn)問題。   Session Based Coding；URL根據(jù)訪問者的cookie隨機(jī)變換、html代碼中大量的字符，這些session闖下的禍，對于一個(gè)不依賴SEO的網(wǎng)站來說可能沒什么，但是對于一個(gè)基于SEO的網(wǎng)頁來說可是致命的。   沒有處理錯(cuò)誤頁面；如404跳轉(zhuǎn)等