近期,我們收到一些對(duì)Crawl-delay用法的詢問(wèn),現(xiàn)明確百度對(duì)網(wǎng)站訪問(wèn)頻率不再參考該設(shè)置,即不支持Crawl-delay配置,如果您希望配置網(wǎng)站針對(duì)百度spider的訪問(wèn)頻率,建議您使用百度站長(zhǎng)平臺(tái)的抓取壓力反饋工具,先查詢網(wǎng)站在百度近一個(gè)月的天級(jí)抓取量趨勢(shì)圖,可調(diào)節(jié)百度spider每天訪問(wèn)您網(wǎng)站的抓取壓力上限,供百度參考,避免百度spider對(duì)站點(diǎn)抓取壓力過(guò)大,造成網(wǎng)站服務(wù)器負(fù)載及抓取異常。
具體工具使用幫助見(jiàn)http://bbs.zhanzhang.baidu.com/thread-44-1-1.html