各位網(wǎng)站管理員，
您之前是否遇到過百度搜索結(jié)果中個(gè)別網(wǎng)頁無摘要顯示的現(xiàn)象，或發(fā)生過網(wǎng)站部分內(nèi)容不收錄的問題，站長平臺(tái)提示您出現(xiàn)這兩種情況可能是由于網(wǎng)站設(shè)置了robots.txt文件引起的。為了能夠讓站長更方便的了解網(wǎng)站頁面在出現(xiàn)上述問題時(shí)是否是由于設(shè)置了robots文件，百度網(wǎng)頁搜索結(jié)果中上線了robots.txt文件提示。當(dāng)網(wǎng)站使用robots.txt文件禁止百度收錄網(wǎng)站的部分或全部內(nèi)容，百度將會(huì)在搜索結(jié)果中給出robots.txt的提示，讓站長及時(shí)了解網(wǎng)站在搜索結(jié)果中無摘要顯示的原因，同時(shí)可在搜索結(jié)果中點(diǎn)擊“了解詳情”，查看網(wǎng)站詳細(xì)的robots信息，確認(rèn)是否是由于robots.txt的誤設(shè)置而導(dǎo)致的封禁。
robots.txt介紹：robots.txt是搜索引擎訪問網(wǎng)站時(shí)查看的第一個(gè)文件，這個(gè)文件用于指定spider在該網(wǎng)站上的抓取范圍。部分網(wǎng)站由于存在不想被搜索引擎收錄的內(nèi)容，會(huì)使用robots.txt文件來屏蔽網(wǎng)站的部分內(nèi)容或者全部內(nèi)容。若網(wǎng)站對(duì)百度spider設(shè)置了robots.txt文件，百度會(huì)遵循robots協(xié)議，不去抓取封禁的結(jié)果，但是考慮到用戶在搜索引擎中有搜索該網(wǎng)站地址的需求，搜索結(jié)果中會(huì)根據(jù)搜索需求展示網(wǎng)站的標(biāo)題及網(wǎng)址，但不會(huì)顯示網(wǎng)站的摘要。
溫馨提示：僅當(dāng)您的網(wǎng)站包含不希望被搜索引擎收錄的內(nèi)容時(shí)，才需要使用robots.txt文件。如果您希望搜索引擎收錄網(wǎng)站上所有內(nèi)容，請(qǐng)勿建立robots.txt文件。同時(shí)為了方便站長快速檢測及生成robots文件，百度站長平臺(tái)已上線robots工具。工具地址：http://zhanzhang.baidu.com/robots
主要展現(xiàn)形式如下所示：
網(wǎng)站robots.txt詳情介紹頁面：
