1、Robots.txt文件是什么：首先seo博客要和大家弄清楚robots.txt的概念題目，帶有txt后綴的文件是純文本文檔，robots是機(jī)器人的意思，也就是說，robots.txt文件是給搜索引擎蜘蛛看的純文本文件。它告訴搜索引擎哪些網(wǎng)頁許可抓取、索引并在搜索效果中表現(xiàn)，哪些網(wǎng)頁是被禁止抓取的。搜索引擎蜘蛛來訪問你的網(wǎng)站頁面的，首先會查看網(wǎng)站根目錄下是否有robots.txt文件，robots.txt文件就是起到這個作用的。我們都知道淘寶網(wǎng)是屏蔽百度的，靠的就是robots.txt文件。文件是如許書寫的：User-agent: Baiduspider Disallow: / User-agent: baiduspider Disallow: /

　　2. robots.txt的作用：通過設(shè)置屏蔽搜索引擎，使之不需要頁面被收錄，可以大大降低抓取頁面所占用的網(wǎng)站帶寬，大型網(wǎng)站尤為顯明了。設(shè)置robots.txt文件可以指定某個搜索引擎不去索引不想被收錄的URL，比如我們通過url重寫將動態(tài)URL靜態(tài)化為永世固定鏈接，就可以通過robots.txt設(shè)置權(quán)限，阻止某些搜索引擎索引那些動態(tài)網(wǎng)址，網(wǎng)站重復(fù)頁面將削減，有利于seo優(yōu)化。

　　3. robots.txt 怎么寫：下面以WordPress博客來作舉例。如robots.txt文件里寫入以下代碼：User-agent: * Disallow: Allow: / robots.txt寫法中應(yīng)該細(xì)致的幾點。1、robots.txt必須上傳到網(wǎng)站根名錄下，不能放在子目錄下;2、robots.txt，Disallow等必須細(xì)致大小寫，不能轉(zhuǎn)變;3、User-agent，Disallow等后面的冒號必須是英文狀況下的。4、User-agent是透露表現(xiàn)搜索引擎(spider)的：星號“*”代表所有spider