Google 的自動(dòng)抓取工具支持 REP（robots 協(xié)議）。這意味著，在抓取某一網(wǎng)站之前，Google 抓取工具會(huì)下載并解析該網(wǎng)站的 robots.txt 文件，以提取關(guān)于網(wǎng)站中哪些部分可以被抓取的信息。REP 不適用于由用戶控制的 Google 抓取工具（例如 Feed 訂閱），也不適用于用來提高用戶安全性的抓取工具（例如惡意軟件分析）。

本文介紹了 Google 對(duì) REP 的解讀。有關(guān)原始草稿標(biāo)準(zhǔn)的信息，請(qǐng)查看 IETF Data Tracker。 如果您是首次接觸 robots.txt，請(qǐng)先閱讀我們的 robots.txt 簡(jiǎn)介。您還可以找到關(guān)于創(chuàng)建 robots.txt 文件的提示，以及一個(gè)詳盡的常見問題解答列表。

什么是 robots.txt 文件

如果您不希望抓取工具訪問您網(wǎng)站中的部分內(nèi)容，可以創(chuàng)建包含相應(yīng)規(guī)則的 robots.txt 文件。robots.txt 文件是一個(gè)簡(jiǎn)單的文本文件，其中包含關(guān)于哪些抓取工具可以訪問網(wǎng)站的哪些部分的規(guī)則。例如，example.com 的 robots.txt 文件可能如下所示：

# This robots.txt file controls crawling of URLs under https://example.com.

# All crawlers are disallowed to crawl files in the "includes" directory, such

# as .css, .js, but Googlebot needs them for rendering, so Googlebot is allowed

# to crawl them.

User-agent: *

Disallow: /includes/

User-agent: Googlebot

Allow: /includes/

Sitemap: https://example.com/sitemap.xml

文件位置和有效范圍

您必須將 robots.txt 文件放在網(wǎng)站的頂級(jí)目錄中，并為其使用支持的協(xié)議。就 Google 搜索而言，支持的協(xié)議包括 HTTP、HTTPS 和 FTP。使用 HTTP 和 HTTPS 協(xié)議時(shí)，抓取工具會(huì)使用 HTTP 無(wú)條件 GET 請(qǐng)求來提取 robots.txt 文件；使用 FTP 時(shí)，抓取工具會(huì)使用標(biāo)準(zhǔn) RETR (RETRIEVE) 命令，并采用匿名登錄方式。

robots.txt 文件中列出的規(guī)則只適用于該文件所在的主機(jī)、協(xié)議和端口號(hào)。

和其他網(wǎng)址一樣，robots.txt 文件的網(wǎng)址也區(qū)分大小寫。

有效 robots.txt 網(wǎng)址的示例

下表列出了 robots.txt 網(wǎng)址及其適用的網(wǎng)址路徑的示例。

robots.txt 網(wǎng)址示例 http://example.com/robots.txt 適用于：
http://example.com/
http://example.com/folder/file
不適用于：
http://other.example.com/
https://example.com/
http://example.com:8181/
這屬于一般情況。該網(wǎng)址對(duì)其他子網(wǎng)域、協(xié)議或端口號(hào)來說無(wú)效。對(duì)同一個(gè)主機(jī)、協(xié)議和端口號(hào)上的所有子目錄中的所有文件有效。 http://www.example.com/robots.txt 適用于： http://www.example.com/
不適用于：
http://example.com/
http://shop.www.example.com/
http://www.shop.example.com/
子網(wǎng)域上的 robots.txt 只對(duì)該子網(wǎng)域有效。 http://example.com/folder/robots.txt 不是有效的 robots.txt 文件。抓取工具不會(huì)檢查子目錄中的 robots.txt 文件。 http://www.ex?mple.com/robots.txt 適用于：
http://www.ex?mple.com/
http://xn--exmple-cua.com/
不適用于：
http://www.example.com/
IDN 等同于其對(duì)應(yīng)的 Punycode 版本。另請(qǐng)參閱 RFC 3492。 ftp://example.com/robots.txt 適用于： ftp://example.com/
不適用于： http://example.com/ http://212.96.82.21/robots.txt 適用于： http://212.96.82.21/
不適用于： http://example.com/（即使托管在 212.96.82.21 上）
以 IP 地址作為主機(jī)名的 robots.txt 只在抓取作為主機(jī)名的該 IP 地址時(shí)有效。該 robots.txt 文件并不會(huì)自動(dòng)對(duì)該 IP 地址上托管的所有網(wǎng)站有效，但該文件可能是共享的，在此情況下，它也可以在共享主機(jī)名下使用。 http://example.com/robots.txt 適用于：
http://example.com:80/
http://example.com/
不適用于：
http://example.com:81/
標(biāo)準(zhǔn)端口號(hào)（HTTP 為 80，HTTPS 為 443，F(xiàn)TP 為 21）等同于其默認(rèn)的主機(jī)名。 http://example.com:8181/robots.txt 適用于： http://example.com:8181/
不適用于： http://example.com/
非標(biāo)準(zhǔn)端口號(hào)上的 robots.txt 文件只對(duì)通過這些端口號(hào)提供的內(nèi)容有效。

錯(cuò)誤處理和 HTTP 狀態(tài)代碼

在請(qǐng)求 robots.txt 文件時(shí)，服務(wù)器響應(yīng)的 HTTP 狀態(tài)代碼會(huì)影響 Google 抓取工具使用 robots.txt 文件的方式。下表總結(jié)了 Googlebot 針對(duì)各種 HTTP 狀態(tài)代碼處理 robots.txt 文件的方式。

錯(cuò)誤處理和 HTTP 狀態(tài)代碼 2xx（成功） 表示成功的 HTTP 狀態(tài)代碼會(huì)提示 Google 抓取工具處理服務(wù)器提供的 robots.txt 文件。 3xx（重定向） Google 會(huì)按照 RFC 1945 的規(guī)定跟蹤至少五次重定向，然后便會(huì)停止，并將其作為 robots.txt 的 404 錯(cuò)誤來處理。這也適用于重定向鏈中任何被禁止訪問的網(wǎng)址，因?yàn)樽ト」ぞ邥?huì)由于重定向而無(wú)法提取規(guī)則。
Google 不會(huì)跟蹤 robots.txt 文件中的邏輯重定向（框架、Javascript 或元刷新型重定向）。 4xx（客戶端錯(cuò)誤） Google 抓取工具會(huì)將所有 4xx 錯(cuò)誤解讀為網(wǎng)站不存在有效的 robots.txt 文件，這意味著抓取將不受限制。
這包括 401 (unauthorized) 和 403 (forbidden) HTTP 狀態(tài)代碼。 5xx（服務(wù)器錯(cuò)誤） 由于服務(wù)器無(wú)法對(duì) Google 的 robots.txt 請(qǐng)求提供明確響應(yīng)，因此 Google 會(huì)暫時(shí)將服務(wù)器錯(cuò)誤解讀為網(wǎng)站完全禁止訪問。Google 會(huì)嘗試抓取 robots.txt 文件，直到獲得非服務(wù)器錯(cuò)誤的 HTTP 狀態(tài)代碼。503 (service unavailable) 錯(cuò)誤會(huì)導(dǎo)致非常頻繁的重試操作。如果連續(xù) 30 天以上無(wú)法訪問 robots.txt，Google 會(huì)使用該 robots.txt 的最后一個(gè)緩存副本。如果沒有緩存副本，Google 會(huì)假定沒有任何抓取限制。
如果您需要暫停抓取，建議為網(wǎng)站上的每個(gè)網(wǎng)址提供 503 HTTP 狀態(tài)代碼。
如果我們能夠確定，某網(wǎng)站因?yàn)榕渲貌徽�確而在缺少網(wǎng)頁(yè)時(shí)返回 5xx 而不是 404 狀態(tài)代碼，就會(huì)將該網(wǎng)站的 5xx 錯(cuò)誤作為 404 錯(cuò)誤處理。例如，如果返回 5xx 狀態(tài)代碼的網(wǎng)頁(yè)上的錯(cuò)誤消息為"找不到網(wǎng)頁(yè)"，我們會(huì)將該狀態(tài)代碼解釋為 404 (not found)。 其他錯(cuò)誤 對(duì)于因 DNS 或網(wǎng)絡(luò)問題（例如超時(shí)、響應(yīng)無(wú)效、重置或斷開連接、HTTP 組塊錯(cuò)誤等）而無(wú)法抓取的 robots.txt 文件，系統(tǒng)在處理時(shí)會(huì)將其視為服務(wù)器錯(cuò)誤。

緩存

Google 通常會(huì)將 robots.txt 文件的內(nèi)容最多緩存 24 小時(shí)，但在無(wú)法刷新緩存版本的情況下（例如出現(xiàn)超時(shí)或 5xx 錯(cuò)誤時(shí)），緩存時(shí)間可能會(huì)延長(zhǎng)。已緩存的響應(yīng)可由各種不同的抓取工具共享。Google 會(huì)根據(jù) max-age Cache-Control HTTP 標(biāo)頭來延長(zhǎng)或縮短緩存生命周期。

文件格式

robots.txt 文件必須是采用 UTF-8 編碼的純文本文件，且各行代碼必須以 CR、CR/LF 或 LF 分隔。

Google 會(huì)忽略 robots.txt 文件中的無(wú)效行，包括 robots.txt 文件開頭處的 Unicode 字節(jié)順序標(biāo)記 (BOM)，并且只使用有效行。例如，如果下載的內(nèi)容是 Html 格式而非 robots.txt 規(guī)則，Google 會(huì)嘗試解析內(nèi)容并提取規(guī)則，而忽略其他所有內(nèi)容。

同樣，如果 robots.txt 文件的字符編碼不是 UTF-8，Google 可能會(huì)忽略不屬于 UTF-8 范圍的字符，從而可能會(huì)導(dǎo)致 robots.txt 規(guī)則無(wú)效。

Google 目前強(qiáng)制執(zhí)行的 robots.txt 文件大小限制是 500 KiB，并忽略超過該上限的內(nèi)容。您可以通過整合會(huì)導(dǎo)致 robots.txt 文件過大的指令來減小 robots.txt 文件的大小。例如，將已排除的內(nèi)容放在一個(gè)單獨(dú)的目錄中。

語(yǔ)法

有效的 robots.txt 行由一個(gè)字段、一個(gè)冒號(hào)和一個(gè)值組成�？梢赃x擇是否使用空格，但建議使用空格，有助于提高可讀性。系統(tǒng)會(huì)忽略行開頭和結(jié)尾的空格。若要添加注釋，請(qǐng)?jiān)谧⑨屒懊婕由?# 字符。請(qǐng)注意，# 字符后面的所有內(nèi)容都會(huì)被忽略。常見格式為 <field>:<value><#optional-comment>。

Google 支持以下字段：

user-agent：標(biāo)識(shí)相應(yīng)規(guī)則適用于哪些抓取工具。

allow：可抓取的網(wǎng)址路徑。

disallow：不可抓取的網(wǎng)址路徑。

sitemap：站點(diǎn)地圖的完整網(wǎng)址。

allow 和 disallow 字段也稱為指令。這些指令始終以 directive: [path] 的形式指定，其中 [path] 可以選擇性使用。默認(rèn)情況下，指定的抓取工具沒有抓取限制。抓取工具會(huì)忽略不帶 [path] 的指令。

如果指定了 [path] 值，該路徑值就是 robots.txt 文件所在網(wǎng)站的根目錄的相對(duì)路徑（使用相同的協(xié)議、端口號(hào)、主機(jī)和域名）。路徑值必須以 / 開頭來表示根目錄，該值區(qū)分大小寫。詳細(xì)了解基于路徑值的網(wǎng)址匹配。

user-agent

user-agent 行用來標(biāo)識(shí)相應(yīng)規(guī)則適用于哪些抓取工具。請(qǐng)參閱 Google 抓取工具和用戶代理字符串，獲取可在 robots.txt 文件中使用的用戶代理字符串的完整列表。

user-agent 行的值不區(qū)分大小寫。

disallow

disallow 指令用來指定不能被 disallow 指令所屬的用戶代理行所標(biāo)識(shí)的抓取工具訪問的路徑。抓取工具會(huì)忽略不含路徑的指令。

Google 無(wú)法將禁止抓取的網(wǎng)頁(yè)的內(nèi)容編入索引，但可能仍會(huì)將其網(wǎng)址編入索引并將其顯示在搜索結(jié)果中，但不顯示摘要。了解如何阻止編入索引。

disallow 指令的值區(qū)分大小寫。

用法：

disallow: [path]

allow

allow 指令用來指定相應(yīng)抓取工具可以訪問的路徑。如果未指定路徑，該指令將被忽略。

allow 指令的值區(qū)分大小寫。

用法：

allow: [path]

sitemap

根據(jù) sitemaps.org 規(guī)定，Google、Bing 和其他主流搜索引擎支持 robots.txt 中的 sitemap 字段。

sitemap 字段的值區(qū)分大小寫。

用法：

sitemap: [absoluteURL]

[absoluteURL] 行指向站點(diǎn)地圖或站點(diǎn)地圖索引文件的位置。 此網(wǎng)址必須是完全限定網(wǎng)址，包含協(xié)議和主機(jī)，且無(wú)需進(jìn)行網(wǎng)址編碼。此網(wǎng)址不需要與 robots.txt 文件位于同一主機(jī)上。您可以指定多個(gè) sitemap 字段。sitemap 字段不依賴于任何特定的用戶代理，只要未被禁止抓取，所有抓取工具都可以追蹤它們。

例如：

user-agent: otherbot

disallow: /kale

sitemap: https://example.com/sitemap.xml

sitemap: https://CDN.example.org/other-sitemap.xml

sitemap: https://ja.example.org/テスト-サイトマップ.xml

行和規(guī)則分組

通過對(duì)每個(gè)抓取工具重復(fù) user-agent 行，可將適用于多個(gè)用戶代理的規(guī)則組合在一起。

例如：

user-agent: a

disallow: /c

user-agent: b

disallow: /d

user-agent: e

user-agent: f

disallow: /g

user-agent: h

此示例中有四個(gè)不同的規(guī)則組：

用戶代理"a"為一組

用戶代理"b"為一組

用戶代理"e"和"f"為一組

用戶代理"h"為一組

有關(guān)組的技術(shù)說明，請(qǐng)參閱 REP 的第 2.1 節(jié)。

用戶代理的優(yōu)先順序

對(duì)于某個(gè)抓取工具而言，只有一個(gè)組是有效的。Google 抓取工具會(huì)在 robots.txt 文件中查找包含與抓取工具的用戶代理相匹配的最具體用戶代理的組，從而確定正確的規(guī)則組。其他組會(huì)被忽略。所有非匹配文本都會(huì)被忽略（例如，googlebot/1.2 和 googlebot* 均等同于 googlebot）。這與 robots.txt 文件中的組順序無(wú)關(guān)。

如果為用戶代理聲明多個(gè)特定組，則這些組中適用于該特定用戶代理的所有規(guī)則會(huì)在內(nèi)部合并成一個(gè)組。 特定于用戶代理的組和全局組 (*) 不會(huì)合并。

示例

user-agent 字段的匹配情況

user-agent: googlebot-news

(group 1)

user-agent: *

(group 2)

user-agent: googlebot

(group 3)

以下為抓取工具選擇相關(guān)組的方法：

每個(gè)抓取工具追蹤的組 Googlebot News googlebot-news 遵循組 1，因?yàn)榻M 1 是最具體的組。 Googlebot（網(wǎng)絡(luò)） googlebot 遵循組 3。 Googlebot Images googlebot-images 遵循組 2，因?yàn)闆]有具體的 googlebot-images 組。 Googlebot News（抓取圖片時(shí)） 抓取圖片時(shí)，googlebot-news 遵循組 1。 googlebot-news 不會(huì)為 Google 圖片抓取圖片，因此它只遵循組 1。 Otherbot（網(wǎng)絡(luò)） 其他 Google 抓取工具遵循組 2。 Otherbot（新聞） 抓取新聞內(nèi)容但未標(biāo)識(shí)為 googlebot-news 的其他 Google 抓取工具遵循組 2。即使有相關(guān)抓取工具的對(duì)應(yīng)條目，也只有在明確匹配時(shí)才會(huì)有效。

規(guī)則分組

如果 robots.txt 文件中有多個(gè)組與特定用戶代理相關(guān)，則 Google 抓取工具會(huì)在內(nèi)部合并這些組。例如：

user-agent: googlebot-news

disallow: /fish

user-agent: *

disallow: /carrots

user-agent: googlebot-news

disallow: /shrimp

抓取工具會(huì)根據(jù)用戶代理在內(nèi)部對(duì)規(guī)則進(jìn)行分組，例如：

user-agent: googlebot-news

disallow: /fish

disallow: /shrimp

user-agent: *

disallow: /carrots

allow、disallow 和 user-agent 以外的其他規(guī)則會(huì)被 robots.txt 解析器忽略。這意味著以下 robots.txt 代碼段被視為一個(gè)組，因此 user-agent a 和 b 均受 disallow: / 規(guī)則的影響：

user-agent: a

sitemap: https://example.com/sitemap.xml

user-agent: b

disallow: /

當(dāng)抓取工具處理 robots.txt 規(guī)則時(shí)，會(huì)忽略 sitemap 行。 例如，下面說明了抓取工具如何理解之前的 robots.txt 代碼段：

user-agent: a

user-agent: b

disallow: /

基于路徑值的網(wǎng)址匹配

Google 會(huì)以 allow 和 disallow 指令中的路徑值為基礎(chǔ)，確定某項(xiàng)規(guī)則是否適用于網(wǎng)站上的特定網(wǎng)址。為此，系統(tǒng)會(huì)將相應(yīng)規(guī)則與抓取工具嘗試抓取的網(wǎng)址的路徑部分進(jìn)行比較。 路徑中的非 7 位 ASCII 字符可以按照 RFC 3986 作為 UTF-8 字符或百分號(hào)轉(zhuǎn)義的 UTF-8 編碼字符納入。

對(duì)于路徑值，Google、Bing 和其他主流搜索引擎支持有限形式的通配符。這些通配符包括：

* 表示出現(xiàn) 0 次或多次的任何有效字符。

$ 表示網(wǎng)址結(jié)束。

路徑匹配示例 / 匹配根目錄以及任何下級(jí)網(wǎng)址。 /* 等同于 /。結(jié)尾的通配符會(huì)被忽略。 /$ 僅匹配根目錄。任何更低級(jí)別的網(wǎng)址均可抓取。 /fish 匹配以 /fish 開頭的任何路徑。
匹配項(xiàng)：
/fish
/fish.html
/fish/salmon.html
/fishheads
/fishheads/yummy.html
/fish.php?id=anything
不匹配項(xiàng)：
/Fish.asp
/catfish
/?id=fish
/desert/fish
注意：匹配時(shí)區(qū)分大小寫。 /fish* 等同于 /fish。結(jié)尾的通配符會(huì)被忽略。
匹配項(xiàng)：
/fish
/fish.html
/fish/salmon.html
/fishheads
/fishheads/yummy.html
/fish.php?id=anything
不匹配項(xiàng)：
/Fish.asp
/catfish
/?id=fish /fish/ 匹配 /fish/ 文件夾中的任何內(nèi)容。
匹配項(xiàng)：
/fish/
/animals/fish/
/fish/?id=anything
/fish/salmon.htm
不匹配項(xiàng)：
/fish
/fish.html
/Fish/Salmon.asp /*.php 匹配包含 .php 的任何路徑。
匹配項(xiàng)：
/index.php
/filename.php
/folder/filename.php
/folder/filename.php?parameters
/folder/any.php.file.html
/filename.php/
不匹配項(xiàng)：
/（即使其映射到 /index.php）
/windows.PHP /*.php$ 匹配以 .php 結(jié)尾的任何路徑。
匹配項(xiàng)：
/filename.php
/folder/filename.php
不匹配項(xiàng)：
/filename.php?parameters
/filename.php/
/filename.php5
/windows.PHP /fish*.php 匹配包含 /fish 和 .php（按此順序）的任何路徑。
匹配項(xiàng)：
/fish.php
/fishheads/catfish.php?parameters
不匹配項(xiàng)： /Fish.PHP

規(guī)則的優(yōu)先順序

匹配 robots.txt 規(guī)則與網(wǎng)址時(shí)，抓取工具會(huì)根據(jù)規(guī)則路徑的長(zhǎng)度使用最具體的規(guī)則。如果規(guī)則（包括使用通配符的規(guī)則）存在沖突，Google 將使用限制性最弱的規(guī)則。

以下示例演示了 Google 抓取工具會(huì)對(duì)特定網(wǎng)址應(yīng)用什么規(guī)則。

示例情況 http://example.com/page allow: /p
disallow: /
適用規(guī)則：allow: /p，因?yàn)樗�更具體。 http://example.com/folder/page allow: /folder
disallow: /folder
適用規(guī)則：allow: /folder，因?yàn)榇嬖诙鄠�(gè)匹配規(guī)則時(shí)，Google 會(huì)使用限制性最弱的規(guī)則。 http://example.com/page.htm allow: /page
disallow: /*.htm
適用規(guī)則：disallow: /*.htm，因?yàn)樗�與網(wǎng)址中的字符匹配得更多，因此更具體。 http://example.com/page.php5 allow: /page
disallow: /*.ph
適用規(guī)則：allow: /page，因?yàn)榇嬖诙鄠�(gè)匹配規(guī)則時(shí)，Google 會(huì)使用限制性最弱的規(guī)則。 http://example.com/ allow: /$
disallow: /
適用規(guī)則：allow: /$，因?yàn)樗�更具體。 http://example.com/page.htm allow: /$
disallow: /
適用規(guī)則：disallow: /，因?yàn)?allow 規(guī)則僅適用于根網(wǎng)址。

TAG：谷歌object detection

SEO就是搜索引擎優(yōu)化:讓你的網(wǎng)站在搜索引擎（比如百度、谷歌）的排名更靠前，當(dāng)用戶通過關(guān)鍵詞搜索時(shí)更容易搜到你的網(wǎng)站，從而實(shí)現(xiàn)企業(yè)品牌曝光、主動(dòng)獲客和營(yíng)銷推廣的目標(biāo)。
為什么要做SEO？
提高網(wǎng)站訪問量：SEO能讓你的網(wǎng)站在搜索引擎結(jié)果中更靠前，吸引更多客戶點(diǎn)擊。
降低市場(chǎng)營(yíng)銷成本：相比于付費(fèi)廣告，SEO是一種更經(jīng)濟(jì)有效的營(yíng)銷方式。
提升品牌知名度：網(wǎng)站排名靠前，可以讓更多用戶看到你的品牌名稱和信息，增強(qiáng)品牌影響力。
SEO優(yōu)化有哪些優(yōu)勢(shì)？
成本低廉：主要成本是優(yōu)化師的工資。
效果穩(wěn)定：一旦網(wǎng)站排名上升，效果穩(wěn)定持久，可持續(xù)獲得展現(xiàn)機(jī)會(huì)。
不受地域限制：SEO的效果可以覆蓋全球，不受時(shí)間和空間的限制。
什么樣的公司更適合做SEO優(yōu)化呢？大多數(shù)行業(yè)都可以從SEO中受益。特別是那些希望用戶主動(dòng)訪問我們的網(wǎng)站、降低營(yíng)銷成本、提升品牌知名度的企業(yè)。通過SEO來優(yōu)化自己的網(wǎng)站，可吸引更多潛在客戶。

SEO是一種工人的有效的網(wǎng)絡(luò)營(yíng)銷手段，可以幫助企業(yè)提升關(guān)鍵詞排名，吸引更多用戶，實(shí)現(xiàn)商業(yè)目標(biāo)。SEO是一個(gè)長(zhǎng)期且專業(yè)的技術(shù)，企業(yè)在進(jìn)行SEO時(shí)，必須耐心優(yōu)化，因?yàn)镾EO涉及到的不止是網(wǎng)站結(jié)構(gòu)、內(nèi)容質(zhì)量、用戶體驗(yàn)、外部鏈接這幾個(gè)方面；還有算法的更替、蜘蛛的引導(dǎo)、快照的更新、參與排序的權(quán)重等。