robots.txt 能控制什么，不能控制什么

网站管理人员经常把 robots.txt 当作控制搜索可见性的总开关。实际上，它只解决一个问题：告诉遵守规则的爬虫，哪些 URL 可以抓取。Google 对它的定位写得很直接：主要用于避免服务器被请求压垮，而不是让网页从 Google 消失。Robots.txt guide

因此，判断任何 robots.txt 策略是否成立，先看目标属于“抓取访问”还是“索引与安全”。两者工具不同，混用就会失效。

官方规则究竟说明什么

robots.txt 的作用按文件类型有明显差异。Google 将文件分为网页、媒体文件和资源文件三类，规则并不相同。

文件类型	robots.txt 能做什么	官方限制
网页（HTML、PDF 等非媒体格式）	管理爬虫流量，避免不重要或重复页面消耗抓取配额	不能用来隐藏网页；若其他页面以描述性文字链接该 URL，Google 仍可能在不访问页面的情况下索引它
媒体文件（图片、视频、音频）	管理抓取流量，并可阻止其出现在 Google 搜索结果中	不能阻止其他页面或用户直接链接到这些文件
资源文件（脚本、样式、不重要的图片）	可阻止抓取以节省资源	若页面依赖这些资源才能被理解，屏蔽会降低 Google 对页面的分析质量

Robots.txt guide

这里最容易被忽略的是媒体文件的例外规则。Google 明确说明，只有 Googlebot 被允许抓取的图片和视频才会被索引；要阻止 Googlebot 访问媒体文件，应使用 robots.txt 规则屏蔽文件本身。Search preview controls

也就是说，对网页而言 robots.txt 管不住索引；对图片和视频而言，robots.txt 是阻止其进入 Google 搜索结果的直接手段。这是同一文件在不同内容类型上的边界差异。

常见误读和适用边界

误读一：Disallow 页面就能让它从搜索结果消失

Google 的警告很明确：不要用 robots.txt 隐藏网页。即使 Google 不抓取被屏蔽的内容，只要其他网站链接了该 URL，Google 仍可能发现并索引这个地址，链接锚文本等公开信息也可能出现在搜索结果中。被屏蔽的网页 URL 可以出现在搜索结果里，只是通常没有描述。Robots.txt guide

想让网页不出现在搜索结果，正确工具是 noindex 规则或直接删除页面。noindex 告诉 Google 不要索引内容，但用户仍可通过其他页面链接或直接访问该 URL。Search preview controls

误读二：robots.txt 能保护敏感内容

robots.txt 的指令无法强制爬虫行为，是否遵守取决于爬虫本身。Googlebot 等正规爬虫会遵守，但其他爬虫可能不会。如果目标是保护机密或私有数据，应使用密码保护，而不是依赖 robots.txt。Robots.txt guide

密码保护的作用是确保只有授权用户能访问内容，同时防止内容出现在 Google 搜索中；如果内容已经出现，最终也会从搜索结果中移除。Search preview controls

误读三：一套规则对所有爬虫等效

不同爬虫对 robots.txt 语法的解释可能不同，robots.txt 规则也可能不被所有搜索引擎支持。Google 建议针对不同爬虫了解其语法规范。Robots.txt guide

这意味着在配置前，需要确认目标爬虫是谁。编辑建议：如果站点主要面向 Google Search，按 Google 的 robots.txt 规范配置即可；若还需覆盖其他搜索引擎，应分别查阅其官方文档，不要假设语法完全通用。

功能边界和正确工具选择解释

把“抓取”“索引”“访问控制”三个层次分开，工具选择就清晰了。

抓取层：robots.txt

适用目标：控制 Googlebot 对站点资源的访问频率，避免不重要或重复页面消耗抓取配额，以及阻止图片、视频等媒体文件进入 Google 搜索结果。

不适用目标：让某个网页从搜索结果中消失，或保护敏感数据不被任何爬虫获取。

索引层：noindex

适用目标：让网页不出现在 Google 搜索结果中，同时仍允许用户通过链接访问。

Google 将 noindex 规则描述为适用于所有内容类型。Search preview controls 具体实现方式需参考 Google 关于 noindex 的官方文档，按其说明在页面或响应头中配置。

编辑建议：使用 noindex 时不要同时用 robots.txt 屏蔽同一页面。Google 提醒，组合多种抓取和索引规则可能导致规则相互抵消。Robots.txt guide 若两者同时存在，建议先移除其中一个，再观察搜索表现。

访问控制层：密码保护或删除

适用目标：保护机密或私有内容，或彻底消除内容在互联网上的可见性。

Google 将“从网站删除内容”列为确保内容不出现在 Google 搜索和互联网其他地方的最佳方式；将密码保护列为处理机密或私有内容的必要手段。Search preview controls

一个可复用的判断表

编辑建议：网站管理人员在做配置决策时，可以用下面这张表逐项核对，避免把 robots.txt 用到它不负责的层面。

你的目标	正确工具	错误工具
减少 Googlebot 对低价值网页的抓取	robots.txt Disallow	noindex
阻止图片或视频出现在 Google 搜索	robots.txt Disallow 媒体文件	noindex
阻止网页出现在 Google 搜索	noindex 或删除页面	robots.txt Disallow
保护私有数据不被任何爬虫获取	密码保护	robots.txt
彻底移除内容	从网站删除	robots.txt 或 noindex

一个可复用的配置核对流程

编辑建议：每次调整 robots.txt 前，按以下顺序记录，能减少规则冲突和误用。

1. 写下目标 URL 的内容类型：网页、媒体文件还是资源文件。
2. 写下真实目标：是减少抓取、阻止索引，还是保护访问。
3. 按上表选择工具。若目标是“阻止网页出现在搜索结果”，不要进入 robots.txt 配置流程。
4. 检查是否同时存在 Disallow 和 noindex 指向同一 URL。若有，先移除其中一个，避免规则相互抵消。
5. 若使用 CMS（如 Wix 或 Blogger），先确认平台是否提供搜索可见性设置，而不是直接编辑 robots.txt。Google 指出，这类平台可能不需要或不允许直接编辑 robots.txt 文件。Robots.txt guide

这个流程的价值在于把“想隐藏页面”这类模糊需求，拆成可核对的工具选择步骤。robots.txt 能控制的只是抓取访问，以及媒体文件在 Google 搜索中的可见性；网页索引和真正的安全限制，必须交给 noindex、密码保护或删除内容来完成。

---

本文由 AI 辅助起草并经自动事实审校，具体规则以所引官方资料为准。证据检索日期：2026-10-14。