如何编写robots.txt文件

robots.txt 文件用于告知网络爬虫哪些路径可以抓取。它是一种爬取指令，而非访问控制系统，也不能可靠地将已编入索引的网页从搜索结果中移除。

基本结构

User-agent: *
Allow: /
Disallow: /admin
Disallow: /api/
Sitemap: https://aibynow.com/sitemap.xml

• User-agent: * 适用于所有爬虫。
• Allow: / 允许抓取公开网站内容。
• Disallow 列出不应被爬取的路径。
• Sitemap 指向 XML 站点地图文件。

只需一条 Sitemap 行，且可将其置于主机根目录下的 robots.txt 文件中。

抓取不等于索引

如果某网页已被索引，添加 Disallow 规则虽可阻止 Google 对其进行抓取，但该 URL 仍可能保留在搜索结果中（仅缺少最新摘要片段）。若要将网页彻底从搜索结果中移除，请使用 noindex 元标签或 Google 搜索中心的“移除”工具。切勿依赖 robots.txt 执行此任务。

反之，若屏蔽 CSS、JavaScript 或站点地图，可能导致 Google 无法正确理解网页内容。请确保这些资源始终处于允许状态。

应当禁止抓取的内容

• 私有管理后台路径，例如 /admin。
• 内部 API 接口路径，例如 /api/。
• 账户与会话相关页面，例如 /account。
• 临时预发布环境路径（前提是其可通过公网访问）。

切勿仅因某路径包含查询参数（query parameters）就禁止抓取；应在适当位置使用规范标签（canonical tag）和 noindex 标签。

测试该文件

1. 访问 https://your-domain.com/robots.txt，确认返回状态码为 200，且响应头中 Content-Type 为 text/plain。
2. 验证一个公开的工具页面仍被允许抓取。
3. 验证一个私有路由路径确实被禁止抓取。
4. 在 Google 搜索中心提交站点地图 URL。
5. 修改规则后需重新检查；爬虫会缓存 robots.txt 文件。

robots.txt 生成器 可根据您提供的允许/禁止列表及站点地图 URL 自动生成该文件。但生成结果仍需人工审核后方可上传。

常见错误

• 误写 Disallow: /：这将导致整个网站被屏蔽。
• 屏蔽 CSS 或 JavaScript 文件：Google 可能因此无法正确渲染网页。
• 误以为 robots.txt 能隐藏网页：它并不能实现隐藏效果。
• 在 Sitemap 中使用相对 URL：请务必使用完整的 HTTPS 地址。
• 无必要地为每个爬虫单独设置不同规则：建议从 * 开始统一配置；仅在确有需要时才针对特定用户代理（User-agent）添加专门规则。

如需控制单个页面的索引行为，请使用 元标签生成器 工具。关于规范 URL（canonical URL）列表，请参阅 站点地图。

简明版要点

允许抓取公开内容，禁止抓取私有路径，正确指向站点地图，并牢记：robots.txt 控制的是抓取行为——而非从搜索结果中移除网页。