您的文本
Your input is processed on your device for this tool. Only a daily usage count is sent.
结果
Result will appear here.
支持桌面和移动端
英语（美国）
About 1 seconds
这个工具做什么
构建一个 robots.txt 文件：允许访问公开网站，屏蔽私有路由，并指向站点地图。在上传前务必审阅生成结果。
避免意外屏蔽 CSS、工具或站点地图。所有操作均在您的浏览器中完成；您的文本不会上传至服务器。
适合
新建网站、测试域名，或拥有明确私有路径列表的网站。
不适合
意外屏蔽CSS、JavaScript或站点地图；上线前务必测试robots.txt文件。
私有路由优先
在 disallow 列表中添加 /admin、/api 和账户页面等路径。
站点地图引用
添加 sitemap 行可使规范 URL 更易被发现。
浏览器优先
所有操作均在您的浏览器中完成；您的文本不会上传至服务器。
无需安装，无厂商锁定
打开网页，完成任务，复制结果。无需任何桌面软件。
如何使用
- 1
粘贴您的文本
添加您要处理的文本。
- 2
运行工具
调整几个关键选项，然后启动任务。
- 3
获取结果
复制、下载或继续编辑。所有内容均不会保存到账户中。
示例
Robots.txt 生成器示例Before / after
之前
一个空白的 robots.txt 文件。
之后
User-agent: * Allow: / Disallow: /admin Sitemap: https://aibynow.com/sitemap.xml
FAQ
Robots.txt 生成器 questions
robots.txt 能否将网页从 Google 中移除？
不能。它只能阻止爬虫抓取，但已收录的网页仍可能保留在索引中。如需移除，请使用 noindex 标签。
我的文本会被存储吗？
不会。文本仅在您的浏览器中处理。
使用限制是多少？
仅支持少量规则。
我需要注册账户吗？
访客模式无需注册。免费账户每日每工具可使用 20 次；Pro 账户为 50 次。