🧰

robots.txt 生成器

在线 robots.txt 文件生成工具，支持配置爬虫规则和常用模板

网站配置

规则配置

1
2

常用模板

robots.txt

3 行
User-agent: *
Disallow: /admin/
Disallow: /private/

语法说明

User-agent指定爬虫类型，使用 * 匹配所有
Allow允许访问的路径
Disallow禁止访问的路径
Sitemap网站地图位置

放置位置

将生成的 robots.txt 文件上传到网站根目录，例如：

https://example.com/robots.txt

使用说明

  1. 将代码、数据或表达式输入工具指定的编辑区域。
  2. 选择格式化、校验、转换或测试操作，并按需调整参数。
  3. 检查输出与错误提示后复制结果；执行到生产环境前请在自己的项目中验证。

常见问题

robots.txt 应该放在哪里？
robots.txt 文件必须放在网站的根目录下，例如：https://example.com/robots.txt
如何阻止爬虫访问特定页面？
使用 Disallow 指令，例如：Disallow: /admin/ 将阻止爬虫访问所有以 /admin/ 开头的 URL。
如何只允许特定爬虫访问？
先使用 User-agent 指定爬虫名称，然后配置该爬虫的规则。例如先指定 Googlebot，再配置其规则。
Sitemap 是什么？
Sitemap 是网站地图，帮助搜索引擎更好地了解网站结构。建议添加以加快搜索引擎收录。

相关工具