robots.txt 生成器

#robots.txt 生成器是什么？

robots.txt 生成器是一款在线 robots 排除协议文件生成工具。它把 User-agent 分组、Allow/Disallow 规则、Crawl-delay 抓取间隔与 Sitemap 地址做成表单， 按协议语法实时拼接出可用的 robots.txt 文本，并提供全开放、全封锁、WordPress 标准版与屏蔽敏感目录四类预设模板。工具会在同一分组下逐条校验路径格式、 标记通配符写法、检测重复的 User-agent 并提示合并，避免生成一条同名分组互相覆盖的无效配置。生成结果可一键复制或下载，上传到网站根目录即可生效。

robots.txt 是什么？应该放在哪里？

robots.txt 是「robots 排除协议」的载体，一个告诉爬虫（搜索引擎蜘蛛）哪些路径可以抓取、哪些不要抓的纯文本文件。它必须放在站点根目录， 保证能通过「你的域名/robots.txt」直接访问到，例如 https://www.util.cn/robots.txt；放在子目录（如 /blog/robots.txt）对搜索引擎无效。 文件名必须全小写 robots.txt，使用 UTF-8 编码，指令区分 User-agent 分组，每组内书写 Disallow、Allow 与 Crawl-delay。

Disallow 和 Allow 冲突时谁赢？

同一个 User-agent 分组里某条 URL 同时命中 Disallow 与 Allow 时，遵循「最长匹配优先」：路径匹配串更长的那条规则获胜。例如 Disallow: /admin 与 Allow: /admin/login，对 /admin/login.html 来说 Allow 匹配更长，因此允许抓取——这也是 WordPress 模板里「屏蔽 /wp-admin/ 但放行 admin-ajax.php」能够生效的原理。若两条规则匹配长度相同，以限制更宽松的 Allow 为准；一条都不匹配时默认允许抓取。

meta robots 与 robots.txt 有什么区别？

两者作用层级不同：robots.txt 管「抓取」，是全站级别的入口开关，决定爬虫能不能来抓某个路径；meta robots（<meta name="robots" content="noindex">） 管「索引」，作用在单个页面，决定已被抓取的页面要不要进入搜索结果。特别注意：一旦用 robots.txt 屏蔽了某页面，爬虫根本不会抓它，页面里写的 noindex 也无法被看到；想彻底让某页从搜索结果消失，正确做法是放行抓取并在页面加 noindex。

怎么测试 robots.txt 已经生效？

三种常用方式：一是浏览器直接访问 https://你的域名/robots.txt，核对线上内容与本工具预览一致；二是命令行 curl https://你的域名/robots.txt， 查看服务器实际返回的文本；三是在 Google Search Console 的「robots.txt 报告」里查看 Google 抓取到的最新版本与语法报错，并用「网址检查」工具 测试具体 URL 是否被屏蔽。Bing Webmaster Tools 与百度搜索资源平台也提供类似的抓取诊断功能。

修改后多久生效？

Google 对 robots.txt 有缓存，通常 24 小时内会重新拉取，可在 Search Console 的 robots.txt 报告中点击「请求重新抓取」加速；Bing、百度等 引擎各有抓取节奏，一般几天内生效。另外要记住 robots.txt 只是协议约定，正规搜索引擎会遵守，但恶意爬虫完全可以无视它——后台、接口等敏感 路径仍需配合登录鉴权保护，不能只靠 robots.txt。

#常见问题 (FAQ)