WP检查网站
菜单

免费 robots.txt 测试

输入网站和页面，查看哪些爬虫可以读取，以及由哪条规则决定。

试一试

检测内容

阅读指南: 发布站点地图和 robots.txt

  1. 针对搜索引擎和 AI 的七个爬虫测试一个页面。
  2. 爬虫有专属规则组时，按专属规则判断。
  3. 按 Google 的逻辑显示起决定作用的具体规则。
  4. 列出 robots.txt 中声明的站点地图。

其他免费工具