WPControleer een site

Gratis robots.txt testen

Vul een site en een pagina in en zie welke crawlers hem mogen lezen en welke regel beslist.

Probeer het

  1. Test één pagina voor zeven crawlers, zoekmachines en AI.
  2. Past de eigen regelgroep van een crawler toe als die er is.
  3. Toont de exacte regel die beslist, met de logica van Google.
  4. Toont de sitemaps die je robots.txt noemt.

Andere gratis tools