WPサイトをチェック

robots.txtテスター 無料

サイトとページを入力すると、どのクローラーが読めるか、どのルールで決まるかが分かります。

試す

  1. 検索エンジンとAIの7つのクローラーで1ページをテストします。
  2. クローラー専用のルールがあれば、それを適用します。
  3. Googleのロジックで、決め手のルールを正確に示します。
  4. robots.txtに書かれたサイトマップを一覧にします。

ほかの無料ツール