- sitemap.xml
- robots.txt
- Search Console
- 在 sitemap.xml 中列出每个公开页面，写明最终地址和真实的修改日期。
- 排除会跳转、返回错误或标记为 noindex 的页面。
- 在根目录添加 robots.txt，并用 Sitemap 行写明完整地址。不要屏蔽依赖 noindex 的页面：爬虫必须能读取该标签。
- 在 Google Search Console 和 Bing Webmaster Tools 中各提交一次站点地图。
示例
阅读指南让跟踪器等待访客选择User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xml