Robots.txt 检测

Robots.txt 检测工具获取目标站点的 robots.txt 文件,展示原文并解析出 User-agent、Disallow、Allow 规则与 Sitemap 地址,帮助确认搜索引擎抓取规则是否符合预期。

该工具正在开发中,即将上线。你可以先查看下方的使用说明与常见问题。

广告位(工具页)

使用说明

  1. 输入网站域名或网址。
  2. 点击「检测」。
  3. 查看原文与解析结果。

注意事项

  • robots 规则较复杂,简单解析不能完全等价于搜索引擎的真实抓取判断。

常见问题

没有 robots.txt 会怎样?

搜索引擎通常视为允许抓取全部,但建议显式提供以便控制。