Robots.txt 检测
Robots.txt 检测工具获取目标站点的 robots.txt 文件,展示原文并解析出 User-agent、Disallow、Allow 规则与 Sitemap 地址,帮助确认搜索引擎抓取规则是否符合预期。
该工具正在开发中,即将上线。你可以先查看下方的使用说明与常见问题。
广告位(工具页)
使用说明
- 输入网站域名或网址。
- 点击「检测」。
- 查看原文与解析结果。
注意事项
- robots 规则较复杂,简单解析不能完全等价于搜索引擎的真实抓取判断。
常见问题
没有 robots.txt 会怎样?
搜索引擎通常视为允许抓取全部,但建议显式提供以便控制。